Come fare soldi utilizzando il Web Scraping?

Foto di Alicia Newman di LearnWorthy

Sapevi che cosa stai leggendo in questo momento sono dati?

Potrebbero sembrare solo poche parole per te, ma sul back-end, tutto ciò che leggi online sono dati che possono essere presi, smontati e manipolati.

Semplificato ecco cos’è un Web Scraper .

Passano attraverso il codice che è stato creato per creare un sito Web (codice HTML) o un database e prendono i dati che desiderano. Praticamente qualsiasi sito Web può essere raschiato. Alcuni siti comportano misure che impediscono a questi scraper di raccogliere i loro dati, ma se sei abbastanza bravo puoi essenzialmente raschiare il 99% dei siti Web online.

Se non sapevi cos’è un Web Scraper, ora hai un’idea e possiamo arrivare al punto del motivo per cui stai leggendo questo articolo…

I soldi.

Web Scraping può essere un modo unico per fare soldi che non è così difficile come sembra. In effetti, tutti i metodi e gli esempi che ti mostrerò hanno richiesto meno di 50 righe di codice per essere realizzati e possono essere appresi in solo un paio d’ore.

Quindi, detto questo, lascia che te lo mostri…

3 modi per guadagnare utilizzando Web Scraping

1. Creazione di bot

Un bot è solo un termine tecnico per un programma che esegue un’azione specifica. A seconda di come rendi questa azione, puoi venderla a coloro che non hanno le capacità tecniche per realizzarla da soli.

Per mostrare come puoi creare un bot e venderlo, ho creato un bot di Airbnb. Questo bot consente all’utente di inserire una posizione e restituirà tutte le case offerte da Airbnb in quella posizione, inclusi il prezzo, la valutazione, il numero di ospiti ammessi, le camere da letto, i letti e i bagni. Tutto ciò avviene tramite il web scraping dei dati di ogni pubblicazione sul sito web di Airbnb.

Per dimostrare il bot in azione, inserirò una posizione. Diciamo che voglio cercare Airbnb a Roma, in Italia. Ho semplicemente inserito Roma nel bot e restituisce 272 Airbnb unici in pochi secondi in un foglio di calcolo excel organizzato.

Ora è molto più facile vedere tutte le case/caratteristiche e i loro confronti con altri post. È anche molto più facile filtrare. Vivo in una famiglia di 4 persone e se dovessimo andare a Roma cercheremmo un Airbnb con almeno 2 letti ad un prezzo decente. Ora con questo foglio di calcolo pulito e organizzato, Excel rende estremamente facile filtrare in base alle mie esigenze. E su 272 risultati, 7 sono tornati con i miei bisogni corrispondenti.

Tra questi 7 quello che sceglierei è il Vaticano St. Peter Daniel, ha una valutazione molto buona ed è il più economico dei 7 con un costo di $ 61 a notte. Quindi, dopo aver scelto quello che voglio, copierei semplicemente il link del post in un browser e lo prenoterei.

Cercare un posto dove stare può essere un compito estremamente scoraggiante quando si va in vacanza, sono sicuro che la maggior parte di noi l’ha sentito prima o poi. Per questo ci sono quelli che sono disposti a pagare solo per rendere più facile questo processo. Con questo bot ho semplificato il processo. Mi hai appena visto prenotare una camera con tutte le mie esigenze corrispondenti a un buon prezzo in 5 minuti.

Credimi, le persone sono disposte a pagare per rendere la loro vita un po’ più facile.

2. Rivendita

Uno degli usi più comuni del web scraping è ottenere i prezzi dai siti web. Ci sono quelli che creano programmi di web scraping che vengono eseguiti ogni giorno e restituiscono il prezzo di un prodotto specifico, e quando il prezzo scende a un certo importo il programma acquisterà automaticamente il prodotto prima che sia esaurito.

Quindi, poiché la domanda del prodotto sarà superiore all’offerta, rivendono il prodotto a un prezzo più alto per realizzare un profitto. Questo è solo un esempio delle numerose tattiche di rivendita utilizzate dai web scraper.

Un altro di cui ti mostrerò un esempio può farti risparmiare un sacco di soldi e fare molto anche per te.

Ogni sito Web di vendita al dettaglio ha offerte e vendite limitate, in cui visualizzeranno il prezzo originale e il prezzo di vendita. Ma quello che non fanno è mostrare quanto è effettivamente scontato rispetto al prezzo originale.

Ad esempio, se un orologio originariamente costa $ 350 e il prezzo di vendita è $ 300, penseresti che $ 50 di sconto sarebbero molti soldi ma in realtà è solo uno sconto del 14,2%. Ora, se una T-shirt originariamente costa $ 50 e il prezzo di vendita è $ 40, potresti vedere $ 10 non molto fuori dal prezzo originale, ma in realtà lo sconto è maggiore dell’orologio al 20%.

Quindi puoi risparmiare/guadagnare acquistando i prodotti con la % di sconto più alta.

Utilizzando Hudson’s’ Bay , un grande magazzino che ha numerose vendite su tutti i tipi di marchi, avremmo utilizzato il web scraping per ottenere il prezzo originale e di vendita di tutti i prodotti e trovare il prodotto con lo sconto più alto.

Dopo aver raschiato il sito Web, ha restituito oltre 900 prodotti e come puoi vedere c’è solo 1 prodotto su 900 con uno sconto superiore al 50%. Sarebbe la Perry Ellis Solid No Iron Dress Shirt.

Questo prezzo di vendita è solo un’offerta a tempo limitato, quindi il prezzo di questa maglietta alla fine risalirà a circa $ 90. Quindi, se dovessi acquistarlo ora a $ 40 che venderlo a $ 30 al di sotto del suo originale a $ 60 al termine della vendita limitata, realizzerei comunque un profitto di $ 20.

Questo è un metodo in cui se trovi la nicchia giusta per farlo, c’è il potenziale per fare una grande quantità di denaro.

3. Dati di vendita

Esistono milioni di set di dati online gratuiti e accessibili a tutti. Questi dati sono spesso facilmente raccolti e quindi offerti a chiunque voglia utilizzarli. D’altra parte, alcuni dati non sono così facili da ottenere e richiedono tempo o molto lavoro per inserire un bel set di dati pulito.

Questa è diventata l’evoluzione dei dati di vendita. Ci sono aziende che si concentrano sull’acquisizione di dati che potrebbero essere difficili da ottenere e sulla strutturazione di tali dati in un bel foglio di calcolo o dashboard pulito che altri possono utilizzare a un certo costo.

BigDataBall è un sito Web di dati sportivi che vende registri dei giocatori, dati play-by-play e altre statistiche al prezzo di $ 30 per una singola stagione di dati. Il motivo per cui possono chiedere questo prezzo non è perché ci sono gli unici che hanno questi dati, ma c’è uno dei pochi siti web là fuori che offrono questi dati in una dashboard molto strutturata e pulita che è facile da leggere.

Ora quello che farò è ottenere gratuitamente gli stessi dati di BigDataBall e li inserirò in un set di dati strutturato come quelli che facevo prima.

Come ho detto prima, non sono gli unici con questo tipo di dati. Basketball-Reference.com ha tutti gli stessi dati ma non è strutturato, il che significa che i suoi dati sono ovunque e difficili da leggere, e semplicemente non puoi semplicemente scaricare il set di dati che desideri. È qui che entra in gioco il web scraping. Raschierò il sito Web di tutti i registri dei giocatori per ogni gioco e lo inserirò in un set di dati strutturato come BigDataBall.

Set di dati strutturato di tutti i registri dei giocatori NBA

Dopo il web scraping Basketball-Reference.com abbiamo ottenuto oltre 16000 registri dei giocatori per la stagione finora. Puoi capire perché questi dati in un bel formato pulito possono essere monetizzati, perché nessuno sano di mente otterrebbe manualmente 16000 registri di dati e li inserirebbe nel proprio set di dati. Ma con l’aiuto del web scraping siamo stati in grado di ottenere questi dati in un paio di minuti e di risparmiare $ 30.

Inutile dire che puoi fare quello che fa BigDataBall. Trova dati difficili da ottenere manualmente, lascia che il tuo computer faccia il lavoro e poi vendili a coloro che sono interessati ad avere quei dati in un set di dati strutturato.

Impara il web scraping

Se sei interessato a saperne di più sul Web Scraping e su come fare tutti gli esempi che ho mostrato sopra, lascerò un link al mio corso qui sotto che ti insegna tutti gli strumenti necessari per creare i tuoi progetti di web scraping.