あなたが今読んでいるのはデータであることをご存知ですか?

ほんの一言のように見えるかもしれませんが、バックエンドでは、オンラインで読むものはすべて、取得、分解、および操作できるデータです。

簡略化されたのは、Webスクレイパーです。

彼らは、Webサイト(HTMLコード)またはデータベースを作成するために作成されたコードを調べ、必要なデータを取得します。事実上すべてのWebサイトをスクレイピングできます。一部のサイトには、これらのスクレーパーがデータを収集するのを防ぐ対策が含まれていますが、十分に良ければ、基本的にオンラインのWebサイトの99%をスクレイピングできます。

Webスクレイパーが何であるかを知らなかった場合は、アイデアがあり、この記事を読んでいる理由を理解することができます…

お金。

Webスクレイピングは、見た目ほど難しくないお金を稼ぐためのユニークな方法です。実際、これから紹介するすべてのメソッドと例は、達成するのに50行未満のコードを必要とし、わずか数時間で学習できます。

だから、そうは言っても、私はあなたに見せましょう…

Webスクレイピングを使用してお金を稼ぐ3つの方法

1. ボットの作成

ボットは、特定のアクションを実行するプログラムの単なる専門用語です。このアクションのやり方によっては、自分で作るための技術的なスキルを持っていない人に売ることができます。

ボットを作成して販売する方法を示すために、Airbnbボットを作成しました。このボットを使用すると、ユーザーは場所を入力でき、価格、評価、許可されたゲスト数、寝室、ベッド、バスルームなど、その場所でAirbnbが提供するすべての家を返します。これはすべて、Airbnbウェブサイト上の各出版物のデータのWebスクレイピングを通じて行われます。

ボットの動作を示すために、場所を入力します。イタリアのローマでAirbnbを検索したいとします。ボットにローマを入力するだけで、整理されたExcelスプレッドシートに272のユニークなAirbnbを数秒で返しました。

これで、すべての家/機能と他の投稿との比較がはるかに簡単になりました。フィルタリングもはるかに簡単です。私は4人家族に住んでいて、ローマに行くとしたら、少なくとも2つのベッドを備えたAirbnbをまともな価格で探します。このすっきりとした整理されたスプレッドシートを使用すると、Excelを使用すると、必要に応じて非常に簡単にフィルタリングできます。そして、272の結果のうち、7つは私の対応するニーズとともに戻ってきました。

これらの7つの中で私が選ぶのはバチカン聖です。 ピーターダニエルは、非常に良い評価を持っており、一泊61ドルの費用で7の中で最も安いです。次に、必要なものを選択した後、投稿リンクをブラウザにコピーして予約するだけです。

休暇に行くとき、滞在する場所を探すことは非常に困難な作業になる可能性があります、私たちのほとんどは遅かれ早かれそれを聞いたことがあると確信しています。このために、このプロセスを簡単にするためだけに喜んで支払う人がいます。このボットを使用して、プロセスを簡素化しました。あなたは私が5分で良い価格に対応する私のすべてのニーズで部屋を予約するのを見ました。

私を信じて、人々は彼らの生活を少し楽にするためにお金を払うことをいとわない。

2. 転売

Webスクレイピングの最も一般的な用途の1つは、Webサイトから価格を取得することです。毎日実行され、特定の製品の価格を返すWebスクレイピングプログラムを作成し、価格が一定の金額に下がると、プログラムは在庫切れになる前に製品を自動的に購入します。

したがって、製品の需要は供給よりも高くなるため、利益を上げるためにより高い価格で製品を再販します。これは、Webスクレイパーで使用されている多くの再販戦術の一例にすぎません。

私があなたにたくさんのお金を節約し、あなたのためにもたくさんのことをすることができる例をあなたに示すつもりです。

各小売Webサイトには限られたオファーと販売があり、元の価格と販売価格が表示されます。しかし、彼らがしないことは、元の価格と比較して実際にどれだけ割引されているかを示すことです。

たとえば、時計の価格はもともと350ドルで、販売価格が300ドルの場合、50ドルオフは大金になると思いますが、実際には14.2%の割引です。さて、Tシャツが元々50ドルで、セール価格が40ドルの場合、元の価格から10ドルはそれほど高くないかもしれませんが、実際には割引は時計よりも20%大きくなっています。

したがって、割引率が最も高い製品を購入することで節約/稼ぐことができます。

あらゆる種類のブランドで多数の販売を行っているデパートであるハドソンズベイを使用して、 Webスクレイピングを使用して、すべての製品の元の販売価格を取得し、割引率が最も高い製品を見つけます。

ウェブサイトをスクレイピングした後、900以上の製品が返され、ご覧のとおり、1%以上の割引がある900のうち50つの製品しかありません。それはペリーエリスソリッドノーアイアンドレスシャツでしょう。

このセール価格は期間限定のオファーであるため、このシャツの価格は最終的に約90ドルに上昇します。したがって、限定販売の終了時に元の60ドルよりも30ドルで販売するよりも、今40ドルで購入したとしても、20ドルの利益を上げます。

これは、それを行うための適切なニッチを見つけた場合、多額のお金を稼ぐ可能性がある方法です。

3. 販売データ

誰もがアクセスできる無料のオンラインデータセットは何百万もあります。多くの場合、このデータは簡単に収集され、それを使用したい人に提供されます。一方、一部のデータはそれほど簡単に取得できず、クリーンなデータセットを入力するのに時間または多くの作業が必要です。

これが売上データの進化となっています。取得が難しい可能性のあるデータをキャプチャし、そのデータを他の人が何らかのコストで使用できる優れたスプレッドシートまたはクリーンなダッシュボードに構造化することに重点を置いている企業があります。

BigDataBallは、プレーヤーのログ、実況データ、およびその他の統計を1シーズンのデータで30ドルで販売するスポーツデータWebサイトです。彼らがこの価格を求めることができる理由は、このデータを持っている唯一の人がいるからではありませんが、読みやすい非常に構造化されたクリーンなダッシュボードでこのデータを提供する数少ないWebサイトの1つです。

これからやろうとしていることは、BigDataBallと同じデータを無料で取得し、以前と同じように構造化されたデータセットに入れることです。

前にも言ったように、このタイプのデータを持っているのは彼らだけではありません。 Basketball-Reference.com はすべて同じデータを持っていますが、構造化されていないため、データはどこにでもあり、読みにくく、必要なデータセットをダウンロードすることはできません。これがWebスクレイピングの出番です。 各ゲームのすべてのプレイヤーログのWebサイトをスクレイピングし、BigDataBallなどの構造化データセットに配置します。

ウェブスクレイピング Basketball-Reference.com 後、これまでにシーズンの16000を超えるプレーヤーログを取得しました。クリーンな形式のこのデータを収益化できる理由は、正しい心の誰も手動で16,000のデータログを取得してデータセットに入れることができないためです。しかし、Webスクレイピングの助けを借りて、このデータを数分で取得し、30ドル節約することができました。

言うまでもなく、BigDataBallが行うことを実行できます。取得が困難なデータを手動で検索し、コンピューターに作業を任せてから、そのデータを構造化データセットに含めることに関心のある人に販売します。

ウェブスクレイピングを学ぶ

Webスクレイピングと、上記で示したすべての例の実行方法について詳しく知りたい場合は、独自のWebスクレイピングプロジェクトを作成するために必要なすべてのツールを教えるコースへのリンクを以下に残します。