Semaltイスラマバードエキスパート:最も人気のあるWebクローラーとボットのトップ10

インターネット上には2種類のボットがあり、それらは良いボットと悪いボットと呼ばれています。不正なボットはすぐにDDN帯域幅を消費する可能性があるため、深刻な対策を講じる必要があります。その上、否定的または悪いボットはあなたのウェブコンテンツを盗み、サーバーのリソースを奪います。一方、優れたボット(Webクローラーとも呼ばれます)は、Bing、Google、Yahooなどの検索エンジンの結果でWebサイトをインデックスに登録するのに役立つため、慎重に処理する必要があります。

Semaltの主要な専門家であるマイケルブラウンは、数百から数千のボットとWebクローラーがインターネットを調査していることを保証しますが、次のものが最も人気があります。

1. GoogleBot

Googlebotは、現在までで最も有名なWebクローラーの1つです。 Googleの検索結果のウェブコンテンツや記事のインデックス作成に広く使用されています。 Googlebotの最大の特徴は、ユーザーに多くのツールとオプションを提供することです。具体的には、Googlebotは、インデックスに登録するページと残すページをGoogleに指示します。

2. Bingbot

Googlebotと同様に、BingbotはMicrosoftによって人気のあるWebクローラーです。それは何年も前からあり、Bingの検索結果でWebサイトのインデックスを作成することを目的としています。 Bingbotは、MSNボットの理想的な代替品です。その最も有名なオプションは、Fing as Bingbotと呼ばれ、Bingウェブマスターツールにあります。このオプションを使用すると、ページをインデックスに登録してBingの結果に表示するように要求できます。

3.丸呑みボット

Slurp BotはYahooのWebクローラーですが、Bingを利用しています。 Webサイトでは、Yahoo Slurpが自分のページにアクセスして、Yahooモバイル検索結果に表示されるようにする必要があります。このWebクローラーは、Yahoo Webサイト、Yahoo Sports、Yahoo Financeに含めるためにパートナーWebサイトからコンテンツを収集するために使用されます。

4. DuckDuckBot

DuckDuckBotは、DuckDuckGoの有名で最高のWebクローラーです。この検索エンジンはプライバシーで知られており、許可なくユーザーを追跡することはありません。平均して、毎日1,000万のクエリを処理します。 DuckDuckGoは、インスタントアンサー、Wikipedia、DuckDuckBotに関連する回答を提供するいくつかの垂直ソースを含む、400以上のソースから結果を取得します。また、Yandex、Bing、Yahooなどのソースからのクエリも処理します。

5.バイドゥスピダー

Baiduspiderは、中国の検索エンジンのWebクローラーまたはスパイダーの正式名称です。それは毎日多くのWebページにインデックスを付けることができ、Baiduインデックスに更新を返します。 Baiduは、中国を代表する検索エンジンの1つです。中国本土の検索市場全体の80%以上を占めています。

6. Yandexボット

YandexBotは、ロシアの検索エンジンYandexの特定のWebクローラーです。メディアアウトレットは、このボットが2015年にロシアのすべての検索エンジントラフィックの57%以上を生成したと主張しています。

7.そごうスパイダー

Sogou Spiderは、Sogou.comの有名なWebクローラーです。この主要な中国の検索エンジンは2004年に開始され、Alexaで103位にランクされています。 Sogou Webスパイダーはrobot.txtインターネット標準を尊重せず、過度のクロールのためにさまざまなサイトから禁止されていることに注意してください。

8. Exabot

このWebクローラーは、フランスの検索エンジンであるExaleadによって運営されています。数年前に設立され、検索結果で160億を超えるWebページがインデックスに登録されています。

9. Facebook外部ヒット

ソーシャルメディアの大手Facebookは、そのユーザーが他のFacebookユーザーと興味深いリンクを共有できるようにします。 Facebook外部ヒットは、いくつかの画像、いくつかのエキサイティングなビデオ、いくつかのWebページの表示など、さまざまな機能を実行します。主な有名なクロールボットの1つは、広告のパフォーマンスの向上に役立つFacebotです。

10. Alexaクローラー

Alexa Crawlerは、AmazonのAlexaによって運営されており、数十のWebページのインデックス作成に使用されます。 Webサイトに関する情報を収集し、ローカルおよび国際的な好みに基づいてランク付けします。

最終メモ

さまざまなWebクローラーやボットがあるため、不審なWebサイトをブロックするときは、検索エンジンの結果でWebページにインデックスを付ける優れたボットをブロックしないようにしてください。

mass gmail