クローラ

出典: Wikipedio

プライバシー・ポリシー Wikipedioについて 免責事項 クローラ (Crawler) とは、ウェブ上の文書や画像などを周期的に取得し、自動的にデータベース化するプログラムである。「ボット(Bot)」、「スパイダー」、「ロボット」などとも呼ばれる。

主に検索エンジンのデータベース、インデックス作成に用いられているほか、統計調査などの目的にも利用される。近年では電子メールアドレス収集業者などもクローラを利用して、スパムの送信効率を上げている。

一般にクローラは、既知のHTML文書の新しいコピーを要求し、文書中に含まれるリンクをたどり別の文書を収集するという動作を繰り返す。新しい文書を見つけた場合はデータベースに登録する。また、既知のファイルが存在しないことを検出した場合はデータベースから削除する。

主なクローラ

• グーグルボット (Google)
• MSNBot (MSN)
• Yetibot (ネイバー)
• InfoSeek Sidewinder （インフォシーク）
• Yahoo! Slurp (Yahoo!)
• Slurp (Inktomi)
• Scooter (AltaVista)
• Baiduspider（百度）
• インターネットNinja

Template:Computer-stub

関連項目

• スパム - 検索エンジンスパム
• メールアドレス検索ロボット
• インターネットボットca:Aranya web

cy:Ymgripiwr gwe de:Webcrawler en:Web crawler es:Araña web eu:Web crawler fi:Hakurobotti fr:Robot d'indexation he:זחלן רשת it:Crawler ko:웹 크롤러 lt:Interneto robotai nds-nl:Webkroeper nl:Spider no:Søkerobot pl:Robot internetowy pt:Web crawler ru:Поисковый робот sv:Spindel (internet) ta:சிலந்திகள் (தேடுபொறி) uk:Пошуковий робот zh:網路蜘蛛