AI クローラーとは

ひとことで言うと

AI クローラー とは、生成 AI(ChatGPT / Claude / Gemini 等)のために Web ページを巡回・取得する自動ボットの総称です。

具体的にどんな場面?

例えば、あなたのサイトに新しいブログ記事を公開すると、数時間〜数日のうちに OpenAI の「GPTBot」がやってきて記事の内容を読みます。読まれた内容は ChatGPT の学習データになったり、SearchGPT がリアルタイム検索する時の対象になったりします。

代表的な AI クローラー:

なぜ重要か

• AI クローラーに来てもらえないと AI で引用されない:存在しない扱いと同じ
• robots.txt で制御可能:Allow すれば来る、Disallow なら来ない
• GEO 対策の基本中の基本:まず AI クローラーを Allow にすることから始まる

どう設定する?

robots.txt で各クローラーを Allow にします:

User-agent: GPTBot Allow: / User-agent: Claude-Web Allow: / User-agent: Google-Extended Allow: /

詳細は robots.txt と各個別ボットのページを参照。