ひとことで言うと
GPTBot とは、OpenAI が運用している Web クローラーです。あなたのサイトに来て記事を読み、その内容を ChatGPT や SearchGPT で引用するための候補として収集します。
具体的にどんな場面?
例えば、ChatGPT に「日本でおすすめの B2B SaaS は?」と質問されると、ChatGPT は GPTBot が過去に巡回した Web 情報から自社の SaaS サービスを引用します。
GPTBot に巡回されていなければ、いくら良いサービスでも ChatGPT に引用される可能性はゼロに近くなります。
設定方法
robots.txt で制御:
# GPTBot を Allow(GEO 対策では推奨)
User-agent: GPTBot
Allow: /
# 完全に拒否したい場合
User-agent: GPTBot
Disallow: /
なぜ Allow すべきか
- ChatGPT は広く使われる生成 AI の 1 つ:GPTBot ブロック = AI 引用機会を失う
- 学習データに使われることへの抵抗:確かに気持ちは分かるが、引用機会も同時に失う
- コンテンツ業界の選択は分かれる:ニュースサイトの一部は Disallow にしているが、SaaS / 一般企業は Allow が多い
関連クローラー
OpenAI には GPTBot 以外にも複数のボットがあります:
- OAI-SearchBot:SearchGPT 専用(2024 年から導入)
- ChatGPT-User:ユーザーが特定 URL を ChatGPT に貼った時に取りに行く
GEO 対策では、これらすべてを Allow するのが基本です。
詳細は robots.txt、OpenAI も参照。