ひとことで言うと
Google-Extended とは、Google の AI 系サービス(Gemini、AI Overview、Vertex AI 等)用の Web クローラー識別子です。通常の Googlebot とは 別に制御 できます。
具体的にどんな場面?
例えば、
- 通常の Google 検索にはインデックスされたい
- でも Gemini や AI Overview の学習・引用には使われたくない
という時、robots.txt で:
# Googlebot は Allow(通常検索)
User-agent: Googlebot
Allow: /
# Google-Extended は Disallow(AI 系を拒否)
User-agent: Google-Extended
Disallow: /
と書けば、Google 検索結果には表示されつつ、Gemini からは引用されないようにできます。
ただし GEO 対策では 両方 Allow が基本です(AI 検索からの引用機会を失うため)。
なぜ重要か
- Google AI Overview は検索結果の最上部に表示:CTR への影響大
- Gemini は法人利用が増加中:特にエンタープライズ
- 2024 年以降に出てきた新識別子:設定漏れの企業が多い
設定方法(GEO 推奨)
User-agent: Google-Extended
Allow: /
または robots.txt に何も書かない(デフォルト Allow)で OK。
よくある誤解
- 「Googlebot を Allow してれば AI にも届く」→ 間違い。Google-Extended は別軸
- 「Google-Extended を Disallow しても Google 検索は影響なし」→ 正しい
- 「Disallow すれば AI 学習を完全防止できる」→ 半分正しい(Google だけ)
詳細は robots.txt、Gemini を参照。