Google検索とGeminiのサイト取得は同じではない―AIクローラーを全部許可するべきか考える
Google検索では見えているのにGeminiではページを取得できない現象をきっかけに、Googlebot、Google-Extended、AI検索用・学習用クローラー、Cloudflare側の制御を調べます。
robots.txt
robots.txtのタグが付いた記事です。
2件の記事
Geminiからサイトを取得できない―GOOGLE_EXTENDED_OPT_OUTとrobots.txt・Cloudflareを確認する
Geminiからbringain.comを直接取得できず、URL_FETCH_STATUS_GOOGLE_EXTENDED_OPT_OUTが返った。robots.txt、Cloudflare AI Crawl Control、Google Search Consoleのライブテストを確認した記録。