【AKARUMI洞察】AI機器人最常存取「robots.txt」與「sitemap」｜存取分析報告
ipe公司分析了自家網站的AI機器人存取狀況，發現robots.txt與sitemap的存取量最多。此外，Claude與GPT等不同機器人的存取行為也存在差異，凸顯了在AI搜尋時代進行資訊架構設計的重要性。
📋 文章處理履歷
- 📰 發表: 2026年5月19日 01:01
- 🔍 收集: 2026年5月18日 16:31
- 🤖 AI分析完成: 2026年5月18日 23:40（收集後7小時8分鐘）
ipe公司（以下簡稱ipe）使用專為AI搜尋時代設計的可視化工具「AKARUMI」，針對其自主開發的AI寫作工具「DeepEditor」網站，分析了過去30天內AI機器人的存取狀況。
近年來，隨著以ChatGPT與Gemini等生成式AI為起點的資訊收集方式日益普及，企業了解「自身如何被AI識別與參考」的重要性正不斷提升。
本文摘錄了分析AI機器人存取頁面趨勢的報告內容，並進行介紹。
調查結果摘要
在此次分析中，AI機器人最常存取的並非文章頁面或服務頁面，而是 /robots.txt 與 /sitemap.xml 等與網站結構相關的頁面。
此外，ClaudeBot、GPTBot與PerplexityBot在存取趨勢上也表現出差異。ClaudeBot主要存取網站結構相關頁面，而GPTBot的存取則較為分散，包含了定價頁面與文章頁面等。
在AI搜尋時代，精確掌握「AI機器人正在查看哪些頁面」已成為企業的必修課。
整體而言，「robots.txt」與網站地圖相關頁面的存取量最高
統整所有AI機器人的存取數據後發現，存取次數最多的頁面是 /robots.txt，其次依序為首頁 (/)、/sitemap.xml 與 /sitemap.rss。
根據本次數據，/robots.txt、/sitemap.xml 與 /sitemap.rss 的總造訪次數達249次，約佔前10大存取頁面總量的61.5%。
這些結果顯示，AI機器人不僅查看頁面的主要文字內容，還會確認網站的爬蟲權限、URL結構以及更新資訊。
不同AI機器人具有不同的存取趨勢
若按不同AI機器人進行分析，可以發現它們的存取行為存在明顯差異。
ClaudeBot對 /robots.txt、/sitemap.xml 與 /sitemap.rss 的存取比例較高，主要集中在網站結構相關頁面上。
另一方面，GPTBot除了存取網站地圖相關頁面外，還會造訪定價頁面、文章頁面、案例研究頁面與新聞頁面等。
此外，PerplexityBot的存取主要集中在首頁與 /robots.txt。從這些結果可以得知，不同的AI機器人可能正在確認不同的資訊，並扮演著不同的角色。
AI搜尋時代下的網站改善重點
本次調查也確認了AI機器人對定價頁面、功能頁面、解決方案頁面與文章頁面的存取。
在AI搜尋時代，整理好定價、功能差異、應用場景與導入條件等資訊，並以AI易於理解的方式進行資訊架構設計的重要性正與日俱增。
此外，在首頁明確地釐清「這是什麼服務」、「目標客群是誰」以及「能解決什麼問題」，對於幫助AI理解網站內容也將發揮關鍵作用。
將AI機器人存取狀況可視化的「AKARUMI」
透過AKARUMI，企業可以將ChatGPT、Claude、Perplexity等AI機器人的存取狀況可視化，並精準分析「AI正在查看哪些頁面」。
藉由確認單靠GA4或GSC難以掌握的AI機器人存取數據，企業將更容易了解在AI搜尋時代應強化的頁面，並掌握LLMO（大型語言模型優化）的改善優先順序。
關於ipe公司
ipe公司是一家數位行銷公司，透過提供SEO與LLMO顧問服務，協助企業在搜尋引擎與生成式AI中被正確地識別、引用與選擇。
13年來，該公司主要針對大型網站與資料庫型網站提供SEO支援，至今已協助超過300家企業。目前，ipe正運用這些專業知識強化LLMO支援服務，同時提供能將品牌在AI搜尋與LLM上的曝光狀況可視化的分析平台「AKARUMI」。
公司名稱：株式會社ipe
總部地址：〒107-0062 東京都港區南青山二丁目24番15號 青山塔樓 5F
成立時間：2013年10月
業務內容：網路顧問事業、媒體事業、廣告事業等
企業網站：https://ipeinc.jp/
電話：03
近年來，隨著以ChatGPT與Gemini等生成式AI為起點的資訊收集方式日益普及，企業了解「自身如何被AI識別與參考」的重要性正不斷提升。
本文摘錄了分析AI機器人存取頁面趨勢的報告內容，並進行介紹。
調查結果摘要
在此次分析中，AI機器人最常存取的並非文章頁面或服務頁面，而是 /robots.txt 與 /sitemap.xml 等與網站結構相關的頁面。
此外，ClaudeBot、GPTBot與PerplexityBot在存取趨勢上也表現出差異。ClaudeBot主要存取網站結構相關頁面，而GPTBot的存取則較為分散，包含了定價頁面與文章頁面等。
在AI搜尋時代，精確掌握「AI機器人正在查看哪些頁面」已成為企業的必修課。
整體而言，「robots.txt」與網站地圖相關頁面的存取量最高
統整所有AI機器人的存取數據後發現，存取次數最多的頁面是 /robots.txt，其次依序為首頁 (/)、/sitemap.xml 與 /sitemap.rss。
根據本次數據，/robots.txt、/sitemap.xml 與 /sitemap.rss 的總造訪次數達249次，約佔前10大存取頁面總量的61.5%。
這些結果顯示，AI機器人不僅查看頁面的主要文字內容，還會確認網站的爬蟲權限、URL結構以及更新資訊。
不同AI機器人具有不同的存取趨勢
若按不同AI機器人進行分析，可以發現它們的存取行為存在明顯差異。
ClaudeBot對 /robots.txt、/sitemap.xml 與 /sitemap.rss 的存取比例較高，主要集中在網站結構相關頁面上。
另一方面，GPTBot除了存取網站地圖相關頁面外，還會造訪定價頁面、文章頁面、案例研究頁面與新聞頁面等。
此外，PerplexityBot的存取主要集中在首頁與 /robots.txt。從這些結果可以得知，不同的AI機器人可能正在確認不同的資訊，並扮演著不同的角色。
AI搜尋時代下的網站改善重點
本次調查也確認了AI機器人對定價頁面、功能頁面、解決方案頁面與文章頁面的存取。
在AI搜尋時代，整理好定價、功能差異、應用場景與導入條件等資訊，並以AI易於理解的方式進行資訊架構設計的重要性正與日俱增。
此外，在首頁明確地釐清「這是什麼服務」、「目標客群是誰」以及「能解決什麼問題」，對於幫助AI理解網站內容也將發揮關鍵作用。
將AI機器人存取狀況可視化的「AKARUMI」
透過AKARUMI，企業可以將ChatGPT、Claude、Perplexity等AI機器人的存取狀況可視化，並精準分析「AI正在查看哪些頁面」。
藉由確認單靠GA4或GSC難以掌握的AI機器人存取數據，企業將更容易了解在AI搜尋時代應強化的頁面，並掌握LLMO（大型語言模型優化）的改善優先順序。
關於ipe公司
ipe公司是一家數位行銷公司，透過提供SEO與LLMO顧問服務，協助企業在搜尋引擎與生成式AI中被正確地識別、引用與選擇。
13年來，該公司主要針對大型網站與資料庫型網站提供SEO支援，至今已協助超過300家企業。目前，ipe正運用這些專業知識強化LLMO支援服務，同時提供能將品牌在AI搜尋與LLM上的曝光狀況可視化的分析平台「AKARUMI」。
公司名稱：株式會社ipe
總部地址：〒107-0062 東京都港區南青山二丁目24番15號 青山塔樓 5F
成立時間：2013年10月
業務內容：網路顧問事業、媒體事業、廣告事業等
企業網站：https://ipeinc.jp/
電話：03
常見問題
AI機器人主要存取哪些頁面？
相較於文章或服務頁面，它們最常存取的是/robots.txt與/sitemap.xml等與網站結構相關的頁面。
在LLMO中最重要的是什麼？
將定價、功能、用途等資訊整理成AI容易理解的結構化資訊設計。
AKARUMI是什麼？
由ipe公司提供的分析工具，可將AI機器人存取以及在AI搜尋與LLM上的品牌曝光狀況視覺化。