【調查發布】首度大規模調查國內主要3,200媒體「LLM預先訓練資料通過率」

PR科技企業株式會社トドオナダ(總公司:東京都台東區、代表董事松本泰行，以下簡稱「本公司」)運用本公司所提供的PR效果測量服務「Qlipper(クリッパー)」所搭載的LLM友善檢查功能，針對國內主要3,166家媒體，進行生成式AI(LLM)預先訓練資料管道中可通過的媒體比例之定量調查。

調查結果顯示，預計可通過LLM預先訓練資料的國內媒體僅佔10.0%(317件),即使包含「有條件通過」者在內，也僅達33.6%(1,063件)。此外，首次量化揭示出雙層結構現象:傳統媒體(全國報、地方報、通訊社)因robots.txt完全阻擋，主要入口網站與網路新聞系媒體則因內容結構問題，各自基於不同原因被排除於LLM之外。更值得注意的是，公關人員長期依賴的新聞稿發佈服務(通訊社服務),儘管robots.txt完全開放，仍有約三成被判定為「立即丟棄」,顯示發佈網站本身的結構已成為阻礙LLM到達率的現實壁壘。

調查背景:LLM預先訓練資料管道

ChatGPT、Claude、Gemini等生成式AI(LLM)透過學習網路上大量文件來提升語言能力。然而，並非所有網路內容皆會被用於訓練，各AI廠商通常會經過以下多層過濾管道來篩選訓練資料。

階段

內容

落選原因

1 授權爬取判定(robots.txt層)

查看網站robots.txt,確認是否允許AI爬蟲造訪。robots.txt屬「君子協定」,無強制力

robots.txt中該爬蟲遭封鎖

2 內容取得(使用者代理判定/WAF層)

爬蟲實際向網站發送請求，伺服器、CDN、WAF根據使用者代理字串決定是否回應

使用者代理判定拒絕AI爬蟲(回傳403/429)、Cloudflare等WAF自動阻擋AI機器人、以JavaScript渲染為前提的網站導致正文為空

3 清理(正文擷取)

從取得的HTML中移除導覽列、廣告、腳本，擷取正文部分

正文極少、廣告與裝飾元素過多、樣板產生的文字過多

4 品質評分

判斷擷取的正文是否具備學習價值

短文量產文章、重複定型文、正文比例不足

5 重複排除、最終篩選

移除重複內容

轉載自其他媒體、公司內部重複

尤其重要的是1與2為獨立的雙層結構。近年來，即使robots.txt允許，伺服器端仍會根據使用者代理字串拒絕AI爬蟲的情況急劇增加。CDN大廠Cloudflare於2024年推出「預設阻擋AI機器人」功能。

robots.txt雖「允許」,但實際上多數網站仍於伺服器、CDN、WAF層遭到阻擋

本次調查以1robots.txt層與34清理/品質層為測量對象，而2的使用者代理判定層所造成的進一步淘汰，屬於本次調查數值「之外」的額外損失。實際生成式AI的到達率，很可能低於本次調查的通過預期率(10.0%)。

換言之,「網站存在於網路」與「能被LLM學習資料接收」是完全不同的兩回事，意味著公關產業長期以來所依賴的「刊登=曝光」效果衡量框架，在生成式AI時代已無法直接適用。

調查概要

項目

內容

調查工具

PR效果測量服務「Qlipper」所搭載的LLM友善檢查功能

調查對象

Qlipper登錄之國內主要新聞媒體、專業媒體共3,166個網站

調查內容

1 取得各網站robots.txt,判定5種主要LLM爬蟲(GPTBot/CCBot/ClaudeBot/Google-Extended/PerplexityBot)是否獲准 2 從各網站取得最多3篇報導網址，依據業界標準清理管道(符合C4/Gopher/RedPajama)計算正文擷取後的存活分數

調查實施日

2026年6月28日

分數區分

預期通過(0.6以上)/有條件通過(0.4~0.6)/通過困難(0.2~0.4)/立即丟棄(未滿0.2)

測量範圍備註

本調查測量LLM預先訓練管道中的1robots.txt層與3清理/4品質層。2伺服器、CDN、WAF的使用者代理判定層不在本次測量範圍內，實際生成式AI的到達率可能低於本調查結果

※「LLM友善檢查功能」為本公司獨家功能，可診斷自家網站或客戶媒體在LLM中的可見度。本次發布之調查為該功能大規模應用的首度報告。

主要調查結果

【結果1】可通過LLM訓練資料的國內媒體僅佔10.0%

國內主要3,166家媒體中，僅317家(10.0%)可預期通過LLM預先訓練管道，即使包含「有條件通過」者，也僅達1,063家(33.6%)。其餘66.4%(2,103件)因各種原因實質上被排除於LLM學習資料之外，此為首次以量化方式揭示。

【結果2】無法通過的主因，遠非「robots阻擋」而是「內容品質」

無法通過的媒體原因分布如下:

原因

件數

整體比例

因robots.txt阻擋或無法取得

248件

7.8%

無法取得報導網址或無法計算分數

569件

18.0%

於清理階段因品質未達標而淘汰

2,032件

64.2%

與社會討論中常見的「AI封鎖媒體」論點相反，實際最大障礙在於網站本身的內容結構未能符合LLM學習管道的要求。

【結果3】robots.txt對LLM爬蟲拒絕的實際狀況

成功取得robots.txt的2,847家媒體中，完全拒絕所有爬蟲者有171家(5.4%),僅針對部分爬蟲拒絕者有223家(7.0%)。

爬蟲

拒絕率(於部分拒絕網站中)

GPTBot(OpenAI)

68.2%

CCBot(Common Crawl)

64.1%

ClaudeBot(Anthropic)

47.1%

Google-Extended(Google)

35.4%

PerplexityBot(Perplexity)

14.3%

網站營運者並非無差別拒絕AI,而是對OpenAI/Common Crawl較為警戒，對Perplexity則較為容忍，顯示已形成明確的篩選機制。各媒體「是否登上哪些AI」的地圖正逐漸成形。

【結果4】依類別分析特徵——「三層無法通過結構」

▼ 第一層:傳統媒體在「入口」完全封閉

類別

n

robots拒絕率

預期通過率

全國報

6

100.0%

0.0%

地方報

95

67.4%

2.1%

通訊社

6

66.7%

—

體育報

12

66.7%

0.0%

權威性越高的一手資訊來源傳統媒體，越強烈拒絕提供資料予LLM學習。此結果明確顯示，即使公關人員成功於這些媒體刊登文章，幾乎不會反映於生成式AI的回應中。

▼ 第二層:入口網站——「複合性卡關」的最大盲點

類別

n

robots拒絕率

立即丟棄率

預期通過率

入口網站

17

29.4%

23.5%

5.9%

公關產業長期視為「刊登=成功」的入口網站，預期通過率僅5.9%(17家中僅1家)。因robots阻擋與內容品質雙重問題而卡關，形成「複合型無法通過」,構成不同於傳統媒體與網路媒體的第三類問題型態。

▼ 第三層:網路媒體「雖獲允許卻因品質被淘汰」

類別

n

立即丟棄率

預期通過率

新聞網站

218

74.3%

0.9%

內容彙編

24

58.3%

0.0%

專業雜誌網站

273

37.0%

11.7%

雜誌

297

33.0%

11.1%

▼ 占整體四成的「專業網站」良莠不齊

類別

n

立即丟棄率

預期通過率

平均分數

專業網站

1,277

24.5%

12.7%

0.360

佔全調查對象40%的最大類別「專業網站」,其分數分布呈雙峰型(下位25%為0.098以下，上位75%為0.555以上),明顯區分為「可通過LLM的專業網站群」與「立即丟棄的專業網站群」。當公關人員判斷「已刊登於產業專業網站」時，其實際成效幾乎如同擲銅板般取決於運氣。

【結果5】公關最後依靠的新聞稿發佈(通訊社服務)也令人失望

類別

n

robots拒絕率

無法取得報導網址

立即丟棄率

預期通過率

通訊社服務

10

0.0%

30.0%

30.0%

30.0%

本次調查的10家主要通訊社服務,robots.txt拒絕率為0%——對LLM爬蟲完全開放。此結構上理所當然，因新聞稿發佈的業務目的即為「廣泛擴散」,無排除AI爬蟲的動機。

然而，即使完全開放，立即丟棄率仍達30.0%,無法取得報導網址者亦佔30.0%,最終僅3家(10家中)達到預期通過。此類別最極端地體現了本調查的核心發現:「robots.txt允許」與「可達LLM」是兩回事。

在生成式AI時代的公關活動中，除了發佈數量與頻率，發佈網站是否具備可通過LLM學習管道的結構，已浮現為新的效果指標。

總結:公關產業面臨的「媒體組合再設計」

本調查揭示，生成式AI時代的公關活動必須基於以下事實:

國內媒體每三家中有兩家，實質上對LLM學習資料「不可見」

權威性越高的傳統媒體，越從LLM中消失的逆向結構

倚賴入口網站與網路新聞的傳統型PR,對透過LLM建立認知毫無貢獻

連公關最後依靠的新聞稿發佈也有三成「立即丟棄」——robots.txt開放僅為必要條件，若無發佈網站結構改善，仍無法到達LLM

無法通過的最主要原因並非robots阻擋，而是網站本身的內容結構，改善空間極大

公關人員長期以來「要登上哪些媒體」的思維，必須擴展為「哪些媒體可到達LLM」「自家網站是否具備可通過LLM的結構」等新問題。

株式會社トドオナダ的措施

本公司已於PR效果測量服務「Qlipper」提供本次調查所用的「LLM友善檢查功能」,供公關人員使用。可基於定量診斷，視覺化自家網站或客戶媒體的內容在LLM預先訓練管道的哪一階段被淘汰，以及如何改善才能提升通過率。

此外，本公司亦開發出可透過聊天形式診斷「LLM如何認知與引用本公司或客戶」的「ディギディギ(Digidigi)」。我們將致力於建立公關產業中「LLM時代認知測量」的標準。

本新聞稿相關洽詢

株式會社トドオナダ 承辦單位:Qlipper營運事務局 Email:qlipper@todo-o-nada.com Web:https://qlipper.jp/

公司概要

項目

內容

公司名稱

株式會社トドオナダ

負責人

代表董事 松本泰行

總公司地址

東京都台東區上野7-11-13 弥彦大樓302

營業內容

PR效果測量服務「Qlipper」之開發與營運、LLM認知測量工具「ディギディギ」之開發

URL

https://qlipper.jp/

※本新聞稿所載數值皆基於2026年6月28日之調查結果。關於調查對象媒體與調查方法之詳細資料，可依需求另行提供。