ARCH 開始提供AI代理基準測試工具「LLMSnare」的企業客製化評估諮詢

ARCH Inc.（總部：東京都千代田區，董事長兼執行長：Yonglong Wei）宣佈開始受理企業客製化評估諮詢，利用其開發的基準測試工具「LLMSnare」，專門針對 AI 代理（AI Agent）所使用的 LLM（大型語言模型）進行業務場景評估。

LLMSnare 是一套基於行為的基準測試工具，旨在衡量 LLM 在作為 AI 代理運作時，是否能正確讀取必要的上下文、恰當使用工具，以及從錯誤指示或資訊不足的情況下恢復。除了公開版本的 LLMSnare 與 LLMSnare Arena 之外，ARCH 還協助企業根據各自的業務內容、權限設計、工具使用環境及失敗條件，量身打造客製化的評估案例。

背景
可用於 AI 代理的模型數量正持續增加，企業也越來越傾向結合商用 LLM、開放權重模型、各類雲端服務商、OpenAI 相容終端及企業自管模型。

然而，當企業將 AI 代理導入業務時，單純判斷「哪個模型最聰明」已不足夠。從諮詢分類、發佈前審核、內部文件核對、程式碼修正、資料更新到定期報表製作，每一種場景所需的要求截然不同。

為了有效使用 AI 代理，企業不能僅依賴通用基準測試的排名，更需要驗證模型在接近實際業務條件下的具體行為。ARCH 認為，用於 AI 代理的模型應基於不同業務場景的表現進行評估，而非僅參考通用排名。

關於 LLMSnare
LLMSnare 是一款測量 LLM 作為 AI 代理運作時行為的基準測試工具。

許多現有基準測試僅關注最終答案或生成物是否正確，而 LLMSnare 進一步確認模型在作業前是否閱讀了必要資訊、是否使用了既有的助手（helper）或規則、是否能從錯誤指示回到正確情境，以及在重複相同場景時能否保持穩定行為。

LLMSnare 主要從以下觀點評估 AI 代理行為：
- 執行前是否閱讀了必要上下文
- 寫入或執行前是否確認了必要檔案、規則與既有助手
- 工具呼叫（tool calling）的順序與次數是否妥當
- 是否能從錯誤的路徑（path）、模糊指示或資訊不足中恢復
- 最終輸出是否遵循場景專屬規範
- 在重複執行相同場景時，行為是否維持穩定

公開版 LLMSnare 提供 CLI、公開 Arena 及案例建立所需的技術文件。

為何需要企業專屬的客製化案例？
雖然通用基準測試有助於觀察模型的一般趨勢，但企業真正需要的是確認模型在貼近其業務條件下是否適用。例如，在發佈前審核任務中，文章是否自然並非唯一重點，是否引用了正確資料、有無禁語、是否經過法務確認以及能否順利轉交審核人員才是關鍵。這些細節單靠通用模型排名無法判斷。