ARCH、AI Agent 向けベンチマーク「LLMSnare」の企業向けカスタム評価相談を開始

ARCH株式会社（本社：東京都千代田区、代表取締役会長 兼 CEO：Yonglong Wei、以下 ARCH）は、AI Agent（AIエージェント）に利用する LLM（大規模言語モデル）を業務ケースごとに評価するためのベンチマークツール「LLMSnare」を用いた、企業向けカスタム評価に関する相談受付を開始しました。

LLMSnare は、LLM が Agent として動くときに、必要な文脈を読んでいるか、ツールを適切に使っているか、誤った指示や不足した情報から回復できるかを測る行動ベースのベンチマークです。ARCH は、公開版の LLMSnare および LLMSnare Arena に加え、企業ごとの業務、権限、ツール利用、失敗条件に合わせたカスタムケースの設計を支援します。

ARCH は、AI Agent 向けベンチマーク「LLMSnare」を用いた企業向けカスタム評価に関する相談受付を開始しました。

LLMSnare は、最終回答だけでなく、文脈読解、ツール利用、誤誘導からの回復、出力規約の遵守など、Agent としての行動を評価します。

背景
AI Agent に利用できるモデルは増え続けています。商用 LLM、オープンウェイトモデル、各種クラウド事業者、OpenAI 互換エンドポイント、自社管理モデルを組み合わせる企業も増えています。

一方で、企業が AI Agent を業務に導入する場合、「どのモデルが最も賢いか」だけでは十分な判断になりません。問い合わせ分類、公開前レビュー、社内文書確認、コード修正、データ更新、定期レポート作成では、それぞれ求められる行動が異なります。

企業で AI Agent を使うには、汎用ベンチマークの順位だけでなく、自社の業務ケースに近い条件で、モデルがどのように行動するかを確認する必要があります。ARCH は、AI Agent に使うモデルは、一般的なランキングではなく、業務ケースごとの行動で評価する必要があると考えています。

LLMSnare とは
LLMSnare は、LLM が Agent として動くときの行動を測るベンチマークツールです。

多くのベンチマークは、最終的な答えや生成物が正しいかを見ます。LLMSnare は、それに加えて、モデルが作業前に必要な情報を読んだか、既存の helper やルールを使ったか、誤った指示から正しい文脈へ戻れたか、同じケースを繰り返したときに安定した行動を取れるかを確認します。

LLMSnare は、主に以下の観点で Agent としての行動を評価します。
- 必要な文脈を読んでから実行しているか
- 書き込みや実行の前に、必要なファイル、ルール、既存の helper を確認しているか
- tool calling（ツール呼び出し）の順序や回数が妥当か
- 誤った path（パス）、曖昧な指示、不足した情報から回復できるか
- 最終出力がケースごとの規約に沿っているか
- 同じケースを繰り返したときに行動が大きく崩れないか

公開版の LLMSnare では、CLI、公開 Arena、ケース作成のためのドキュメントを提供しています。

なぜ企業ごとのカスタムケースが必要か
公開ベンチマークは、モデルの傾向を見る入口として有用です。しかし、企業が本当に知りたいのは、自社の業務に近い条件で、そのモデルが使えるかどうかです。

たとえば、公開前レビューでは、文章の自然さだけでなく、参照した資料、禁則表現、法務確認、承認者への引き渡しが重要になります。これらは、一般的なモデルランキングだけでは判断できません。