株式会社Lupinus（本社：東京都港区、代表取締役社長：佐野 宏喜、以下「当社」）は、JCOM株式会社（本社：東京都千代田区、代表取締役社長：岩木 陽一、以下「J:COM」）との共同研究として、Contextual BanditとLLM-as-a-Judgeを組み合わせた質問カテゴリ分類手法を開発し、2026年6月8日（月）から6月12日（金）の期間、群馬県高崎市Gメッセ群馬にて開催された第40回人工知能学会において口頭発表したことをお知らせいたします。当社は、今後もJ:COMをはじめとするパートナー企業との技術協力を通じて、AIを活用したサービス品質の向上に貢献してまいります。

発表概要

主要指標 — KEY FIGURES

30.95ポイント
ランダム選択比で+30.95ptの改善
24.39ポイント
ランダム選択比で+24.39ptの改善

学会名

第40回人工知能学会

開催日

2026年6月8日（月）〜6月12日（金）

開催場所

群馬県高崎市Gメッセ群馬

発表タイトル

Contextual Bandit とLLM-as-a-Judge を組み合わせた質問カテゴリ分類

発表者

和田 計也（当社）、木部 昌平（当社）、畑 玲音（J:COM）

発表形式

口頭発表

背景と目的

【社会的背景】

近年、AIを活用した対話システムの普及に伴い、ユーザーからの多様な問い合わせに適切に対応する重要性が高まっている。 特に顧客接点の多いサービスでは、言い回しや表記の違いを含む様々な問い合わせが日常的に寄せられる。 J:COMをはじめとするケーブルテレビ・通信サービスでは60代以上の利用者が多く、幅広い層からの多様な問い合わせに対してその意図を適切に理解することが求められる。 こうした環境では、RAGを組み込んだ対話システムにおいて「検索すべき質問か、雑談として返すか」の振り分け精度が回答品質と処理効率に直結するため、この分類器を継続的に改善し続けるオンライン学習の仕組みが必要になる。オンライン学習を実現するには実際のユーザー反応をフィードバック信号として使う必要があるが、ユーザーのGood/Bad評価は「カテゴリ選択の正誤」ではなく「回答全体への満足度」であり、そのまま学習信号として使うと分類器を誤った方向に更新してしまうという構造的な問題があった。

【取り組みの目的】

回答生成品質や検索結果の有無といったカテゴリ選択の正誤とは無関係な要因が混入したGood/Bad評価から、カテゴリ選択の正誤に関する純粋な学習信号をいかに抽出するか、そしてその信号を用いた継続的なオンライン学習が実際に機能するかを実証することが本研究の主目的である。具体的には、LLM-as-a-Judgeに各カテゴリの回答を比較させて確信度を出力させることで、ユーザー満足度とは独立したカテゴリ分類専用の評価信号を構成するアプローチを提案・検証した。

発表内容・主な知見

【発表内容の概要】

提案システムは5コンポーネントで構成される。QueryPreprocessorが固有名詞・日時を一般化記号に置換した後、QuestionEmbedderが質問を384次元ベクトルに変換する。このベクトルをもとにLinUCBが3カテゴリ（雑談／VOD検索／リニア放送検索）から1つを選択し、AnswerGeneratorが3カテゴリ分の回答を並列生成する。最後にLLM-as-a-Judgeが3回答を比較して各カテゴリへの確信度を出力する。

LinUCBの更新報酬は、Judgeの選択とLinUCBの選択の一致・不一致にユーザーのGood/Badを組み合わせて設計されており、両者が一致する場合のみ強く学習・罰則（差分報酬Δtの5倍）、不一致の場合はΔtそのままと弱めに扱う。これはJudgeへの過度な依存を防ぐための設計である。

実験は2フェーズで実施された。フェーズ1ではカテゴリ選択の正誤を直接フィードバックする理想条件、フェーズ2では回答全体へのGood/Badのみを用いる実運用に近い条件で、それぞれLinUCBが分類方策を学習できるかを検証した。

【主な成果・知見】

成果①：カテゴリ選択の正誤を直接フィードバックした理想条件下で、LinUCBによる分類方策の学習が有効に機能することを確認。総合正解率70.56%を達成し、ランダム選択比で+30.95ptの改善した。

成果②：回答全体へのGood/Badという、カテゴリ選択の正誤とは無関係な要因が混入した評価信号においても、LLM-as-a-Judgeを介することで分類方策の学習が可能であることを確認。除外後Good率64.00%を達成し、ランダム選択比で+24.39ptの改善した。

会社概要

社名：株式会社Lupinus 設立：2021年8月 代表：代表取締役　佐野宏喜 所在地：〒108-0073​　東京都港区三田3-2-8 THE PORTAL MITA 4階 ＨＰ：https://www.lupinus.com

当社は、データ活用および顧客理解の深化を徹底し、トップラインの向上を中心とする最高品質のビジネスコンサルティングサービスの提供を目指しております。 ”日本の新時代を創造する”を企業理念とし、日本企業が競争力を強化するうえで必要となる最先端の企業変革を推進しております。

---------------------------------------- ▼お問い合わせはこちら https://www.lupinus.com/contact ----------------------------------------

FACT BOX ・ 要点整理

  • 出典：PR TIMES
  • 分類：技術発表