推出針對AI代理的「品質評估服務」

提供軟體品質提升支援服務的株式會社VeriServe（總部：東京都千代田區，代表取締役社長：鴫原忠大，以下簡稱VeriServe），今日正式推出全新服務「QA4AI（Q-A-for-AI）代理」，可針對各類AI代理※1進行品質評估。

本服務不僅評估AI代理的輸出結果，更基於評估觀點與評估程式※2，從第三方立場對其決策過程、工具使用等行為層面的品質進行全面評估。

※1 指能連結外部工具或資料，自主執行業務或任務的AI

※2 依據評估指標（metrics）、評分機制與判定標準等，用以評估AI代理品質的機制

圖1：邁向包含「行為流程」的AI代理評估

■ 背景

生成式AI的應用，正從過去僅透過聊天取得輸出，擴展至能自主執行人類業務的AI代理。然而，AI代理具備將多項任務自主拆解、執行，並根據中間結果選擇下一步行動的特性，因此若僅評估最終輸出，難以充分確保品質，必須同時檢視任務拆解、執行流程與判斷合理性，此課題已日益凸顯。

此外，企業在評估導入或正式使用AI代理時，也常面臨「不知如何評估品質」、「無法正確掌握變更所帶來的影響」等挑戰。

VeriServe針對上述課題，系統化整理AI代理特有的品質評估觀點，並提供從評估程式應用到測試執行的一貫服務，以客觀立場評估各類AI代理的品質，協助企業安心完成導入與正式應用（圖1）。

■ 服務概要

「QA4AI代理」是針對開發或預計導入AI代理的企業，於導入前、正式使用前或模型、設定變更時，持續進行品質評估的全新服務。

VeriServe以第三方立場，負責從評估設計到執行的全流程，並基於客觀觀點評估AI代理的品質。

【主要支援內容】

正式使用前的品質評估與可視化

風險識別與降低的驗證

因應規格變更進行軟體修改時的品質影響評估

提供導入決策所需的評估結果

【主要執行內容】

現況分析與範疇定義

評估觀點的整理

評估指標（metrics）的設計

資料集設計

評估腳本的實作、評估執行與結果報告

圖2：AI代理的品質評估

■ 服務特色

1. 涵蓋行為層面的品質評估

過去對AI的評估多聚焦於輸出結果的正確性，而本服務則從以下觀點全面評估AI代理的整體行為（圖2）：

是否產出預期的成果物

任務是否適當完成

工具使用是否恰當

是否未存取權限外的資訊

面對非預期輸入是否仍能穩定應對

是否存在安全性或合規性問題

2. 評估觀點的系統化與評估工具的應用

VeriServe已系統化整理AI代理特有的品質評估觀點，並建置對應的評估工具。

藉此，即使面對不同輸出，也能以統一標準持續評估品質，確保在軟體修改後仍能以一致基準進行持續評估與比較。

3. 第三方品質評估

VeriServe擁有長年研發活動及跨產業領域的豐富實績，具備軟體品質提升的專業知識。此外，透過應用AI代理特有的評估觀點與程式，以第三方立場協助發現開發者自身確認時容易忽略的風險。

■ 具體使用案例

(1) 開發AI代理的企業

於開發階段導入第三方品質評估，可在使用前視覺化風險，安心進行正式應用。

正式使用前，驗證非預期輸入或複雜情境下的行為

評估模型變更、提示詞調整或新增工具時的品質影響

確認不僅輸出正確，工具使用與判斷亦具合理性

(2) 導入AI代理的企業

導入前進行客觀品質評估，可降低業務應用風險，安心做出導入決策。

基於業務情境，以接近實際運作的方式進行驗證

找出錯誤回應、不當行為與潛在風險

評估是否符合企業自身業務需求

提供導入可行性與適用範圍的判斷依據

■ 未來發展方向

VeriServe將持續因應不斷進化的AI代理，推動品質保證技術的發展。透過提升評估方法的精細度，並擴充評估觀點與程式，實現「人×技術×AI」的新型品質保證模式，致力於協助客戶進行安全、安心的軟體開發。

■ 關於株式會社VeriServe

成立：2001年7月24日

代表者：代表取締役社長 鴫原忠大

總部：東京都千代田區神田三崎町3-1-16 神保町北東急大樓

事業內容：軟體事業

1. 軟體測試與品質相關事業

2. 資訊安全相關事業

3. 咨詢顧問相關事業

4. 軟體開發相關事業

5. 其他事業

網址：https://www.veriserve.co.jp/

【本服務諮詢窗口】

https://www.veriserve.co.jp/contact/

【新聞稿諮詢窗口】

公關部 公關課 佐藤、太田

電話：050-3640-8194

電子信箱：press@veriserve.co.jp

※本文提及之產品名稱、公司名稱與服務名稱，皆為各公司之商標或註冊商標。