人とAIの安全な協調を支えるAIセーフティ基盤を構築しました

NEDO（国立研究開発法人新エネルギー・産業技術総合開発機構）が推進した「AIの安全性確保に関する研究開発・検証等の推進事業／AIセーフティ強化に関する研究開発」（以下、本事業）において、NEDO、国立研究開発法人産業技術総合研究所（産総研）、株式会社Citadel AI、株式会社コーピー、国立大学法人琉球大学の５者は、AIシステムの安全性確保のための共通基盤となる、ガイドラインや評価プロトコルなどを開発・策定し、公開しました。

本事業で策定したガイドラインなどは、AIシステムの企画・設計段階から、評価・運用における安全性確保に重点を置き、AIを活用したシステムを開発・導入する事業者が、リスクの洗い出しや適切な対策の検討を行うための考え方や基本的な手順を整理したものです。

ガイドラインや評価プロトコルなどが広く活用されることで、AIシステムの安全性に関する共通の考え方や手順が社会に浸透し、AIを安心して活用するためのAIセーフティの共通基盤の整備を加速することを目指します。

1. 背景
2023年のG7広島サミットで発足した広島AIプロセスなどを背景に、各国でAIセーフティに関する議論や体制整備が進んでいます。こうした国際情勢を踏まえ、日本においてもAIセーフティ・インスティテュート（AISI）が設置され、国際的な議論に参画しています。

本事業は、生成AIの安全・安心な利用に向けた国際ルール作りを日本国内でも推進するため、官民一体となった取り組みを研究開発の側面から支援するものです。近年、人とAIが協調して判断・行動する場面が増加している中で、AIセーフティをいかに設計・評価・運用するかという共通課題への対応が求められています。

本事業では、こうした課題に対し、AIセーフティを評価・運用するための共通基盤の整備を目的とした研究開発を実施しました。AIの実現技術や応用分野は多岐にわたる一方で、人とAIが関わる場面をどのように安全に設計するか、また安全性を判断・検証・運用によってどう担保するかといった課題は、分野を横断して共通しています。

本事業は、安全性の「ものさし」となる評価・管理技術の開発、実環境を想定した応用領域別のAIセーフティ評価・実装技術の開発と、それらの成果を企業の実務で活用可能な形に整理・体系化し、AIセーフティ実施のためのガイドライン類の策定につなげる構成としています。

2. 今回の成果
本事業では多岐にわたるAIセーフティの課題に対し、「設計・評価・運用」の各段階にまたがり、ガイドライン、評価手法、テンプレート、評価環境などを、幅広く整備しました。

(1) マルチモーダルAI品質マネジメントガイドラインの策定
本事業の中核成果として、産総研は、画像とテキストを受け取り、主にテキストで応答するマルチモーダルAIを対象に、品質マネジメントの観点およびプロセスを整理したガイドラインを策定しました。マルチモーダルAI特有の基本的評価観点として、クロスモーダル照応能力に着目し、この能力を4段階に分類しています。マルチモーダルAIシステムの安全性や品質を確保するためには、求められるクロスモーダル照応能力の水準を見極めることが特に重要であり、その水準に応じてライフサイクルの各段階で実施すべき対応を体系的に整理しました。

また、ガイドライン内では、画像に基づくキャプション自動生成、インフラ老朽化の画像診断、SNSなどにおけるコンテンツモデレーションの三つの事例を取り上げ、人による判断や監督が関与する場面における留意点や、品質マネジメント上の論点を示しています。

本ガイドラインは、マルチモーダルAIの特性を踏まえた安全性・品質の確保に向けた共通的な設計・評価の枠組みを示すものであり、AIセーフティを実務的に適用するためのベースとなるものです。