已建構支持人與AI安全協作的AI安全基礎設施—整備設計、評估、營運之一貫性指南與評估、實證基礎—

在NEDO推動的「關於確保AI安全性的研究開發・驗證等推進事業／AI安全強化相關研究開發」（以下簡稱本事業）中，NEDO、國立研究開發法人產業技術總合研究所（產總研）、Citadel AI株式會社、Corpy株式會社、國立大學法人琉球大學等五方，共同開發、制定並公開了作為確保AI系統安全性共通基礎的指南與評估協議等文件。
本事業所制定的指南等，重點在於從AI系統的企劃・設計階段到評估・營運中的安全性確保，整理出供開發・導入活用AI系統的業者，用以盤點風險及研討適當對策的思維方式與基本步驟。
透過廣泛活用這些指南與評估協議，期望能讓社會對AI系統安全性的共通思維與步驟更加普及，進而加速整備一個能安心活用AI的AI安全共通基礎。

1. 背景
在2023年G7廣島峰會發起的廣島AI進程等背景下，各國正積極進行關於AI安全的討論與體制整備。基於此國際情勢，日本也設立了AI安全研究所（AISI），參與國際性的討論。
本事業旨在從研究開發的層面，支援官民一體的努力，以在日本國內推動制定生成式AI安全・安心利用的國際規則。近年來，人與AI協作判斷・行動的場景日益增加，如何設計・評估・營運AI安全已成為必須應對的共通課題。
本事業針對此類課題，進行了以整備AI安全評估・營運共通基礎為目的的研究開發。儘管AI的實現技術與應用領域多樣，但如何安全地設計人與AI互動的場景，以及如何透過判斷・驗證・營運來確保安全性等課題，是跨領域的共通問題。
如圖1所示，本事業的構成包括：開發作為安全性「標竿」的評估・管理技術（研究開發項目①）、開發設想實際環境的應用領域別AI安全評估・實作技術（研究開發項目②），並將這些成果整理・體系化為企業實務上可活用的形式，進而制定AI安全實施的相關指南（研究開發項目③）。
此外，本事業的目的並非展示特定AI的社會實踐已完成，而是旨在提示一個能連結未來技術開發・實證・標準化的共通基礎。

2. 本次成果
本事業針對多樣的AI安全課題，橫跨「設計・評估・營運」各階段，廣泛地整備了指南、評估手法、範本、評估環境等。
(1) 制定多模態AI品質管理指南（研究開發項目③）
作為本事業的核心成果，產總研針對接收圖像與文本、主要以文本回應的多模態AI，制定了整理其品質管理觀點及流程的指南。指南以跨模態對應能力作為多模態AI特有的基本評估觀點，並將此能力分為4個等級。為確保多模態AI系統的安全性與品質，判斷所需的跨模態對應能力水準至關重要，指南根據此水準，系統性地整理了在生命週期各階段應採取的對應措施。
指南中也舉出基於圖像的標題自動生成、基礎設施老化圖像診斷、社群網路等內容審核等三個案例，指出在有人為判斷或監督參與的場景中應注意的要點及品質管理上的論點。
本指南旨在為確保基於多模態AI特性的安全性・品質，提出一個共通的設計・評估框架，是實務上應用AI安全的基礎。

(2) 制定支持企業現場AI社會實踐的指南・案例集（研究開發項目③）
Citadel AI透過訪談實際開發・營運生成式AI及AI代理人的企業，整理出將AI安全原則與指南落實為現場可實作・營運形式的評估觀點・評估水準・評估手法。從技術、流程、組織文化等觀點，抽取出共通的模式與實務訣竅，並體系化為「生成式AI實踐指南與企業案例集」。
此外，為向開發者驗證並具體化所抽出的訣竅，該公司實作並公開了一個聊天機器人，其主要提供行政手續等相關資訊，並設想使用者為需要特別考量語言或制度理解的外國人等。此聊天機器人為明確展示生成式AI的回答及其根據，活用了地方政府發行・公開的生活實用資訊。
這些成果將指南所示的「應有樣貌」，轉化為企業在實務上可實作・營運的具體評估・營運手法，扮演著讓AI安全能在實務層級應用的角色。

(3) 整備連結組織管理與技術評估的實作指南與評估範本（研究開發項目③）
Corpy整備了符合ISO/IEC 42001（AI管理系統標準）的「基於AI管理系統的生成式AI安全性評估協議及其實作指南」與評估用範本，此協議由分析・測試・報告三階段構成，旨在實務上執行生成式AI的安全性評估。
此外，以使用視覺語言模型的顧客支援系統為題材，實施了紅隊演練（red-teaming）等評估，並探討了其評估的有效性及實務上的論點。
這些成果提供了一個連結組織性管理要求與技術性安全評估的實踐框架，可作為企業一貫性地實施AI安全的基礎。

以下兩點是設想AI在醫療或日常生活等實際環境中活用，並連結到確保人與AI協作安全性的具體思維方式與評估・驗證手法的成果。
(4) 提出確保Human-AI Teaming決策過程安全性的手法（研究開發項目①）
產總研與琉球大學共同合作，作為具體化多模態AI指南中「依用途及使用場景的品質要求」思維的嘗試，設想醫療現場，進行了關於人與AI協作判斷的Human-AI Teaming安全性探討。
具體而言，設想在醫療影像診斷中AI與醫師判斷不一致的情況，分析應透過何種流程做出最終判斷，並整理了共識形成的方式與風險規避策略。
透過與醫師的共同探討，整理並體系化了AI應提示的追加資訊與判斷根據、支援決策的介面應有樣貌，作為確保人與AI協作決策過程安全的設計指引。
此外，也確認了在人擁有最終決策權的關係中，人類可能無法正確認知AI的精準度，且此認知可能影響AI的活用。
本成果整理了以人與AI判斷不一致為前提的安全性確保思維，有助於Human-AI Teaming的實踐性AI安全設計。

(5) 建構日常生活領域的AI安全評估・驗證基礎（研究開發項目②）
產總研為推動AI系統在家庭或照護設施等日常生活環境中的安全活用，致力於建構AI安全的評估・驗證基礎。
日常生活導向的AI系統，由於生活場景的多樣性及隱私保護的觀點，開發・驗證用的數據取得困難，加上安全性與穩健性的評估手法尚未充分建立，是其面臨的課題。
在此嘗試中，以守望AI系統為對象，從確保人身安全的觀點整理出設想的行動與事件作為情境，並整備了一個能收集、生成及驗證AI安全性評估所需數據的實・虛融合環境。
透過將在真實世界建構的實體生活實驗室等所取得的實際行動數據，與虛擬空間中網路生活實驗室的數據擴增技術相結合，建構了一個有助於守望AI安全性評估的數據集，其中包含跌倒或搖晃等難以實際測量的行動。
此外，著眼於守望AI的社會實踐，為討論關於安全性評估與驗證方式的技術性・社會性課題，於2026年4月成立了「以人為本AI生活科技聯盟（HAIL）」，並於6月開始活動。本數據集預計將在該聯盟中活用。
本成果整備了一個能基於實際環境特性，驗證過去難以評估的日常生活領域AI安全性的基礎，有助於AI安全實踐性評估・驗證的高度化。

3. 未來規劃
本事業中，以制定AI安全相關指南為核心，同時也獲得了企業現場的實作方法論、連結組織管理與評估的實踐手法、關於人與AI協作的技術見解、實際環境的驗證基礎等性質各異的成果。
這些成果被定位為在「設計・評估・營運」各階段，多面向地應對多樣AI安全課題的要素，其特點在於為廣泛實現對應不斷擴大的AI利用場景的對策奠定基礎。
未來，除了本事業中獲得的關於AI安全的共通思維外，也計畫將具體的評估・實作手法，進一步體系化地整備為朝向人與AI協作社會的實踐性AI安全共通基礎。