已建立支持人與AI安全協作的AI安全基礎設施

在NEDO推動的「關於確保AI安全性的研究開發・驗證等推進事業／強化AI安全性的研究開發」（以下簡稱本事業）中，NEDO、國立研究開發法人產業技術總合研究所（產總研）、株式會社Citadel AI、株式會社Corpy及國立大學法人琉球大學等五方，共同開發、制定並公開了作為確保AI系統安全性共通基礎的指導方針與評估協議。

本事業所制定的指導方針等，重點在於從AI系統的企劃・設計階段到評估・運營中的安全性確保，為開發・導入活用AI系統的業者，整理出用於盤點風險及研討適當對策的思維方式與基本步驟。

透過廣泛活用這些指導方針與評估協議，期望能讓關於AI系統安全性的共通思維與步驟滲透社會，加速整備一個能安心活用AI的AI安全共通基礎。

1. 背景

在2023年G7廣島峰會上啟動的廣島AI進程等背景下，各國正積極推進關於AI安全的討論與體制整備。基於此國際情勢，日本也設立了AI安全研究所（AISI）※1，參與國際討論。

本事業※2旨在從研究開發的層面，支援官民一體的措施，以在日本國內推動為生成式AI的安全・安心使用制定國際規則。近年來，人與AI協同判斷・行動的場景日益增加，如何設計・評估・運營AI安全已成為亟需應對的共通課題。

本事業針對這些課題，實施了以整備評估・運營AI安全的共通基礎為目的的研究開發。儘管AI的實現技術與應用領域多樣，但如何安全設計人與AI互動的場景，以及如何透過判斷・驗證・運營來保障安全性等課題，是跨領域共通的。

如圖1所示，本事業的構成包括：開發作為安全性「標尺」的評估・管理技術（研究開發項目①）、開發設想實際環境的各應用領域AI安全評估・實施技術（研究開發項目②），並將這些成果整理・體系化為企業實務可用的形式，進而制定實施AI安全的指導方針（研究開發項目③）。

此外，本事業的目的並非展示特定AI的社會實施已完成，而是旨在提示一個能連結未來技術開發・實證・標準化的共通基礎。

2. 本次成果

本事業針對多樣的AI安全課題，跨足「設計・評估・運營」各階段，廣泛整備了指導方針、評估方法、模板、評估環境等。

(1) 制定多模態AI品質管理指導方針（研究開發項目③）

作為本事業的核心成果，產總研針對接收圖像與文本、主要以文本回應的多模態AI※3，制定了整理品質管理觀點與流程的指導方針。作為多模態AI特有的基本評估觀點，著眼於跨模態照應能力※4，並將此能力分為四個等級。為確保多模態AI系統的安全性與品質，判斷所需的跨模態照應能力水準尤為重要，並根據該水準系統性地整理了在生命週期各階段應實施的對應措施。

此外，指導方針中列舉了基於圖像的標題自動生成、基礎設施老化圖像診斷、社群網路等內容審核等三個案例，指出了在有人為判斷或監督參與的場景中的注意事項及品質管理上的論點。

本指導方針旨在為確保基於多模態AI特性的安全性・品質，提供一個共通的設計・評估框架，是實務上應用AI安全的基礎。

(2) 制定支持企業現場AI社會實施的指導方針・案例集（研究開發項目③）

Citadel AI透過對實際開發・運營生成式AI及AI代理人的企業進行訪談，整理出將AI安全原則與指導方針落實為現場可實施・運營形式的評估觀點・評估水準・評估方法。從技術、流程、組織文化的觀點，抽取出共通的模式與實踐訣竅，並體系化為「生成式AI實踐指南與企業案例集」。

此外，為向開發者驗證並具體化所抽出的訣竅，以行政手續等相關資訊為中心，設想了需要對語言及制度理解給予一定考量的使用者（如外國人等），實施並公開了聊天機器人。此聊天機器人為明確展示生成式AI的回答及其根據，活用了地方政府發行・公開的生活實用資訊。

這些成果將指導方針所示的「應有樣貌」，提示為企業在實務上實施・運營的具體評估・運營方法，扮演著讓AI安全在實務層級上得以應用的角色。

(3) 整備連結組織管理與技術評估的實施指南與評估模板（研究開發項目③）

Corpy & Co.為在實務上實施符合ISO/IEC※5 42001（AI管理系統標準）※6的生成式AI安全性評估，整備了由分析・測試・報告三階段構成的「基於AI管理系統的生成式AI安全性評估協議及其實施指南」與評估用模板。

此外，以使用視覺語言模型※7的客戶支援系統為題材，實施了紅隊演練※8等評估，並探討了其評估的有效性及實務上的論點。

這些成果提供了一個連結組織管理要求與技術性安全評估的實踐框架，是企業一貫實施AI安全的基礎。

以下兩點是設想AI在醫療或日常生活等實際環境中活用，連結到確保人與AI協作安全性的具體思維方式與評估・驗證方法的成果。

(4) 提示Human-AI Teaming中決策過程的安全性確保方法（研究開發項目①）

產總研與琉球大學共同合作，作為具體化多模態AI指導方針所示「依用途及使用場景的品質要求」思維的措施，設想醫療現場，實施了關於人與AI協同判斷的Human-AI Teaming中的安全性探討。

具體而言，設想醫療影像診斷中AI與醫師判斷不一致的情況，分析應以何種流程進行最終判斷，並整理了共識形成的方式與風險規避策略。

關於AI應提示的追加資訊與判斷根據、支援決策的介面形式，透過與醫師的共同探討進行整理，並體系化為確保人與AI協作中決策過程安全性的設計指引。

此外，也確認了在人擁有最終決策權的關係中，人類可能無法正確辨識AI的精確度，且該認知可能影響AI的活用。

本成果整理了以人與AI判斷不一致情況為前提的安全性確保思維，有助於Human-AI Teaming中實踐性的AI安全設計。

(5) 建構日常生活領域的AI安全評估・驗證基礎（研究開發項目②）

產總研為在家庭或照護設施等日常生活環境中推動AI系統的安全活用，致力於建構AI安全的評估・驗證基礎。

日常生活導向的AI系統，由於生活場景的多樣性與隱私保護的觀點，開發・驗證用的數據取得困難，加上安全性與穩健性※9的評估方法尚未充分建立，存在這些課題。

本措施以守望AI系統為對象，從確保人身安全的觀點，將設想的行動與事件整理為情境，整備了能收集、生成及驗證AI安全性評估所需數據的實・虛融合環境。

透過結合在現實世界建構的實體生活實驗室等取得的實際行動數據，與虛擬空間中網路生活實驗室的數據擴增技術，建構了有助於守望AI安全性評估的數據集，其中包含跌倒或搖晃等難以實際測量的行動。

此外，著眼於守望AI的社會實施，作為討論關於安全性評估與驗證方式的技術性・社會性課題的場所，「以人為本AI生活科技聯盟（HAIL）」於2026年4月成立，並於6月開始活動。本數據集預計將在該聯盟中活用。

本成果整備了一個能基於實際環境特性，驗證過去難以評估的日常生活領域中AI安全性的基礎，有助於AI安全實踐性評估・驗證的高度化。

3. 未來規劃

本事業以制定AI安全相關指導方針為核心，同時也獲得了企業現場的實施方法論、連結組織管理與評估的實踐手法、關於人與AI協作的技術知識、實際環境中的驗證基礎等性質各異的成果。

這些成果的特點在於，它們被定位為在「設計・評估・運營」各階段，多面向應對多樣AI安全課題的要素，為廣泛實現因應不斷擴大的AI使用場景的對策奠定基礎。

未來，除了本事業所獲得的關於AI安全的共通思維外，也計畫將具體的評估・實施方法，進一步體系化整備為面向人與AI協作社會的實踐性AI安全共通基礎。

此外，本新聞稿僅介紹本事業中的代表性成果。如圖1所示的各研究項目中，尚有許多本新聞稿未提及的成果，這些成果將在專用網頁上介紹。