實踐性AI安全驗證環境「Model Security Range」開源公開

MONO BRAIN股份有限公司（總公司：東京都澀谷區，代表董事：加藤 真規）宣布，已將實踐性AI安全驗證環境「Model Security Range」開源公開。

什麼是 Model Security Range

「Model Security Range」是一個框架，可以針對故意存在漏洞的AI應用程式，以可重現的步驟執行攻擊、評估和恢復。它旨在於實作層面而非紙上談兵地驗證在實際操作中容易成為問題的攻擊類別，例如提示注入 (Prompt Injection)、工具權限濫用 (Tool Misuse) 和模型污染 (Model Poisoning) 等。

■ 本次公開的重點

・公開可執行的AI漏洞情境，包含應用程式主體和攻擊程式碼的套件

・標準化設定、攻擊執行和恢復過程，實現高重現性的驗證

・可跨RAG、代理 (Agent)、OCR、機器學習模型等多種模式進行評估

・AI開發者、安全負責人、研究人員可作為共同的驗證基礎設施使用

■ 公開背景

隨著生成式AI在業務中的應用日益普及，針對AI系統的威脅已非傳統Web安全所能完全涵蓋。

例如，透過提示注入 (Prompt Injection) 導致內部資訊洩漏、外部工具協作時的過度權限濫用、以及針對營運數據和學習過程的污染攻擊等，AI特有的攻擊面正迅速擴大。

然而，在實務現場仍存在諸如「無法重現攻擊，因此無法評估對策的有效性」和「不同負責人的驗證方法不同，導致結果無法比較」等問題。

「Model Security Range」旨在解決這些實際業務挑戰。透過明確攻擊步驟和評估對象，並提供一個無論由誰執行都能在相同條件下進行驗證的環境，從而推動AI安全實作和運用的進步。

■ Model Security Range 概要

「Model Security Range」由以下概念組成：

・提供故意設計為脆弱的應用程式，明確攻擊成立條件

・針對每個攻擊情境，獨立管理設定、執行和恢復

・提供重視重現性、透明度和可測量性的驗證工作流程

・不僅作為單次演示，更可活用於持續的強化學習

■ 目前已公開的主要驗證情境

1. 提示注入 (Prompt Injection)（RAG Chatbot / Gemma 3 4B）

・透過注入RAG上下文導致機密資訊洩漏

・誘導揭示嵌入的知識檔案

・系統提示洩漏

2. 工具濫用 (Tool Misuse)（Agent with DB / Gemma 3 4B）

・利用過度權限工具導致資料外洩

・透過命令劫持執行破壞性SQL

3. 間接提示注入 (Indirect Prompt Injection)（AI OCR / Gemma 3 4B）

・透過檔案上傳間接誘導越獄

4. 供應鏈漏洞 (Supply Chain Vulnerabilities)（信用評估 Creditworthiness Assessment / ML）

・透過受污染的學習成果導致目標式後門行為

5. 資料投毒 (Data Poisoning)（垃圾郵件分類 Spam Email Classification / ML）

・利用回饋循環導致分類器性能下降

■ 使用情境

・內部AI應用程式發布前的安全驗證

・紅隊／藍隊聯合演練

・開發者教育、實作 (hands-on)、研究用途的攻擊重現

・對策實作後的迴歸確認

■ 推薦給以下人士

・開發和營運使用生成式AI產品的工程師

・希望建立AI安全評估標準流程的安全負責人

・正在推進AI風險實證研究的研究人員、學生

・負責AI治理和稽核應對的實務人員

■ 使用注意事項

本專案基於教育和驗證目的公開。公開的情境中包含故意設計的脆弱實作。

請勿將其用於攻擊生產環境或未經授權的目標。請遵守適用法律、組織政策和合約條款，並在受控環境下使用。

■ 關於AI安全平台「MODEL SAFE」

「MODEL SAFE」是一個AI安全平台，旨在整合管理AI的設計、開發和營運，並支援AI在「事後可解釋」的狀態下運作。

透過AI供應鏈的可視化、變更管理、運行時監控和控制，它綜合性地支援技術安全性、營運治理和法規遵循。

正在努力建立治理體系和可視化風險的企業，歡迎洽詢。

▼ 洽詢

https://modelsafe.jp/contact

▼ MODEL SAFE 服務介紹

https://modelsafe.jp/