RainForest於GitHub公開了純国産AI資安基礎架構「Senda-Argus」的技術預覽版,名為「Senda-Argus Hooks」,此為AI Agent專用的日誌收集函式庫,用於稽核AI Agent的判斷、根據及執行。與Senda-Argus相關的AI Agent執行軌跡收集、判斷過程重構、以及Runtime Audit Event的關聯分析等部分技術,目前正在日本國內申請專利中。

GitHub: https://github.com/rainforest-tokyo/senda_argus_hooks

生成式AI的應用已從單純的聊天功能,進化到透過RAG引用內部資料、透過MCP整合外部工具,以及AI Agent的自主判斷與執行。同時,在企業的資安營運上,「AI Agent為何選擇該工具,以及實際執行了什麼」的稽核與驗證機制變得日益重要。

Senda-Argus Hooks是一款Collector,用於記錄與分析AI Agent利用LLM選擇工具、參考RAG、並呼叫MCP等外部工具的整個流程,以step為單位進行。它能取得LLM輸出的task_summary、reason_summary、selected_tool,並與Agent decision及實際的MCP Tool Call進行比對,從而能夠稽核AI Agent「判斷為何種任務」、「為何選擇該工具」,以及「實際呼叫了哪個MCP工具」。

此外,對於可能包含公司內部重要資訊的資料,如RAG context、prompt本文、MCP result等,預設不會儲存,而是以messages_hash、context_hashes、result_hash、purpose_id等雜湊值(HASH)與元資料(metadata)為中心進行記錄。此舉旨在實現企業環境中Privacy-Safe的AI Agent稽核。

背景:AI Agent時代所需的新型資安稽核

AI Agent透過LLM的判斷,參考RAG,並透過MCP或API呼叫外部工具,能夠比傳統應用程式更靈活且自主地執行業務。

然而,在資安市場上,以下課題已日益顯現:

無法得知LLM為何選擇特定工具

難以追蹤RAG引用了哪些內部文件或知識

難以確認Agent decision與實際Tool Call的一致性

儲存prompt或RAG context會引發機密資訊、個人資訊、客戶資訊的處理問題

透過MCP或外部工具整合,AI Agent的執行範圍不斷擴大

Senda-Argus旨在針對這些課題,成為一個能夠橫跨AI Agent的「判斷」、「根據」、「執行」進行記錄與分析的AI資安基礎架構。

Senda-Argus Hooks的主要特點

1. 記錄LLM的工具選擇理由

Senda-Argus Hooks會取得LLM在選擇工具時回傳的以下資訊:

task_summary: LLM如何理解任務

reason_summary: 為何選擇該工具

selected_tool: LLM選擇的工具

selected_tool.arguments: 呼叫工具所需的引數資訊

如此一來,便能稽核「LLM理解了什麼,為何選擇該工具」,而不僅僅是「工具被呼叫了」。

2. 比對Agent decision與實際MCP Tool Call

LLM選擇的工具會被記錄為Agent decision,之後再與實際的MCP Tool Call進行比對。

Senda-Argus Hooks透過使用selected_tool_purpose_id與mcp.tool_call.purpose_id,可以確認以下事項:

LLM選擇的工具是否與Agent decision一致

Agent decision是否與實際的MCP Tool Call一致

所選工具的目的ID是否與實際呼叫的MCP Tool的目的ID一致

當selected_tool為null時,是否發生了不必要的MCP Tool Call

如此便能確認AI Agent的判斷與執行的整合性。

3. 以Privacy-Safe方式追蹤RAG引用根據

RAG可能引用公司內部文件、知識庫、資安調查資料等重要資訊。

Senda-Argus Hooks預設不會儲存RAG context本文,而是以以下雜湊值(HASH)與元資料(metadata)為中心進行記錄:

query_hash

context_hash

context_hashes

document_ids_hash

chunk_ids_hash

result_hash

data_source_hash

retriever_name

collection_name

vector_store

score range

如此一來,便能在不儲存本文的情況下,確認使用了哪個RAG資料來源、是否重複使用了相同的根據集合、以及根據集合是否發生了變化。

4. prompt / context / result本文預設關閉(OFF)

在企業環境中,LLM prompt、RAG context、MCP result可能包含機密資訊、客戶資訊、個人資訊、調查對象資訊。

Senda-Argus Hooks預設不會儲存以下本文類資料:

LLM prompt本文

LLM raw response本文

RAG query本文

RAG context本文

retrieved text本文

MCP arguments本文

MCP result本文

另一方面,用於稽核與重現性確認所需的雜湊值(HASH)則預設記錄。

messages_hash

message_content_hashes

message_content_hash

query_hash

context_hashes

arguments_hash

result_hash

此舉旨在兼顧Privacy-Safe設計(不儲存本文)與稽核可行性。

5. 跨MCP / RAG / LLM的purpose_id

Senda-Argus Hooks會根據MCP URL、工具名稱、capability、RAG資料來源、retriever、collection、vector store等資訊生成purpose_id。

如此一來,便能追蹤AI Agent「為了什麼目的,存取了哪個資料來源或工具」。

與傳統AI Observability的差異

傳統AI Observability著重於確認prompt、response、token、latency、Tool Call等執行日誌。

Senda-Argus則重視AI Agent資安稽核所需的以下觀點:

觀點

一般AI Observability

Senda-Argus Hooks

主要對象

prompt / response / token / latency / Tool Call

LLM判斷 / RAG根據 / Agent decision / MCP執行

工具選擇理由

從raw response或trace推測

以task_summary / reason_summary / selected_tool 形式取得

與MCP執行的比對

以記錄Tool Call本身為主

透過selected_tool_purpose_id與mcp.purpose_id確認整合性

RAG根據

常儲存retrieved context本文

本文預設關閉(OFF),透過HASH與metadata追蹤

隱私(Privacy)

取決於redaction或儲存政策

預設不儲存本文的Privacy-Safe設計

資安稽核

以可觀測性為主

重視AI Agent判斷與執行的稽核與管控

Senda-Argus Hooks不僅是單純的AI Agent日誌收集,更是用於稽核「LLM為何選擇該工具、引用了RAG的哪個根據、Agent實際呼叫了哪個MCP工具」的Collector。

未來發展

RainForest將Senda-Argus Hooks定位為Senda-Argus的Collector功能,未來將進一步與Senda-Argus API/DB、Diff Engine、分析UI等進行整合。

未來的開發計畫如下:

AI Agent執行日誌的收集、儲存、分析API

Agent decision與MCP Tool Call的整合性檢查

RAG根據集合的差異檢測

基於HASH的prompt / RAG / MCP結果稽核

AI Agent行為變化檢測

Security for AI的分析UI

為SOC / CSIRT / AI治理部門生成稽核報告

Senda-Argus作為在日本國內開發的純国産Security for AI基礎架構,將支援企業在AI Agent應用中的稽核、管控與資安營運。

GitHub

Senda-Argus Hooks已於以下GitHub儲存庫公開:

https://github.com/rainforest-tokyo/senda_argus_hooks

關於RainForest

RainForest致力於AI、網路安全、威脅情報、安全自動化領域的研究開發。為實現AI Agent時代所需的Security for AI基礎架構,正積極推進Senda-Argus等各項技術開發。

【公司概要】

公司名稱:RainForest股份有限公司

事業內容:AI for Security、威脅情報、AI Agent / MCP相關技術的研究開發

網址:https://www.rainforest-cs.jp/

【諮詢】

RainForest股份有限公司

聯絡資訊:info@rainforest.jp

FACT BOX · 重點整理

  • 來源:PR TIMES
  • 分類:技術
  • 相關組織:RainForest / 株式会社RainForest