RainForest於GitHub公開了純国産AI資安基礎架構「Senda-Argus」的技術預覽版,名為「Senda-Argus Hooks」,此為AI Agent專用的日誌收集函式庫,用於稽核AI Agent的判斷、根據及執行。與Senda-Argus相關的AI Agent執行軌跡收集、判斷過程重構、以及Runtime Audit Event的關聯分析等部分技術,目前正在日本國內申請專利中。
GitHub: https://github.com/rainforest-tokyo/senda_argus_hooks
生成式AI的應用已從單純的聊天功能,進化到透過RAG引用內部資料、透過MCP整合外部工具,以及AI Agent的自主判斷與執行。同時,在企業的資安營運上,「AI Agent為何選擇該工具,以及實際執行了什麼」的稽核與驗證機制變得日益重要。
Senda-Argus Hooks是一款Collector,用於記錄與分析AI Agent利用LLM選擇工具、參考RAG、並呼叫MCP等外部工具的整個流程,以step為單位進行。它能取得LLM輸出的task_summary、reason_summary、selected_tool,並與Agent decision及實際的MCP Tool Call進行比對,從而能夠稽核AI Agent「判斷為何種任務」、「為何選擇該工具」,以及「實際呼叫了哪個MCP工具」。
此外,對於可能包含公司內部重要資訊的資料,如RAG context、prompt本文、MCP result等,預設不會儲存,而是以messages_hash、context_hashes、result_hash、purpose_id等雜湊值(HASH)與元資料(metadata)為中心進行記錄。此舉旨在實現企業環境中Privacy-Safe的AI Agent稽核。
背景:AI Agent時代所需的新型資安稽核
AI Agent透過LLM的判斷,參考RAG,並透過MCP或API呼叫外部工具,能夠比傳統應用程式更靈活且自主地執行業務。
然而,在資安市場上,以下課題已日益顯現:
無法得知LLM為何選擇特定工具
難以追蹤RAG引用了哪些內部文件或知識
難以確認Agent decision與實際Tool Call的一致性
儲存prompt或RAG context會引發機密資訊、個人資訊、客戶資訊的處理問題
透過MCP或外部工具整合,AI Agent的執行範圍不斷擴大
Senda-Argus旨在針對這些課題,成為一個能夠橫跨AI Agent的「判斷」、「根據」、「執行」進行記錄與分析的AI資安基礎架構。
Senda-Argus Hooks的主要特點
1. 記錄LLM的工具選擇理由
Senda-Argus Hooks會取得LLM在選擇工具時回傳的以下資訊:
task_summary: LLM如何理解任務
reason_summary: 為何選擇該工具
selected_tool: LLM選擇的工具
selected_tool.arguments: 呼叫工具所需的引數資訊
如此一來,便能稽核「LLM理解了什麼,為何選擇該工具」,而不僅僅是「工具被呼叫了」。
2. 比對Agent decision與實際MCP Tool Call
LLM選擇的工具會被記錄為Agent decision,之後再與實際的MCP Tool Call進行比對。
Senda-Argus Hooks透過使用selected_tool_purpose_id與mcp.tool_call.purpose_id,可以確認以下事項:
LLM選擇的工具是否與Agent decision一致
Agent decision是否與實際的MCP Tool Call一致
所選工具的目的ID是否與實際呼叫的MCP Tool的目的ID一致
當selected_tool為null時,是否發生了不必要的MCP Tool Call
如此便能確認AI Agent的判斷與執行的整合性。
3. 以Privacy-Safe方式追蹤RAG引用根據
RAG可能引用公司內部文件、知識庫、資安調查資料等重要資訊。
Senda-Argus Hooks預設不會儲存RAG context本文,而是以以下雜湊值(HASH)與元資料(metadata)為中心進行記錄:
query_hash
context_hash
context_hashes
document_ids_hash
chunk_ids_hash
result_hash
data_source_hash
retriever_name
collection_name
vector_store
score range
如此一來,便能在不儲存本文的情況下,確認使用了哪個RAG資料來源、是否重複使用了相同的根據集合、以及根據集合是否發生了變化。
4. prompt / context / result本文預設關閉(OFF)
在企業環境中,LLM prompt、RAG context、MCP result可能包含機密資訊、客戶資訊、個人資訊、調查對象資訊。
Senda-Argus Hooks預設不會儲存以下本文類資料:
LLM prompt本文
LLM raw response本文
RAG query本文
RAG context本文
retrieved text本文
MCP arguments本文
MCP result本文
另一方面,用於稽核與重現性確認所需的雜湊值(HASH)則預設記錄。
messages_hash
message_content_hashes
message_content_hash
query_hash
context_hashes
arguments_hash
result_hash
此舉旨在兼顧Privacy-Safe設計(不儲存本文)與稽核可行性。
5. 跨MCP / RAG / LLM的purpose_id
Senda-Argus Hooks會根據MCP URL、工具名稱、capability、RAG資料來源、retriever、collection、vector store等資訊生成purpose_id。
如此一來,便能追蹤AI Agent「為了什麼目的,存取了哪個資料來源或工具」。
與傳統AI Observability的差異
傳統AI Observability著重於確認prompt、response、token、latency、Tool Call等執行日誌。
Senda-Argus則重視AI Agent資安稽核所需的以下觀點:
觀點
一般AI Observability
Senda-Argus Hooks
主要對象
prompt / response / token / latency / Tool Call
LLM判斷 / RAG根據 / Agent decision / MCP執行
工具選擇理由
從raw response或trace推測
以task_summary / reason_summary / selected_tool 形式取得
與MCP執行的比對
以記錄Tool Call本身為主
透過selected_tool_purpose_id與mcp.purpose_id確認整合性
RAG根據
常儲存retrieved context本文
本文預設關閉(OFF),透過HASH與metadata追蹤
隱私(Privacy)
取決於redaction或儲存政策
預設不儲存本文的Privacy-Safe設計
資安稽核
以可觀測性為主
重視AI Agent判斷與執行的稽核與管控
Senda-Argus Hooks不僅是單純的AI Agent日誌收集,更是用於稽核「LLM為何選擇該工具、引用了RAG的哪個根據、Agent實際呼叫了哪個MCP工具」的Collector。
未來發展
RainForest將Senda-Argus Hooks定位為Senda-Argus的Collector功能,未來將進一步與Senda-Argus API/DB、Diff Engine、分析UI等進行整合。
未來的開發計畫如下:
AI Agent執行日誌的收集、儲存、分析API
Agent decision與MCP Tool Call的整合性檢查
RAG根據集合的差異檢測
基於HASH的prompt / RAG / MCP結果稽核
AI Agent行為變化檢測
Security for AI的分析UI
為SOC / CSIRT / AI治理部門生成稽核報告
Senda-Argus作為在日本國內開發的純国産Security for AI基礎架構,將支援企業在AI Agent應用中的稽核、管控與資安營運。
GitHub
Senda-Argus Hooks已於以下GitHub儲存庫公開:
https://github.com/rainforest-tokyo/senda_argus_hooks
關於RainForest
RainForest致力於AI、網路安全、威脅情報、安全自動化領域的研究開發。為實現AI Agent時代所需的Security for AI基礎架構,正積極推進Senda-Argus等各項技術開發。
【公司概要】
公司名稱:RainForest股份有限公司
事業內容:AI for Security、威脅情報、AI Agent / MCP相關技術的研究開發
網址:https://www.rainforest-cs.jp/
【諮詢】
RainForest股份有限公司
聯絡資訊:info@rainforest.jp
FACT BOX · 重點整理
- 來源:PR TIMES
- 分類:技術
- 相關組織:RainForest / 株式会社RainForest