「LLM 診斷服務」詳細請由此進入
開發並提供AI安全解決方案的CoWorker株式會社(總部:東京都新宿區,代表取締役:山里一輝,以下簡稱「本公司」或「CoWorker」)已開始提供專門針對生成AI/LLM使用的「LLM診斷服務」。
本服務是專為本公司提供的DX服務中整合的AI應用以及企業內部AI應用所設計的專用診斷,能夠全面評估LLM整合應用程式特有的風險。過去的弱點診斷服務主要針對Web應用程式及整體基礎設施的弱點,而新服務則聚焦於「生成AI的安全活用」。
AI安全公司CoWorker推出「弱點診斷服務」——透過自主開發AI「Red Agent」×專家混合診斷,加速診斷並抑制重要風險的遺漏
https://prtimes.jp/main/html/rd/p/000000018.000156001.html
開發與提供的背景
生成AI應用急劇擴展與新風險
隨著ChatGPT和Gemini等大型語言模型(LLM)的普及,聊天機器人和AI助手正迅速整合到企業的DX服務和內部業務中。然而,提示注入、資訊洩漏、輸出濫用等LLM特有的弱點也日益顯現,傳統弱點診斷難以偵測的案例正在增加。
本公司基於OWASP定義的LLM Top 10風險,開發了支援生成AI安全應用程式的新診斷服務。
OWASP定義的LLM Top 10風險:
Open Worldwide Application Security Project (OWASP) 制定了一份清單,彙總了針對大型語言模型(LLM)應用程式的10項最嚴重的安全威脅與風險。該清單旨在應對生成AI和AI應用程式開發與實施過程中,安全人員和開發者面臨的新興弱點,並於2023年制定。
OWASP Gen AI Security Project https://genai.owasp.org/llm-top-10/
診斷方法
多方面評估LLM特有風險
LLM診斷服務結合以下三種方法,評估使用生成AI的系統整體安全性。
・ 滲透測試診斷 在接近實際運行環境的條件下,嘗試對聊天機器人或AI代理進行攻擊,驗證提示注入、權限提升、認證/授權缺陷等問題。
・ MCP伺服器診斷 檢查LLM代理所使用的工具整合及API呼叫部分,確認認證、授權、輸入驗證、機密資訊管理以及API調用的妥當性。
・ 原始碼診斷 對LLM整合部分的程式碼庫或API規格書進行靜態分析,評估輸入驗證的實施和提示建構的安全性。
主要特點
專為生成AI安全應用而設的診斷
LLM診斷服務透過採用自主開發AI「Red Agent」與資深工程師的混合診斷,實現了速度、精度與成本的平衡。主要特點如下。
・ 速度 AI代理自動化診斷,將過去需要數天的LLM安全性驗證縮短至數小時。
・ 高精度 Red Agent在弱點診斷基準測試中達到了89.1%的檢測率,AI分析基於公開弱點資訊(CVE)及各種Web攻擊場景的多樣化測試模式。進一步結合專家審核,提供高精度的診斷結果。
・ 低成本 AI負責標準化工作,相較於傳統診斷費用,可大幅節省成本。
・ 貼近實務的報告 檢測結果包含風險等級、影響範圍、重現步驟、攻擊場景、改善建議,提供與生成AI導入專案營運直接相關的建議。
「LLM診斷服務」提供流程
① 訪談 聯絡後,透過線上會議確認診斷對象概要與需求,並提出最適診斷方案。
② 診斷執行 根據您提供的原始碼及API端點資訊,利用Red Agent執行診斷,並由專家確認與評估結果。必要時也將併用黑盒子形式測試。
③ 人工審核 經驗豐富的安全工程師將嚴格審查AI結果,並彙整為包含風險評估、優先順序排列及改善對策的報告。
④ 報告書交付 從診斷開始後最短3個工作日內以PDF格式交付報告書。對於重大問題,亦可提供即時通知。
⑤ 改善支援 提供修正弱點所需的技術建議及再診斷服務。
推薦給以下企業
以下情況推薦使用本服務:
・ 開發與提供利用生成AI的DX服務或產品的企業
・ 在公司內部使用聊天機器人或AI助手的開發部門、業務部門
・ 希望在使用外部LLM API時,降低提示注入及資料洩漏風險的組織
・ 希望在生成AI導入初期階段確認安全需求的專案
詳細請由此進入
專業團隊介紹
CoWorker的弱點診斷服務,除了AI自動診斷外,一大特色是由精通安全的專家團隊進行審核與支援。本公司由以下專業人士合作,守護您的系統。
AI研究員、開發者 負責AI演算法及大型語言模型的研究開發,實現弱點診斷的精度提升與高速化。從AI×Security×R&D三個領域進行整合性思考,從研發階段到社會實裝都進行一貫性的努力。
滲透測試專家 精通實際攻擊手法的紅隊經驗者將驗證AI的診斷結果,找出高風險的弱點。透過攻擊者的視角補充診斷,也能應對僅靠AI代理無法發現的複雜問題。
產業經驗工程師 擁有保險、教育、醫療、汽車、基礎設施等多元產業領域經驗的工程師將參與專案。在理解產業特有的安全需求後,提出實用的改善方案。
夥伴式專案經理 不僅是安全對策,更能理解客戶的業務目標及開發流程的專案經理將負責整體統籌。CoWorker以共創的平台為目標,重視精煉的專業知識與對話,致力於共同創造經營、產品與技術。
代表評論
CoWorker株式會社 代表取締役 山里 一輝
「隨著生成AI的普及,LLM正迅速整合到企業的DX服務和內部業務中。然而,AI應用服務除了傳統Web應用程式的弱點外,還存在提示注入和機密資訊洩漏等『AI固有的風險』。這些風險僅靠傳統安全對策和弱點診斷難以充分偵測。
CoWorker作為一家AI企業,認為理解AI的內部結構和行為模式後進行診斷至關重要。此次開始提供的LLM診斷服務,結合了基於OWASP LLM Top 10的評估、自主開發AI『Red Agent』的自動診斷,以及專家的審核,從多角度驗證生成AI應用程式的安全性。
我們秉持Security × AI的理念,認為在一個利用AI的社會中,『用AI守護安全』是絕對必要的。透過本服務,我們將致力於營造企業能夠安心活用生成AI的環境,並將社會整體安全基礎提升到新的階段。」
免費諮詢、聯絡方式
從弱點診斷的推進方式到方案選擇,均可免費諮詢。首先,請透過本公司網站的【聯絡表單】(https://www.coworker.co.jp/contact)隨時提出諮詢。
CoWorker聯絡表單
CoWorker株式會社簡介
CoWorker株式會社是一家以卓越技術為武器,在系統開發、IT諮詢、安全領域拓展業務的精銳AI科技公司。「Security × AI」為理念,透過次世代安全領域的研發,為強化社會安全基礎貢獻心力。
公司名稱 :CoWorker株式會社
成立年份 :2019年2月
地址 :東京都新宿區西新宿三丁目3番13號 西新宿水間大樓6樓
代表取締役 :山里 一輝
事業內容 :IT諮詢/系統開發
URL :https://www.coworker.co.jp/
產品、服務/公關事宜諮詢
CoWorker株式會社 公關負責人
聯絡表單
https://www.coworker.co.jp/contact
FACT BOX · 重點整理
- 來源:PR TIMES
- 分類:新聞