「LLM 診斷服務」詳細請由此進入

開發並提供AI安全解決方案的CoWorker株式會社(總部:東京都新宿區,代表取締役:山里一輝,以下簡稱「本公司」或「CoWorker」)已開始提供專門針對生成AI/LLM使用的「LLM診斷服務」。

本服務是專為本公司提供的DX服務中整合的AI應用以及企業內部AI應用所設計的專用診斷,能夠全面評估LLM整合應用程式特有的風險。過去的弱點診斷服務主要針對Web應用程式及整體基礎設施的弱點,而新服務則聚焦於「生成AI的安全活用」。

AI安全公司CoWorker推出「弱點診斷服務」——透過自主開發AI「Red Agent」×專家混合診斷,加速診斷並抑制重要風險的遺漏

https://prtimes.jp/main/html/rd/p/000000018.000156001.html

開發與提供的背景

生成AI應用急劇擴展與新風險

隨著ChatGPT和Gemini等大型語言模型(LLM)的普及,聊天機器人和AI助手正迅速整合到企業的DX服務和內部業務中。然而,提示注入、資訊洩漏、輸出濫用等LLM特有的弱點也日益顯現,傳統弱點診斷難以偵測的案例正在增加。

本公司基於OWASP定義的LLM Top 10風險,開發了支援生成AI安全應用程式的新診斷服務。

OWASP定義的LLM Top 10風險:

Open Worldwide Application Security Project (OWASP) 制定了一份清單,彙總了針對大型語言模型(LLM)應用程式的10項最嚴重的安全威脅與風險。該清單旨在應對生成AI和AI應用程式開發與實施過程中,安全人員和開發者面臨的新興弱點,並於2023年制定。

OWASP Gen AI Security Project https://genai.owasp.org/llm-top-10/

診斷方法

多方面評估LLM特有風險

LLM診斷服務結合以下三種方法,評估使用生成AI的系統整體安全性。

・ 滲透測試診斷 在接近實際運行環境的條件下,嘗試對聊天機器人或AI代理進行攻擊,驗證提示注入、權限提升、認證/授權缺陷等問題。

・ MCP伺服器診斷 檢查LLM代理所使用的工具整合及API呼叫部分,確認認證、授權、輸入驗證、機密資訊管理以及API調用的妥當性。

・ 原始碼診斷 對LLM整合部分的程式碼庫或API規格書進行靜態分析,評估輸入驗證的實施和提示建構的安全性。

主要特點

專為生成AI安全應用而設的診斷

LLM診斷服務透過採用自主開發AI「Red Agent」與資深工程師的混合診斷,實現了速度、精度與成本的平衡。主要特點如下。

・ 速度 AI代理自動化診斷,將過去需要數天的LLM安全性驗證縮短至數小時。

・ 高精度 Red Agent在弱點診斷基準測試中達到了89.1%的檢測率,AI分析基於公開弱點資訊(CVE)及各種Web攻擊場景的多樣化測試模式。進一步結合專家審核,提供高精度的診斷結果。

・ 低成本 AI負責標準化工作,相較於傳統診斷費用,可大幅節省成本。

・ 貼近實務的報告 檢測結果包含風險等級、影響範圍、重現步驟、攻擊場景、改善建議,提供與生成AI導入專案營運直接相關的建議。

「LLM診斷服務」提供流程

① 訪談 聯絡後,透過線上會議確認診斷對象概要與需求,並提出最適診斷方案。

② 診斷執行 根據您提供的原始碼及API端點資訊,利用Red Agent執行診斷,並由專家確認與評估結果。必要時也將併用黑盒子形式測試。

③ 人工審核 經驗豐富的安全工程師將嚴格審查AI結果,並彙整為包含風險評估、優先順序排列及改善對策的報告。

④ 報告書交付 從診斷開始後最短3個工作日內以PDF格式交付報告書。對於重大問題,亦可提供即時通知。

⑤ 改善支援 提供修正弱點所需的技術建議及再診斷服務。

推薦給以下企業

以下情況推薦使用本服務:

・ 開發與提供利用生成AI的DX服務或產品的企業

・ 在公司內部使用聊天機器人或AI助手的開發部門、業務部門

・ 希望在使用外部LLM API時,降低提示注入及資料洩漏風險的組織

・ 希望在生成AI導入初期階段確認安全需求的專案

詳細請由此進入

專業團隊介紹

CoWorker的弱點診斷服務,除了AI自動診斷外,一大特色是由精通安全的專家團隊進行審核與支援。本公司由以下專業人士合作,守護您的系統。

AI研究員、開發者 負責AI演算法及大型語言模型的研究開發,實現弱點診斷的精度提升與高速化。從AI×Security×R&D三個領域進行整合性思考,從研發階段到社會實裝都進行一貫性的努力。

滲透測試專家 精通實際攻擊手法的紅隊經驗者將驗證AI的診斷結果,找出高風險的弱點。透過攻擊者的視角補充診斷,也能應對僅靠AI代理無法發現的複雜問題。

產業經驗工程師 擁有保險、教育、醫療、汽車、基礎設施等多元產業領域經驗的工程師將參與專案。在理解產業特有的安全需求後,提出實用的改善方案。

夥伴式專案經理 不僅是安全對策,更能理解客戶的業務目標及開發流程的專案經理將負責整體統籌。CoWorker以共創的平台為目標,重視精煉的專業知識與對話,致力於共同創造經營、產品與技術。

代表評論

CoWorker株式會社 代表取締役 山里 一輝

「隨著生成AI的普及,LLM正迅速整合到企業的DX服務和內部業務中。然而,AI應用服務除了傳統Web應用程式的弱點外,還存在提示注入和機密資訊洩漏等『AI固有的風險』。這些風險僅靠傳統安全對策和弱點診斷難以充分偵測。

CoWorker作為一家AI企業,認為理解AI的內部結構和行為模式後進行診斷至關重要。此次開始提供的LLM診斷服務,結合了基於OWASP LLM Top 10的評估、自主開發AI『Red Agent』的自動診斷,以及專家的審核,從多角度驗證生成AI應用程式的安全性。

我們秉持Security × AI的理念,認為在一個利用AI的社會中,『用AI守護安全』是絕對必要的。透過本服務,我們將致力於營造企業能夠安心活用生成AI的環境,並將社會整體安全基礎提升到新的階段。」

免費諮詢、聯絡方式

從弱點診斷的推進方式到方案選擇,均可免費諮詢。首先,請透過本公司網站的【聯絡表單】(https://www.coworker.co.jp/contact)隨時提出諮詢。

CoWorker聯絡表單

CoWorker株式會社簡介

CoWorker株式會社是一家以卓越技術為武器,在系統開發、IT諮詢、安全領域拓展業務的精銳AI科技公司。「Security × AI」為理念,透過次世代安全領域的研發,為強化社會安全基礎貢獻心力。

公司名稱   :CoWorker株式會社

成立年份  :2019年2月

地址    :東京都新宿區西新宿三丁目3番13號 西新宿水間大樓6樓

代表取締役 :山里 一輝

事業內容  :IT諮詢/系統開發

URL    :https://www.coworker.co.jp/

產品、服務/公關事宜諮詢

CoWorker株式會社 公關負責人

聯絡表單

https://www.coworker.co.jp/contact

FACT BOX · 重點整理

  • 來源:PR TIMES
  • 分類:新聞