Graffer 建立「本地 LLM 活用技術」，支援不將個資流向外部的文件處理

Graffer Inc.（總部：東京都澀谷區，負責人：石井大地，以下簡稱「Graffer」）已建立一項「本地 LLM 活用技術」，使 AI 能夠在用戶的個人電腦或企業內部伺服器中完成文件處理，無需透過網際網路將個人資訊或機密資料傳送至其他公司的伺服器。

本技術旨在針對申請書、身分證明文件、帳戶資訊、各類表單與問卷等圖像進行必要項目的提取與內容驗證。Graffer 正積極推進將本地 LLM 架構應用於文件處理業務的技術驗證，該架構能在具備基礎運算資源的標準 PC 環境下運行，不需依賴高性能專用伺服器。目前已確認在項目提取與確認支援方面的技術可行性。

雖然使用高性能伺服器或大型模型的架構可望提供更高的精度與處理速度，但對於無法將個人資訊或機密資料流向外部的現場而言，將處理環境封閉在本地本身即為一項重要要求。Graffer 將持續致力於提升精度、速度與可操作性，以支援即使在不依賴高性能專用伺服器的架構下，也能實現接近實務需求的文件處理。

* LLM（大型語言模型）：用於 ChatGPT 等 AI 的基礎技術，能理解與生成文章與圖像。常見的雲端生成式 AI 服務會將輸入數據傳送至外部伺服器進行處理。相較之下，本新聞稿所述的「本地 LLM」指的是處理工作可在用戶電腦或組織內部伺服器中完成，數據不會發送到外部服務供應商伺服器的架構。本技術運用了針對本地環境操作所優化的公開可用開源模型。

開發背景

以 ChatGPT 為首的雲端生成式 AI，機制皆為將用戶輸入的資訊透過網際網路發送到服務供應商的伺服器進行處理（以下稱為「雲端 LLM」）。因此，在行政、金融、醫療、BPO（業務流程外包）、法律與人事等現場，常因「個人資訊與機密資料不可傳送至組織控制之外的伺服器」這一理由，而不得不放棄採用生成式 AI。

例如在地方政府的櫃台，職員需逐一檢視並輸入申請書上的姓名、地址與帳號等資訊。儘管期待透過生成式 AI 提升業務效率，但因無法將個人資料傳送至外部伺服器的限制，導致許多導入案例被迫中止。在民間企業中，也存在大量如客戶資料管理等不允許數據外流的業務。

此外，雲端 LLM 依處理量收取使用費，對於需持續處理大量文件的業務而言，成本難以預估也是一項課題。

鑑於上述背景，Graffer 確立了利用本地 LLM 進行文件處理的技術，旨在讓無法將數據流出外部的現場也能活用 AI。此技術採用能在標準 PC 環境下運作的架構，無需高性能專用伺服器，並已確認技術可行性。未來，公司將透過實際業務驗證，持續推進精度、速度與可操作性的提升。

本技術特點

1. 無需將個資/機密資訊發送至外部的封閉式處理架構

透過將 AI 處理工作封閉在用戶電腦等本地環境中完成，文件圖像與提取後的數據無需經由網際網路傳送至其他公司的伺服器。此架構考量了在無網路連線的封閉環境或企業內部伺服器（地端部署）中的運行需求，擴展了行政機關申請處理、櫃台業務與 BPO 等以往難以導入雲端 LLM 的現場，在遵守個人資訊保護與安全政策下的 AI 活用可能性。

2. 無需 AI 使用費或大規模基礎設施投資

雲端 LLM 可能會產生依使用量計費的費用，而採用本地 LLM 則可免除此類費用結構。預計將為大量文件處理與例行驗證業務提供更可預測的成本控管。

此外，過去運行本地 AI 的技術通常需要高性能伺服器或專用設備，而本技術則驗證了在標準 PC 環境下即可運行文件處理的架構。這種不需大規模基礎設施投資的架構，將有助於在小型部門或分部進行測試性導入。