NTT DATA 先端技術，驗證利用本地LLM環境於金融系統開發之生成式AI應用

株式會社NTT DATA 先端技術（總公司：東京都千代田區，代表取締役社長：藤原 遠，以下簡稱：NTT DATA 先端技術）與株式會社NTT DATA 財務科技（總公司：東京都港區，代表取締役社長：細谷 好志，以下簡稱：NTT DATA 財務科技）合作，著眼於在金融機構系統開發中應用生成式AI，在本地端的封閉環境中實施了本地LLM（大型語言模型）應用的技術驗證（PoC）。本次PoC的實施目的是為了強化金融機構的治理，並透過固定成本來提高可預測性。在以保護極為重要的機密資訊為前提下，驗證了生成式AI在確認設計文件一致性、提升品質以及加速修改作業等方面應用的有效性。

基於本次技術驗證的結果，NTT DATA 先端技術將進一步探討與推動重視安全性、治理、客製化能力、支援體制及成本可預測性的生成式AI應用。此外，為回應金融機構的需求，在確保機密資訊保護與安全性的前提下推動生成式AI的應用，同時也將支援需要相同條件的其他產業導入生成式AI。

【背景】
近年來，生成式AI技術作為提升業務效率的手段備受矚目。然而，特別是在金融機構中，除了按量計費導致的成本增加及預算管理困難之外，因處理資訊的高度機密性而帶來的資料保護問題，以及基於法律法規和業界規則確保治理的門檻過高，成為一大挑戰。因此，市場對能夠安全且有計畫地應用生成式AI的基礎設施需求日益增加。

在本次驗證中，我們在本地端（On-premises）環境上建構了生成式AI基礎設施，打造了一個絕對不向外部傳送各種資料的本地LLM環境，並確認了在金融系統開發的業務中應用生成式AI的可行性。透過本次驗證，我們確認了在將資訊外洩風險降至最低的同時，能夠開發出符合企業安全政策與內部控制、確保安全與治理的生成式AI系統。

圖1：本地LLM環境架構示意圖

【技術驗證概要】
為了驗證絕對不向外部傳送包含機密資訊在內的各種資料的本地LLM，是否能應用於金融系統的開發，我們定義了三個預期的使用案例：「一致性檢查自動化」、「文件品質提升」及「修改作業加速」。

圖2：主要使用案例

本次特別針對金融機構系統開發中的設計文件編寫業務，進行了「使用案例1：一致性檢查自動化」的驗證。我們運用建構在本地端環境下的本地LLM，確認了其能夠在不違反安全政策、內部控制機制以及業界標準等規則的情況下，自動進行檢查與修正，從而減少設計文件編寫過程中的審查環節。未來，我們也將持續針對另外兩個使用案例進行驗證。

此外，在本次驗證中，我們建構了具備高客製化能力的生成式AI基礎設施，能夠根據業務內容與目的彈性選擇LLM模型與架構，並實際使用了多個LLM模型進行使用案例執行的比較驗證。在此基礎上，我們確認了能夠選擇最適合的LLM模型或RAG（檢索增強生成）等技術，以活用專為金融系統打造的知識庫所帶來的效果與實用性。

再者，考量到導入初期的階段會縮減規模，以小規模啟動（Small Start）的方式導入生成式AI基礎設施，我們也對能夠分階段擴大使用範圍的營運模型進行了評估。結果確認了，此模式能在控制生成式AI導入時投資風險的同時，一邊確認對業務帶來的成效，一邊逐步過渡至全面導入階段。

在成本方面，我們驗證了透過採用本地LLM，可以實現不受生成式AI基礎設施使用量大幅影響的穩定成本結構（成本固定化）。此外，我們採用了模擬客戶環境、在本地端伺服器上建構生成式AI基礎設施的架構。這不僅有望帶來減少雲端使用費、抑制網路頻寬成本等額外的成本縮減效果，還有望實現預算管理簡化、中長期成本預測明確化等效益。

【未來展望】
基於本次技術驗證的結果，NTT DATA 先端技術將進一步探討與推動重視安全性、治理、客製化能力、支援體制及成本可預測性的生成式AI應用。此外，為回應金融機構的需求...