開發出支援醫療現場行政作業的高性能日語LLM

在NEDO（新能源與產業技術綜合開發機構）推動的「關於AI安全性確保的研究開發與驗證等推進事業／針對日語版醫療特化型LLM社會實裝的安全性驗證與實證」（以下簡稱本事業）中，10個聯合機構開發了一款醫療業務支援用的日語LLM。該模型可在醫療機構的地端環境或由醫療機構管理的國內雲端環境等，能安全管理患者資料的環境下運行，且具備媲美世界頂尖商用LLM的性能。

根據自行建構的基準測試結果，該模型在模擬專科醫師考試的學術測驗中，達到了最高90.8%的正確率，已達到與比較對象之主要商用LLM（91.4%）相近的水準。同時，針對日本醫療特性進行了安全性驗證，確認了醫療現場使用所需的性能與安全性已達到平衡。

本研究開發的成果旨在提升醫療現場的業務效率與醫療品質，未來計畫分階段推進社會實裝。

1. 背景
醫療機構在運用AI時，存在以下三個結構性課題：
1）患者資料管理課題：多數通用AI服務將患者資料處理於國外伺服器或外部業者管理下，醫療機構難以充分掌握資料所在與處理方式。
2）資料標準化課題：各醫療機構的術語與代碼體系不同，資料互通性不足。
3）安全性標準課題：醫療現場運用LLM的安全性標準尚未完善，導入決策缺乏依據。
本事業旨在開發能在安全環境下運行且性能媲美主流AI的模型，並針對（1）LLM開發、（2）安全性驗證、（3）使用案例驗證進行了研究。

2. 本次成果
（1）開發可在安全環境下運行的日語LLM
以公開的開源LLM為基礎模型，利用日本診療指引、專科醫師考題、臨床案例等醫療教材進行追加訓練。結果顯示，該模型既能在安全環境下運行，又具備媲美商用LLM的性能。
主要成果為透過RAG（檢索增強生成）技術，在專科醫師模擬考中達到90.8%的正確率。此外，在評估是否符合日本診療指引的指標上，較基礎模型提升了最高10.8個百分點。

（2）基於日本醫療特性的安全性驗證
為確保安全性，實施了多面向措施：1）量化評估患者資料被模型記憶的風險；2）實作自動偵測與遮蔽患者資料的功能；3）制定並公開針對日本醫療特性的對話型安全性基準（超過5萬件）；4）實施攻擊耐受性測試（6000件規模的紅隊測試）。驗證結果確認，追加訓練後仍能維持與基礎模型同等的高安全性。

（3）醫療業務支援的使用案例驗證
為支援醫療人員的行政與文書作業，驗證了以下可行性：1）檢查名稱自動轉換為JLAC11代碼（最高80.3%精度）；2）病例資料自動整理（92.2%精度）；3）出院摘要草稿撰寫（品質媲美商用LLM）；4）電子病歷的自然語言查詢。這些工具僅為輔助，最終診斷與治療判斷仍由醫師負責。

3. 未來計畫
本研究開發的醫療業務支援用LLM，旨在提升醫療現場效率與品質，未來將與相關機構合作，分階段推進社會實裝。在實裝過程中，將優先確保安全性與可靠性，並與醫療機構進行充分溝通。