開發車載邊緣設備的低記憶體RAG執行生成AI技術

低記憶體RAG執行生成AI技術的機制與應用想像

登士科股份有限公司（總部：兵庫縣神戶市，代表董事社長：米本宜司）為了在車載邊緣設備上實現生成AI的應用，開發了能夠以低記憶體執行RAG（檢索增強生成：Retrieval-Augmented Generation）的生成AI技術。該技術的特點在於，透過重新學習嵌入模型（※2），將檢索用向量數據庫（※3）輕量化，即使在車載SoC環境中也能保持檢索精度。預計將其應用於基於生成AI（LLM※4）的對話助手，作為貼近人的HMI。透過在車載邊緣設備上實現生成AI，為每位駕駛員和乘客提供貼心的自然且安心的對話體驗。未來，我們將與汽車製造商和合作夥伴緊密合作，為移動社會的發展做出貢獻。

■開發背景

生成AI（LLM）在車載HMI的智能駕駛艙和智能客艙（例如，透過對話助手設定目的地和導航、搜索和提議新聞/娛樂內容等資訊，或控制車輛功能）等方面的應用正在推進。然而，單獨使用生成AI（LLM）無法準確回應其未學習的最新資訊或車輛/用戶特定資訊，這是一個挑戰。作為補償技術，RAG受到關注，但由於需要嵌入模型和大量的檢索用向量數據庫，因此在記憶體容量和處理性能受限的車載SoC和邊緣環境中實施難度較大。換句話說，這是一個「精度越高越重」和「輕量化後精度下降」的權衡取捨。

■技術特點

・透過獨特的嵌入模型學習技術，實現車載邊緣設備執行所需的向量數據庫輕量化※5
・在使用公開數據集的評估中，與現有模型相比，實現了記憶體減少和檢索精度的平衡（將記憶體容量減少30-60%，同時保持高精度）

■神戶大學研究所資訊系統學研究科（語音對話）滝口教授評論

要實現貼近每個人的對話系統，需要根據每位用戶的意圖和偏好來回應。然而，這些資訊具有高度隱私性，因此希望在不依賴互聯網的本地環境中運作。從這個角度來看，未來車載邊緣設備上實現基於RAG的對話系統技術的重要性將進一步提高。

登士科集團在「VISION2030」企業願景的指導下，以「貼近人的HMI」、「環保電動化」和「車輛與社會的數據連接」為軸心，致力於提升汽車的魅力。我們旨在解決移動社會的課題，如零交通事故和碳中和，並透過解決各種移動相關問題來豐富人們的生活。我們將繼續努力，實現「環保」和「安全」的移動社會。

※1 RAG（檢索增強生成：Retrieval-Augmented Generation）：生成AI（LLM）從外部資料來源搜索相關資訊，並基於該資訊生成回應的技術。
※2 嵌入模型：將文字或圖像等轉換為數值陣列（特徵向量）的AI模型。
※3 向量數據庫：將文字或圖像等轉換為數值陣列（特徵向量）並儲存。基於要搜索的內容與前述資料的「相似度」進行高速、高精度搜索的數據庫。
※4 LLM（大規模語言模型：Large Language Model）：使用大量文字資料和深度學習（深層學習）訓練的AI模型。
※5 該學習技術在「語言處理學會第32屆年會 Matryoshka表現學習考慮嵌入模型蒸餾」中發表。
（2026年3月9日至13日在宇都宮Light Cube舉行）https://anlp.jp/nlp2026/

透過此舉措，我們旨在實現以下SDGs。
關鍵詞：