NTT確立全球首創「令牌通用化」技術，克服LLM間的「詞彙障礙」
NTT已確立全球首創的「令牌通用化」技術，克服了不同大型語言模型（LLM）之間的「詞彙障礙」。這項技術允許在推理過程中，在不降低準確性的情況下靈活縮減LLM的令牌詞彙，從而實現異構LLM之間的知識整合和轉移。
📋 文章處理履歷
- 📰 發表: 2026年4月23日 00:00
- 🔍 收集: 2026年4月23日 00:02（發表後2分鐘）
- 🤖 AI分析完成: 2026年4月23日 02:49（收集後2小時47分鐘）
發表重點：
NTT已確立全球首創的理論和演算法，能夠在大型語言模型（LLM）推理過程中，在不降低準確性的情況下，自由縮減作為輸入/輸出單位的「令牌」詞彙集。
這項技術使得任意異構LLM之間能夠通過共同的詞彙集進行協作。
將這項技術應用於集成（ensemble）和NTT獨有的可攜式調優（portable tuning）等協作技術，將能夠在更多樣化的異構LLM之間實現知識的整合和轉移。
NTT株式會社（總部：東京都千代田區，代表取締役社長：島田 明，以下簡稱「NTT」）已確立全球首創的推理技術，該技術能夠在不降低準確性的情況下縮減大型語言模型（LLM）中作為輸入/輸出單位的「令牌」詞彙，並在不同LLM之間實現令牌詞彙的通用化。此前，要實現以集成*1為代表的多個LLM推理時協作，需要各LLM的令牌詞彙一致。這項技術解決了這一限制，使得任意異構LLM之間能夠進行此前難以實現的集成和NTT獨有的可攜式調優*2等多種推理時協作，並通過知識整合和轉移實現高精度化。這項成果將於2026年4月23日至27日在巴西里約熱內盧舉行的深度學習領域最頂尖國際會議International Conference on Learning Representations (ICLR) 2026*3上發表。
1. 背景
近年來，大型語言模型（LLM）作為能夠以自然語言進行推理的AI，其應用正在迅速普及。LLM以稱為「令牌」的部分單詞單位高效地進行推理，而不是逐字輸出文本。更具體地說，它通過重複計算「下一個令牌預測」，即以概率值預測下一個應輸出的令牌候選，並根據此預測結果輸出令牌來推進推理。這些令牌候選的集合稱為「令牌詞彙」，由數萬到數十萬個令牌組成，但特別是在由不同組織或在不同時期開發的LLM之間，這些令牌詞彙通常不一致。然而，當LLM之間的令牌詞彙不同時，它們無法在推理過程中相互比較和參考下一個令牌預測結果。這種「詞彙障礙」使得在異構LLM之間難以利用各種令牌級別的協作技術，例如通過整合多個LLM的預測結果來提高推理準確性的集成，或將專業知識轉移到另一個模型的可攜式調優。
2. 研究成果概述
本研究確立了全球首創的技術，能夠在不降低準確性的情況下，自由縮減LLM用於推理的令牌詞彙（圖1）。具體而言，LLM推理過程中計算的所有令牌的下一個令牌預測結果，將在每個步驟中轉換為僅以指定部分令牌（部分詞彙）為候選的預測結果。通過基於獨特理論設計轉換演算法，確保在此轉換過程中最終輸出文本的整體趨勢不變，從而實現了在不降低原始LLM推理準確性的情況下，使用任意部分詞彙進行推理。應用這項技術，可以在具有不同詞彙的LLM之間，在它們的「最大共同詞彙」上進行推理時協作（圖2）。換句話說，此前因令牌詞彙不匹配而受阻的推理時協作，例如通過集成進行知識整合和通過可攜式調優進行知識轉移，現在可以通過共同令牌在異構LLM之間實現。實驗還針對具有不同令牌詞彙的LLM進行了集成驗證，確認了在保持各LLM性能的同時，通過共同令牌進行協作是可行的，並且這種協作可以提高推理準確性。
圖1：確立了在保持LLM輸出趨勢的同時，能夠自由縮減令牌詞彙的轉換技術。
圖2：即使是具有不同詞彙的LLM，也能通過共同詞彙進行集成。
3. 技術要點
① 「無損」自由縮減詞彙的新理論
我們確立了全球首創的理論，能夠在保持LLM輸出質量的同時，以更少的令牌候選（部分詞彙）進行下一個令牌預測。如果僅僅是減少令牌候選，可以通過從下一個令牌預測中刪除不需要的令牌候選信息來實現，但這會導致大幅度的性能下降，因為原本應該輸出的字符串將無法生成。本研究構建了一個理論框架，能夠統一處理與原始詞彙相關的令牌概率和與部分詞彙相關的令牌概率，並基於獨特理論設計了轉換演算法，以確保最終輸出字符串的分佈保持不變。
NTT已確立全球首創的理論和演算法，能夠在大型語言模型（LLM）推理過程中，在不降低準確性的情況下，自由縮減作為輸入/輸出單位的「令牌」詞彙集。
這項技術使得任意異構LLM之間能夠通過共同的詞彙集進行協作。
將這項技術應用於集成（ensemble）和NTT獨有的可攜式調優（portable tuning）等協作技術，將能夠在更多樣化的異構LLM之間實現知識的整合和轉移。
NTT株式會社（總部：東京都千代田區，代表取締役社長：島田 明，以下簡稱「NTT」）已確立全球首創的推理技術，該技術能夠在不降低準確性的情況下縮減大型語言模型（LLM）中作為輸入/輸出單位的「令牌」詞彙，並在不同LLM之間實現令牌詞彙的通用化。此前，要實現以集成*1為代表的多個LLM推理時協作，需要各LLM的令牌詞彙一致。這項技術解決了這一限制，使得任意異構LLM之間能夠進行此前難以實現的集成和NTT獨有的可攜式調優*2等多種推理時協作，並通過知識整合和轉移實現高精度化。這項成果將於2026年4月23日至27日在巴西里約熱內盧舉行的深度學習領域最頂尖國際會議International Conference on Learning Representations (ICLR) 2026*3上發表。
1. 背景
近年來，大型語言模型（LLM）作為能夠以自然語言進行推理的AI，其應用正在迅速普及。LLM以稱為「令牌」的部分單詞單位高效地進行推理，而不是逐字輸出文本。更具體地說，它通過重複計算「下一個令牌預測」，即以概率值預測下一個應輸出的令牌候選，並根據此預測結果輸出令牌來推進推理。這些令牌候選的集合稱為「令牌詞彙」，由數萬到數十萬個令牌組成，但特別是在由不同組織或在不同時期開發的LLM之間，這些令牌詞彙通常不一致。然而，當LLM之間的令牌詞彙不同時，它們無法在推理過程中相互比較和參考下一個令牌預測結果。這種「詞彙障礙」使得在異構LLM之間難以利用各種令牌級別的協作技術，例如通過整合多個LLM的預測結果來提高推理準確性的集成，或將專業知識轉移到另一個模型的可攜式調優。
2. 研究成果概述
本研究確立了全球首創的技術，能夠在不降低準確性的情況下，自由縮減LLM用於推理的令牌詞彙（圖1）。具體而言，LLM推理過程中計算的所有令牌的下一個令牌預測結果，將在每個步驟中轉換為僅以指定部分令牌（部分詞彙）為候選的預測結果。通過基於獨特理論設計轉換演算法，確保在此轉換過程中最終輸出文本的整體趨勢不變，從而實現了在不降低原始LLM推理準確性的情況下，使用任意部分詞彙進行推理。應用這項技術，可以在具有不同詞彙的LLM之間，在它們的「最大共同詞彙」上進行推理時協作（圖2）。換句話說，此前因令牌詞彙不匹配而受阻的推理時協作，例如通過集成進行知識整合和通過可攜式調優進行知識轉移，現在可以通過共同令牌在異構LLM之間實現。實驗還針對具有不同令牌詞彙的LLM進行了集成驗證，確認了在保持各LLM性能的同時，通過共同令牌進行協作是可行的，並且這種協作可以提高推理準確性。
圖1：確立了在保持LLM輸出趨勢的同時，能夠自由縮減令牌詞彙的轉換技術。
圖2：即使是具有不同詞彙的LLM，也能通過共同詞彙進行集成。
3. 技術要點
① 「無損」自由縮減詞彙的新理論
我們確立了全球首創的理論，能夠在保持LLM輸出質量的同時，以更少的令牌候選（部分詞彙）進行下一個令牌預測。如果僅僅是減少令牌候選，可以通過從下一個令牌預測中刪除不需要的令牌候選信息來實現，但這會導致大幅度的性能下降，因為原本應該輸出的字符串將無法生成。本研究構建了一個理論框架，能夠統一處理與原始詞彙相關的令牌概率和與部分詞彙相關的令牌概率，並基於獨特理論設計了轉換演算法，以確保最終輸出字符串的分佈保持不變。