OrcaRouter 進軍日本：透過「適應性路由」優化 200 種以上 LLM，AI 推論成本最高降低 70%

FlashLabs Inc.（總部：東京都千代田區，代表取締役：細井洋一，以下簡稱「FlashLabs」）宣佈與開發次世代 AI 基礎架構的研究機構 Continuum AI（總部：美國）達成日本獨家經銷合作。雙方將在日本市場推出適應性推論網關「OrcaRouter」，該產品可透過單一 API 使用超過 200 種 LLM，僅需 5 分鐘即可完成遷移，並在維持旗艦級品質的同時，最高可將生產環境的 AI 成本降低 70%。

## 背景與挑戰
FlashLabs 創辦人石一指出：「目前在生產環境中運行 AI 的企業，付出的成本幾乎肯定超過了其實際應有的兩倍。」現有的許多 AI 網關僅充當「管道」角色，將請求轉發至用戶指定的模型，卻未根據提示詞的複雜程度進行優化，導致成本過高。此外，日本企業還面臨特定挑戰，例如因簽署多個 LLM 供應商合約而導致的採購流程複雜化、美元計價帶來的匯率風險，以及缺乏相關成本優化工具。

## OrcaRouter 的技術創新
OrcaRouter 整合了 OpenAI、Anthropic、Google、xAI、Meta、Mistral、DeepSeek、Alibaba、Moonshot、ByteDance 等 15 家以上供應商、總計超過 200 種 LLM 的 API 呼叫。其核心「適應性路由」（Adaptive Routing）引擎透過以下機制運作：
1. 小型分類模型的預先判斷：在請求發出前，以毫秒為單位預測並選擇能滿足品質基準的最低成本 LLM。
2. 持續學習系統：將品質評分與用戶回饋每週反映於路由策略中，讓系統自動進化。
3. 市場變化的即時追蹤：常時監控供應商的價格、延遲與新模型發佈，當出現更優質的替代方案時，即刻自動切換路由。

## 導入效果與特色
與固定模型營運相比，在實際工作負載中推論支出減少了 47% 至 71%，且終端用戶未感知到任何品質下降。該平台採用無加價手續費的透明定價模式。遷移作業僅需修改 Base URL 與 API 金鑰，現有 OpenAI SDK 程式碼無需修改即可運作。針對日本市場，更提供了日圓結帳、全日文化管理後台與支援，以及國內數據路由等符合企業需求的功能。

FlashLabs 創辦人石一強調：「適應性路由是解決成本問題的唯一方法。在日本的實際工作負載中，我們正持續累積 60% 至 70% 的減支幅度。」Continuum AI 亦表示：「透過與 FlashLabs 合作，我們能提供日本客戶所追求的『可預測性』與『透明度』。」該服務自即日起提供。