Kong支援AGC強化多LLM治理與成本優化

Kong公司宣布，大型玻璃製造商AGC公司已採用其API管理與AI閘道（AI Gateway）相關服務，作為支援全公司安全利用AI及提升開發效率措施的一環。此次採用被定位為整備全公司共通AI開發基礎的一環，並已將未來擴展至海外據點納入考量。

■ 背景：多LLM應用的加速與挑戰
隨著AGC公司內部對AI應用的關注日益增加，一些挑戰也隨之浮現。開發現場除了以Azure OpenAI為中心外，也希望能根據用途與業務特性，靈活運用Gemini、Anthropic等其他LLM。然而，各事業部或專案的獨立合約，不僅使合約與請款流程變得繁瑣，每次導入新服務時都需要進行安全檢查與申請，這可能成為阻礙全公司迅速推動AI應用的絆腳石。此外，在各部門獨立使用API的環境下，難以準確掌握「誰、在哪個專案、使用了多少」，導致整個組織的成本管理與治理變得困難。對於按用量計費可能產生「因過度使用而導致高額請款」的憂慮，也成為現場使用者的心理障礙，使他們對於積極利用AI及進行嘗試感到猶豫。

■ 選擇Kong的要點：兼顧AI治理與開發速度
為了實現安全且迅速的AI開發環境，AGC選擇了Kong的解決方案，主要基於以下幾點：

- 多LLM的統一管理（AI Gateway）：透過Kong作為中介，標準化不同API規格的LLM，讓開發者能透過單一窗口，以最小的變更成本，靈活選擇與切換最適合的AI模型。
- 合約與申請流程的整合：利用Kong作為已通過安全審查的共通基礎，將合約與治理管理集中化，簡化了各事業部獨立簽約及每次的申請手續。
- 使用情況與成本的精確可視化：利用API消費者（Consumer）管理功能，將部門、專案及個人員工的使用情況可視化，有助於未來實現內部費用分攤的自動化。
- 防止預算超支的保護機制（AI Rate Limiting Advanced）：能為每位使用者設定期間內的用量配額（Quota）或速率限制，當超過預算時將自動進行控制，藉此消除使用者對「意外高額請款」的心理不安。
- 對AI代理（Agent）／MCP的前瞻性支援：不僅是單純的聊天機器人，其高擴展性也支援開發能存取內部資料或研究論文的AI代理的構想。

此次導入是透過AWS Marketplace進行，以確保採購與合約流程的靈活性。

■ 未來展望
此專案將首先從開發人員開始使用，並逐步擴展。