MakeSomethingNew 推出企業用「內部 LLM 基礎設施建置服務」

## MakeSomethingNew 推出「內部 LLM 基礎設施建置服務」

MakeSomethingNew 推出專為企業設計的 LLM 基礎設施建置服務，協助大型企業有效運用生成式 AI 與 AI Agent。

該服務將企業內部應用程式、聊天 UI 與 AI Agent 的 LLM 使用情況進行集中化管理，建立了一套共通的認證授權、模型路由、日誌查詢與稽核應對架構。此架構預設支援根據需求靈活切換多種 LLM 供應商，包括 Azure OpenAI、OpenAI API、Groq 與 OSS LLM 等。

企業的生成式 AI 應用正從個人或部門的試用階段，轉型為與業務系統、內部知識庫及工作流程對接的本格營運階段。然而，這也帶來了全公司導入時的挑戰，包括權限管理、各模型的成本與延遲管理、稽核日誌獲取以及確保故障發生時的備援方案等。

結合在生成式 AI 諮詢、AI Agent 建置與網頁開發方面的專業知識，MakeSomethingNew 協助企業設計並建置一個能安全進行業務利用的共通基礎設施。

### 背景

儘管許多企業正積極導入 ChatGPT 等生成式 AI，但若各部門各自引進 AI 工具或 API 整合，將會產生以下問題：

- 難以掌握使用者與業務場景使用的模型狀況
- 各部門的認證、日誌與安全性設計分散
- 當 LLM API 遇到速率限制或故障時，容易影響業務運作
- 無法橫向管理成本、代幣使用量、延遲與錯誤狀況
- 難以安全地將 AI Agent 連接至內部 API 與業務數據

為了解決這些問題，本服務不採取各應用程式單獨實作的方式，而是為整個企業建置一套通用的 LLM 基礎設施。

### 服務主要特點

1. 與內部 ID 整合的認證授權

透過與 Entra ID 等內部 ID 基盤整合，根據使用者、部門與應用程式角色，控制可使用的模型與用途。這不僅能防止個人使用的氾濫，還能確保生成式 AI 的運用符合企業管控需求。

2. 轉發至多個 LLM 供應商

將 Azure OpenAI、OpenAI API 與 Groq 等多個供應商整合，根據模型特性、速率限制、回應速度、成本與服務狀況分派請求。當特定模型或地區發生故障時，亦能協助切換至備援環境。

3. 使用日誌與稽核日誌的可視化

針對使用者、部門、應用程式與模型單位，追蹤代幣使用量、延遲、錯誤狀況與成本。運維團隊、安全部門與業務部門可參考相同的日誌，進行狀況掌握、效能改善與稽核應對。

### 預期應用場景

本服務適用於以下企業或部門：

- 希望在解決安全性與稽核疑慮的同時，在全公司推進生成式 AI 運用者
- 欲在多個部門導入 AI Agent 的企業
- 欲根據不同場景靈活運用 Azure OpenAI、OpenAI、Groq 等多種 LLM 的企業
- 欲將 LLM 整合至企業內部聊天、業務系統與知識庫的企業
- 需要集中視覺化管理 LLM 使用量、成本、延遲與錯誤狀況者

### 關於 MakeSomethingNew

MakeSomethingNew 以「創造新事物」為宗旨，提供 NPO 系統開發、生成式 AI 活用支援與網頁開發服務。透過運用生成式 AI 與 LLM 的 Web 服務開發、AI Agent 建置、提示工程（Prompt Engineering）以及將 AI 整合至業務系統，致力於協助企業與組織進行新事業開發與業務改善。