NTT Integration 與 IBM Japan 展開使用「IBM Spyre」的次世代本地部署 AI 基礎設施技術驗證

NTT Integration 株式會社和日本 IBM 株式會社共同啟動了一項技術驗證，旨在開發利用「IBM Spyre Accelerator for Power」（以下簡稱 IBM Spyre）的次世代本地部署 AI 基礎設施服務。這款企業級 AI 加速器的應用為日本國內首例。NTT Integration 旨在透過提供此服務，打造一個讓企業能在本地環境中更安全、更高效地運用 AI 的環境。

近年來，儘管生成式 AI 和大型 AI 模型的應用迅速擴展，但在超越概念驗證（PoC）和有限應用階段，進入全面業務部署的過程中，新的挑戰正日益浮現。其中之一是 AI 推論基礎設施不斷增加的功耗，以及數據中心的電力限制。傳統以 GPU 為核心的 AI 基礎設施雖然具有高效能，但其龐大的功耗和安裝需求對實現永續的 AI 應用構成了挑戰。此外，導入和營運生成式 AI 及 RAG 需要高度的專業知識，這往往導致 AI 基礎設施的設計和營運工作集中在特定的 IT 人員身上。結果，前線部門難以自主運用 AI 的問題也隨之產生。再者，對於處理高度機密核心數據和業務數據的企業而言，他們強烈需求在不將數據移至外部環境的情況下安全地使用 AI，這再次凸顯了在本地環境中運用 AI 的重要性。特別是在製造業的設計部門和生產現場，設計圖紙、製造流程數據和良率資訊等極具機密性的知識產權和敏感資訊，都在本地環境受到嚴格管理。企業希望在不將這些數據帶出公司的情況下利用 AI 的需求正日益增強。

「IBM Spyre」正作為解決這些挑戰的關鍵而備受關注。IBM Spyre 是一款專為 AI 推論處理而設計且針對企業用途的 AI 加速器。它的特點在於能夠在維持高推論效能的同時，抑制功耗和安裝需求，被期待能應對電力限制和營運負載等挑戰。導入一般的 GPU 伺服器通常需要進行大容量電源的改造工程以及準備專用的冷卻設備，而 IBM Spyre 的設計是作為擴充卡安裝在 IBM Power11 伺服器上。這使得企業能夠在無需大幅修改電力設施或空調的情況下，增添 AI 推論功能。此外，透過與 IBM Power 伺服器結合，AI 推論可以在伺服器內部完成，而無需將核心業務數據移至外部，從而能夠構建出符合重視安全性和數據主權的企業需求的本地部署 AI 基礎設施。基於這些特點，NTT Integration 和 IBM Japan 已針對利用 IBM Spyre 構建本地部署 AI 基礎設施的可行性展開了技術驗證。

在此次技術驗證中，將透過結合 IBM Power11 和 IBM Spyre 來驗證其作為企業級 AI 推論基礎設施的有效性。藉由在同一基礎設施上協調 IBM Power 所處理的核心業務數據與 AI 推論處理，驗證一種無需移動數據即可運用 AI 的配置，旨在實現兼顧高安全性和營運效率的本地部署 AI 基礎設施。此外，也將從功耗和營運負載的角度進行評估，以驗證其是否為企業在實際營運中可導入的 AI 基礎設施。

NTT Integration 在此項倡議中將自身定位為「Client Zero」（零號客戶），並將 IBM Spyre 應用於實際業務中。驗證將針對符合日常業務的使用案例進行，例如分析在 IBM i 上運行的核心業務數據，以及利用 RAG 進行內部知識搜尋。其方針是累積在建構、營運及營運後改善等實務層面的專業知識，並將成果反映在未來提供的服務中。