HPC系統公司推出AI基礎設施評估服務

HPC系統公司（總部：東京都港區，代表董事：小野 鉄平，以下簡稱HPC系統公司）已推出一項新服務「AI基礎設施評估」，旨在支援企業和研究機構導入生成式AI和大型語言模型（LLM）。

這項服務根據模型大小、同時使用人數、上下文長度、響應性能等條件，整理從概念驗證（PoC）環境到實際生產導入的配置設計和驗證觀點，並以報告形式呈現。

根據客戶需求，服務將整理包括GPU記憶體容量、推論方式、並行配置、儲存和網路在內的配置。

近年來，儘管企業和研究機構對生成式AI和LLM的應用討論日益增多，但考量模型大小、同時使用人數、上下文長度、響應性能、本地部署要求和未來擴展性等因素，硬體配置的判斷變得日益複雜。特別是，在PoC階段可行的配置，可能不適用於實際運營時的性能要求和使用規模，因此在導入初期，需求整理和配置設計的重要性日益提高。

迄今為止，本公司主要透過提供以計算科學領域為中心的HPC伺服器，以及配備GPU的伺服器和工作站產品，支援高性能計算基礎設施的提案和建置。本次推出的新服務，將基於這些知識，根據客戶的使用預期和運營條件，以報告形式呈現從PoC到實際生產導入的配置方案和驗證觀點，從而支援生成式AI和LLM導入的決策。

這項服務將根據模型大小、同時使用人數、上下文長度等使用條件，考量包括GPU記憶體容量、推論方式和並行配置在內的配置。此外，除了GPU伺服器配置外，還將包括儲存、網路和推論軟體堆疊，進行全面的配置整理，以應對實際運營。

此外，這項服務將導入評估分為三個階段：「評估導入」、「生產選擇」和「導入後優化」。這使得可以將適用於初始驗證的配置與實際運營所需的性能、擴展性和運營要求分開整理。在明確每個階段所需的驗證觀點和挑戰後，最終將呈現一份配置提案報告。

服務概述
根據客戶訪談內容，本服務將提供包括以下內容的報告：

推薦的3種配置方案及前提條件列表
預期性能範圍（包括響應性能和同時使用預期）
PoC驗證項目
過渡到實際生產時的額外挑戰
概算報價

此外，考量內容將分為以下三個階段進行整理：

評估導入：針對多模型試驗和初始驗證的配置整理
生產選擇：根據同時使用人數、響應性能和運營條件整理生產配置
導入後優化：著眼於擴展性、運營負載和額外調整的挑戰整理

這使得客戶不僅限於比較GPU規格和產品特性，還能根據自己的使用情境，推進PoC環境的適用性驗證、實際生產導入時的挑戰整理，以及未來擴展方針的考量。

服務對象
本服務主要針對以下類型的企業和研究機構：

考慮利用生成式AI，包括內部文件搜索和RAG的企業
考慮在本地部署或封閉環境中運營LLM的企業
已建置PoC環境，並希望整理過渡到生產配置方針的企業
在選擇配備GPU的伺服器和工作站時，希望根據需求進行比較和評估的企業
希望利用在計算科學和研發用途中積累的高性能計算基礎設施知識，推進生成式AI基礎設施建設的企業和研究機構。