隨著人工智慧（AI）和算力需求提升，全球進入高效AI建設時代，企業對高效能計算（HPC）的需求激增，AI熱潮不只帶動硬體供應鏈，AI算力更成為企業數位轉型的重要計算設備，在圖形處理器（GPU）採購成本較以往增加10倍的情況下，如何兼顧效益與成本導入AI，已是企業建置AI基礎建設的關鍵課題。
隨著時代發展，運行AI模型需要極為複雜的計算及大量數據處理，傳統計算設備無法滿足的需求， AI算力中心因應而生。AI算力中心是指專門為人工智慧應用提供高效運算資源與基礎設施的集中式平台或設施，主要功能是為AI模型訓練提供大規模的計算能力，特別適用於深度學習這類需要大量計算的任務，儲存並處理來自各種來源的海量資料。AI算力中心通常採取雲端或虛擬化技術，透過部署GPU、TPU、FPGA等大量高性能運算設備，以支持AI模型的訓練、推理以及大規模數據處理等任務。由於自建算力中心既昂貴又費時，從建置AI運算中心的到算力租借，成為一種快速進入AI應用場景的新興商業模式[1]。
AI需求為資料中心帶來新挑戰
在TrendForce 舉辦「2025智鏈驅動 釋放AI算力」研討會中，美超微（Supermicro）解決方案架構師許銘德分享如何打造AI/ HPC資料中心。許銘德指出，隨著對高階人工智慧應用的需求不斷成長，AI和HPC需求的日益增加，資料中心必須不斷發展，以支援大量運算負載、關鍵任務工作負載和液體冷卻需求，企業必須靈活應對市場變化，並採用更創新的解決方案，才能滿足客戶的多元需求。美超微基於模組化理念建構出「資料中心建置模組解決方案」（DCBBS），成為美超微應對AI快速變革的核心競爭策略。
DCBBS能簡化並縮短AI 液冷資料中心的建置時程，有效降低建置和營運成本，使客戶能夠輕鬆構建資料中心基礎設施，最快可在三個月內完成部署。DCBBS涵蓋所有關鍵基礎設施元件，包括伺服器、儲存、網路、機架、液冷、軟體、服務和支援，採用標準化且靈活的解決方案架構，可處理最苛刻的人工智慧資料中心訓練和推理工作負載，簡化資料中心的規劃、擴建同時降低成本，是適用於所有關鍵運算和冷卻基礎架構的解決方案。美超微也持續與輝達（NVIDIA）等大型企業合作提供模組化設計，並從邊緣計算到大型資產公司建立起完整的產品線，不僅能替客戶節省成本，也能更貼近客戶的即時需求。
AI基礎設施建置的考慮要點
AI運算需求快速成長，全球進入高效能AI建設時代，同一時間，GPU採購成本增加10倍，GPU算力對AI導入至關重要，有效運用GPU算力成為企業一大課題。數位無限執行長陳文裕指出，AI算力管理不只是管理算力，而是全面的AI基礎設施管理，在建置AI基礎設施時，必須考慮如何在同一平台支持AI機器學習訓練與HPC、滿足各種算力組合的需求，還要能跨平台支持不同廠牌GPU卡片，降低艱深的學習曲線。
AI 基礎設施管理面臨多種挑戰，必須考量算力與儲存配置，萬一缺乏控制和優先次序、利用率低、成本高，便難以獲得能見度和更好的決策，導致用戶仍然需要更多GPU，解決之道在於如何有效讓AI 算力發揮最大效果。數位無限所開發出的AI基礎設施管理平台AI-Stack，用單一平台即可快速落實多種AI服務需求，同時解決開發及部署AI服務時會遇到的問題，AI-Stack平台可根據需求將訓練任務分配至多個節點運算，並利用分散式訓練技術，將多個容器組織成訓練群組，平行分散處理巨量數據，有效縮減模型訓練時間，提升運算效率和資源利用率，不僅在2025 COMPUTEX榮獲「Best Choice Award」Computer & System類別獎，也被NVIDIA 認證為Solution Advisor。
陳文裕表示，人工智慧基礎設施平台的關鍵就是資源共享，將GPU 集中到一個集群中，以簡化管理並提高效率，數位無限掌握的關鍵技術，就是將單張GPU靈活切分為多個虛擬單位，提供多任務並行且穩定地使用，也能整合多片GPU進行跨節點的高效運算，大幅提升運算效率與資源使用率，在協助企業導入AI時，利用切割技術讓GPU使用率從30%提升到90%、提升10倍的工作負載效率和10倍的投資效益，並大幅縮短開發建置時間。
AI教育價格走向更親民、可負擔
AI與邊緣運算應用場景日益增多，需要更多AI軟體或是專屬邊緣AI模型，而要將AI導入政府機構、研究機構及私人企業，更需要邊緣、安全的地端AI設備來進行AI模型「微調訓練」（Post-training/Fine-tuning），在能兼顧資料安全和降低成本下，才有可能進一步擴大AI的落地應用。
微調訓練是指在已經訓練好的模型基礎上，透過進一步調整讓模型的輸出更符合預期，藉由微調取代重新訓練一個新的模型，能夠省去訓練新模型的高昂成本，並優化模型在特定任務上的表現。群聯執行長潘健成指出，百工百業在導入AI模型微調訓練時，往往會發現AI伺服器成本太高，動輒要花費數百萬讓一般中小企業望之卻步，或是擔心資料上雲端會有資安風險。針對這兩大痛點，群聯推出主打邊緣地端AI模型訓練與推論的工作站「aiDAPTIV+」，強調為一般大眾所打造，在預算上更加低成本與經濟實惠。群聯這項解決方案適用於邊緣地端AI模型的訓練，還可以提升邊緣AI的推論效能，能夠實現HBM、GDDR 記憶體與成本效益更高的快閃記憶體之間的動態資源調配，有效降低硬體支出，同時大幅減少模型訓練對昂貴且耗電GPU顯示卡的需求，而且只需使用一般的電力與冷卻設備，無論辦公室、學校教室或在家都能部署。
潘健成也觀察到，台灣AI教育現在面臨的問題就是硬體設施太貴，大專院校、職業訓練中心沒有足夠預算採購GPU伺服器，大學生沒機會實際操作GPU，AI教育與AI職訓只能淪為紙上談兵，是未來台灣AI教育要普及的重大挑戰。要讓學生學習AI，必須讓AI訓練電腦（AI Training PC）價格更親民，群聯計畫將低成本的AITPC一體機方案，部署至各大專院校，同時滿足大語言模型訓練加推論，加速建構AI教育所需設備環境、實現AI教育「一人一機」，才能讓台灣的AI教學真正落地。此外，群聯正在積極培訓邊緣AI訓練師，課程包含實戰操作與產業應用，希望培訓更多能掌握模型訓練、微調、推理與部署流程的AI訓練師，目前已開放課程授權並歡迎各界合作。
資料來源：
- 2025/6/20，TrendForce「CompuForum 2025–智鏈驅動 釋放AI算力」研討會
備註：
[1] 參考資料：AI算力中心是什麼？算力需求衍生新商機？
|
