硬體創新助AI突破瓶頸 稀疏計算成大型模型新解方
商傳媒｜林昭衡／綜合外電報導隨著人工智慧（AI）技術快速發展，大型語言模型（LLM）的規模持續擴大，例如Meta推出的Llama模型已達2兆個參數。然而，模型增大不僅提升了能力，也帶來能源消耗與運算時間的大幅增加，導致碳足跡問題日益嚴重。為解決這些挑戰，目前業界普遍傾向使用較小型模型或採用低精度數字來處理模型參數。然而，《Aol.com》報導指出，另一個潛力巨大的途徑是優化AI模型中的「零值」運算，這便是所謂的「稀疏性」（sparsity）。稀疏性是指模型參數中，大多數數值為零或極接近零，若能跳過這些零值的計算與儲存，將能顯著節省運算資源。儘管現行的多核心中央處理器（CPU）與圖形處理器（GPU）未能充分利用稀疏性，但產業內已有多家公司致力於加速稀疏機器學習的硬體開發。例如，蘋果公司（Apple）在其A14與M1晶片中，已透過支援陣列指標存取模式，加速了非連續記憶體查找。Cerebras也展示其Cerebras’s...
AI運算深度仰賴雲端基礎設施 龐大資料處理成關鍵
商傳媒｜葉安庭／綜合外電報導人工智慧（AI）工具的運作模式，並非如外界想像般「憑空知曉」答案，而是必須透過大規模地蒐集、搜尋與組織各類資訊，才能針對提問提供回應。這項基本運作模式，使得AI發展與雲端運算基礎設施之間，存在著密不可分的關係。根據英國廣播公司（BBC）的報導，AI工具在生成任何答覆之前，都必須先進行龐大的資料處理工作。正如一位AI研究員在情境模擬中所言：「AI工具並非只是『知道』答案。」這強調了AI背後對資料擷取、儲存與運算能力的巨大需求。而網際網路（Internet）作為連結電腦與裝置的全球網路，其上的全球資訊網（World...
