商傳媒｜葉安庭／綜合外電報導
雲端基礎架構供應商 DigitalOcean 昨日宣布，已在其 AI 原生雲平台（AI-Native Cloud）透過無伺服器推論（Serverless Inference）服務，提供月之暗面（Moonshot AI）所開發的多模態專家混合模型 Kimi K2.6。
Kimi K2.6 是月之暗面推出的開放權重多模態專家混合模型（Mixture-of-Experts, MoE），其總參數規模達 1 兆，激活參數為 320 億，擁有 384 個專家，每個權杖（token）選用 8 個專家，上下文長度高達 256K。該模型在 HLE-Full 智能代理基準測試中獲得 54.0 的分數，顯示其在複雜任務上的卓越能力。
此次整合最關鍵的轉變在於定價模式。傳統上以權杖計價的方式，在應對持續性、長週期智能代理工作負載時，已變得不再適用。由於智能代理工作負載和長週期執行模式，與單次完成任務的使用情境相比，其成本驅動因素已發生改變。
對於 MoE 架構而言，峰值記憶體和運算能力主要取決於專家被調度的方式及激活稀疏度，而非原始的參數數量。此外，長上下文視窗會增加記憶體壓力以及狀態管理的輸入/輸出（I/O）需求。長期運行的或背景智能代理（persistent or background agents）則更著重於持續運行時間，而非一次性提示的費用。
DigitalOcean 透過無伺服器推論服務提供 Kimi K2.6，徹底改變了開發者所面臨的採購與計價變數。這類無伺服器產品通常根據執行時間、併發性以及平台層級的擴展保障來定價，而非單純的權杖計價。對於開發或營運長週期智能代理的開發者而言，應密切監控代理的運行秒數、平均併發數、外部工具調用次數與延遲，以及狀態快照的大小和頻率，以便有效控制成本並優化營運。
這項變革對台灣 AI 開發者而言，意味著未來在託管與部署複雜 AI 模型時，將能更精確地評估與控制成本，特別是對於需要長時間運行或多模態處理的應用，有助於提升開發效率及應用普及。
相關新聞推薦
正在載入相關新聞…
