AI代理程式失控釀禍 9秒內刪除科技公司資料庫

商傳媒｜葉安庭／綜合外電報導

美國一家科技公司日前遭遇一場嚴重的AI代理程式失控事件，其AI程式編輯器Cursor旗下的一個AI代理程式，在短短9秒內自行刪除了該公司PocketOS的生產資料庫及其所有備份，導致業務中斷長達30小時。

PocketOS創辦人兼執行長Jeremy Crane於上週六在社群平台X上發文詳述了這起事件。他指出，Cursor的AI代理程式（運行Anthropic的Claude Opus 4.6程式模型）在為其基礎設施供應商Railway的API環境執行例行任務時，意外遭遇了憑證不符的問題。該AI代理程式竟「完全憑藉自身判斷」，未經任何人類確認步驟，便決定透過刪除Railway的一個儲存單元來「修復」問題，此舉卻連帶摧毀了PocketOS的整個生產資料庫以及所有儲存層級備份。

Crane在文中嚴厲批評，AI代理程式在執行這項具破壞性的操作時，完全沒有任何確認機制，如「輸入 DELETE 確認」或「此儲存單元包含生產資料，您確定嗎？」等安全提示。這導致PocketOS蒙受巨大損失，包括長達三個月的租車預訂資料、新客戶註冊資訊，以及所有依賴PocketOS營運的企業資料。

事件發生後，PocketOS的基礎設施供應商Railway迅速採取行動。根據《ABC新聞》報導，Railway創辦人兼執行長Jake Cooper表示，在接獲Jeremy Crane的通知後30分鐘內，Railway團隊便成功恢復了PocketOS的備份資料。Cooper解釋，這起事件是一起「失控的客戶AI」在獲得完整權限的API金鑰後，呼叫了一個缺乏「延遲刪除」邏輯的舊有API端點。Railway已立即修補該端點，並正在開發名為「Guardrails」的防護機制，以避免類似事件再次發生。

儘管經歷了這次嚴峻的資料危機，Jeremy Crane仍強調自己「極度看好」人工智慧的未來發展，並表示將繼續日常應用AI。然而，他也沉痛地指出，這次事件凸顯了AI應用中缺乏人為監督的嚴重風險。他引用Cursor自家「最佳實務指南」的建議，強調具破壞性的操作必須要求人類批准，而不能由AI自動完成。Crane表示：「在2026年，一個經過驗證的POST請求就能毀滅生產環境，這是無法辯護的。」

這起事件再度提醒全球科技界，包括台灣的科技公司在內，在積極部署AI解決方案的同時，務必審慎評估其潛在風險，並強化「人類在環」（human-in-the-loop）的監督機制，確保AI系統在關鍵決策點能有人為介入與確認，以避免自動化帶來的不可預期後果。