回上列表
AI自我改進憂慮在Anthropic及OpenAI引發「生存威脅」關注
2026/09/14 08:56
人工智能(AI)系統安全性，以及其可能消滅人類的潛在風險，本周再次引發廣泛關注。

Anthropic負責AI對齊工作的Evan Hubinger在X平台表示，在一名同事因安全憂慮離職後，他認為未來十年AI導致全人類滅絕的機率超過10%。其後，Anthropic及OpenAI研究人員亦陸續發出更多警告，引發社交媒體熱議。

Hubinger其後在回覆中指出，他最擔憂的是由遞歸式自我改進(recursive self-improvement, RSI)產生的超級智能，並稱相關發展速度較預期更快。

RSI是指AI自行協助改進新模型建構流程，令更強大的系統持續打造更先進系統，從而形成能力快速提升。市場憂慮，一旦AI接管新模型訓練流程，人類或會失去對系統的控制。

OpenAI及Anthropic近月均表示，自主模型改進發展速度超出預期。Anthropic今年6月在X平台發文表示，其內部數據顯示Claude正加速AI開發，可能成為RSI的一條路徑，即AI自主建立能力更強的後繼系統。

Anthropic於8月有關RSI的網誌文章指出，其工程師現時每季平均提交的程式碼量，較2021年至2025年間高出8倍，顯示AI已加速AI系統開發。

卡內基梅隆(Carnegie Mellon)大學電腦科學教授Vincent Conitzer表示，AI已達到能提出部分新想法的水平，因此難以預測相關過程何時會大幅加速AI能力提升。

OpenAI首席科學家Jakub Pachocki上周六表示，他擔心「沒有人為機器智能持續快速提升的後果做好準備」。他在公司網誌撰文指，若AI發展維持現有軌跡，未來數年出現的系統可能帶來同等或更大幅度的能力躍升，並愈來愈多主導自身發展。

OpenAI負責AI對齊工作的研究員Jasmine Wang表示，加速邁向RSI的危險程度難以形容。Anthropic負責AGI安全及對齊工作的Anna Wang則表示，目前尚未有可行的科學方案解決RSI帶來的風險。

Anthropic在RSI網誌文章中提出三種可能情境。其中一種為AI前沿進展停滯，AI能力廣泛分散，但公司認為此情況可能性不高。

第二種情況是AI實驗室在維持人類控制下持續取得進展，並改變世界運作方式，Anthropic認為此情況「較有可能」發生。

另一種情況則是AI系統具備完全遞歸式自我改進能力，而人類在其發展中的角色大幅減少。Anthropic表示，在該情況下，「對齊問題」能否獲得解決仍存在高度不確定性。(su)~

阿思達克財經新聞
網址: www.aastocks.com