李飛飛親自撰文，數十名科學家簽署聯名信，反對加州AI限制法案

機器之心報導

編輯：張倩、小舟

AI真的已經危險到要如此監管的地步了嗎？

在創新的熱土矽谷，李飛飛、吳恩達等 AI 科學家正在與監管部門展開一場關於安全與創新的拉鋸戰。

這場拉鋸戰的核心是一個名叫 SB-1047 的法案。該法案的全稱是「Safe and Secure Innovation for Frontier Artificial Intelligence Act（《前沿人工智能模型安全創新法案》）」，試圖為高風險的 AI 模型建立明確的安全標準，以防止其被濫用或引發災難性後果。

該法案於今年 2 月份在參議院被提出，隨後引起了很大的爭議。很多科學家認為，法案的條款過於不合理，將對科技創新造成毀滅性的影響。

法案鏈接：https://leginfo.legislature.ca.gov/faces/billTextClient.xhtml?bill_id=202320240SB1047

具體來說，該法案旨在從模型層面對人工智能進行監管，適用於在特定計算和成本閾值之上訓練的模型。

模型覆蓋範圍如下：

1、使用超過 10^26 次整數或浮點運算的計算能力進行訓練的人工智能模型，其成本超過一億美元（100,000,000 美元），該成本是根據開發者合理評估的訓練開始時雲計算的平均市場價格計算得出的。

2、利用等於或大於 10^25 次整數或浮點運算三倍的計算能力，對範圍內的模型進行微調而創建的人工智能模型。

這一範圍基本覆蓋了現在市面上所有主流的大型模型。如果法案通過，這些模型都將被定義為存在「潛在危險」或需要額外監督。

法案還要求模型開發者對其模型的下遊使用或修改承擔法律責任。在訓練開始之前，開發人員需要證明他們的模型不會啟用或提供「危險功能」，並實施一系列保護措施來防止此類使用。這將阻礙開源社區的發展。

監督新法律執行的將是一個「前沿模型部門（frontier model division）」，這是一個新成立的監督和監管機構。該機構將製定安全標準並就人工智能法律提供建議，向該機構歪曲模型的功能可能會使開發人員因偽證而入獄。

法案中還加入了吹哨人保護條款，保護和鼓勵 AI 開發實體內部的舉報者，確保員工可以在不受報復的情況下報告企業的不合規情況。

如果法案獲得通過，州長 Gavin Newsom 的一個簽名就可以將其納入加州法律。a16z 普通合夥人 Anjney Midha 表示，如果這項法案在加州獲得通過，將為其他州樹立先例，並在美國國內外產生連鎖反應 —— 本質上對創新狀況帶來巨大的蝴蝶效應。

在太平洋夏令時間 8 月 7 日早晨，相關部門將舉行關於該法案的聽證會。留給科學家們的抗議時間已經不多了。因此，李飛飛親自撰文，陳明法案利害。還有些科學家正在簽署一封聯名信，以阻止法案通過。

李飛飛的文章發表在《財富》（Fortune）網站上。

李飛飛撰文抨擊 SB-1047

李飛飛在文章中表示：「加州的 SB-1047 將產生重大而意想不到的後果。如果通過成為法律，SB-1047 將損害正在萌芽的人工智能生態系統。SB-1047 將不必要地懲罰開發人員，扼殺開源社區，並阻礙人工智能學術研究，同時無法解決其旨在解決的真正問題。」

她寫道：

首先，SB-1047 將過度懲罰開發者並扼殺創新。如果人工智能模型被濫用，SB-1047 要求責任方和該模型的原始開發者承擔責任。每個人工智能開發人員（尤其是嶄露頭角的程序員和企業家）不可能預測到其模型的每種可能用途。SB-1047 將迫使開發人員退步並採取防禦行動 —— 這正是我們試圖避免的。

其次，SB-1047 將束縛開源開發。SB-1047 要求所有超過特定閾值的模型都包含「終止開關」，這是一種可以隨時關閉程序的機制。如果開發人員擔心他們下載和構建的程序會被刪除，他們在編寫代碼和協作方面就會更加猶豫。這個終止開關將摧毀開源社區，這是無數創新的源泉。其影響不限於人工智能領域，而是在從 GPS 到 MRI 到互聯網本身的各個領域。

第三，SB-1047 將削弱公共部門和學術人工智能研究。開源開發對於私營部門很重要，但對於學術界也至關重要。如果沒有協作和對模型數據的訪問，學術界就無法進步。如果我們的機構無法獲得適當的模型和數據，我們將如何培訓下一代人工智能領導者？終止開關甚至會進一步削弱學生和研究人員的努力，與大型科技公司相比，他們在數據和計算方面已經處於劣勢。當我們應該加倍加大公共部門人工智能投資時，SB-1047 將為學術人工智能敲響喪鍾。

最令人擔憂的是，該法案並未解決人工智能進步的潛在危害，包括偏見和深度偽造（deepfake）等等。相反，SB-1047 設置了一個任意閾值，調節使用一定計算能力或花費 1 億美元訓練的模型。這項措施遠非提供保障，只會限制包括學術界在內的跨部門創新。如今，學術人工智能模型低於這一門檻，但如果我們要重新平衡私營和公共部門人工智能的投資，學術界將受到 SB-1047 的監管。我們的人工智能生態系統將會因此而變得更糟。

SB-1047 的限制過於武斷，我們必須採取相反的做法。

我並不反對人工智能治理。立法對於人工智能的安全有效發展至關重要。但人工智能政策必須賦能開源開發，提出統一且合理的規則，並建立消費者信心。SB-1047 未達到這些標準。

數十位科學家聯名反對

針對 SB-1047，除了李飛飛，由加州大學 7 個校區的師生以及來自其他 20 多個機構的研究人員組成的團體也在積極行動。他們共同起草並簽署了一封反對 SB-1047 的公開信，從研究者的角度出發，陳述該法案對加州人工智能研究和教育目標的損害。

聯名信從以下幾方面展開論述 SB-1047 的不合理性：

1、法案會給開源模型的發佈帶來「寒蟬效應」，從而損害研究

法案中要求對「前沿模型」進行「安全審核」和具備「完全關閉」能力，可能會嚴重阻礙開源和開放權重模型的發佈。這些嚴格的規定對於私有實體控制的專有模型來說可能更易於實現，而對於非營利組織或大學聯盟使用的開放模型則較為困難。法案中關於安全展示和審核的條款表述不夠具體，依賴於可能尚未存在且可能缺乏科學嚴謹性的測試。這種審計的潛在成本對於有盈利產品的商業實體來說可能容易承擔，但對於像 Meta 的 LLaMA 系列這樣的商業實體的科學性開放發佈，或是由非營利組織或大學聯盟訓練的開放模型，情況可能並非如此。

由於這些繁瑣的限制，開源模型的開發者可能選擇在加州或美國之外構建系統，並在避免責任的前提下發佈其模型。在這種情況下，不顧合規的私人行為者可能會秘密使用這些模型，而受到公共工作性質約束的學術研究人員將被排除在外，這促使他們更改研究主題或轉移到不侵犯其學術自由的司法管轄區。開源模型的可獲取性對於現代學術 AI 研究至關重要，因為它們使學術界能夠探索模型的工作原理、訓練過程中的能力提升以及如何進行改進和破解。

2、人工智能風險預測與「能力」評估存在不科學性

作為人工智能、機器學習和自然語言處理領域的專家，這些研究者強調：SB-1047 中提到的評估模型風險的建議方法非常值得懷疑。科學界就語言模型或其他前沿人工智能系統是否以及如何對公眾構成威脅尚未達成共識。

3、對開源模型的保護不足

儘管法案提到未來可能對開源模型提供特例，但由於參數數量的快速增長和計算成本的降低，現有的保護措施可能難以持續。在沒有強有力的保護措施的情況下，這些模型面臨的後果可能很快就會顯現。此外，性能相當的小型模型相比大型模型需要更高的計算成本。因此，法案中的修正案預計無法緩解對開源模型發佈的負面影響，而嚴格的報告和審核要求還將不必要地影響研究活動。

4、對學生的就業安置和職業成果的擔憂

SB-1047 未來可能會阻礙對人工智能感興趣的學生進一步學習相關知識，甚至可能會阻止新人才進入計算機科學等關鍵領域。此外，隨著科技行業從大公司向初創公司的轉變，額外的監管障礙可能會通過支持更大、更好的企業來削弱新興創新者。這種轉變可能會縮窄學生的職業道路。

聯名信部分學者簽名。

除了公開信，還有一些研究者選擇在社交媒體發聲。其中，一位系統生物學家指出，SB-1047 就像在我們還不知道病原體是什麼、何時會感染我們以及感染會發生在哪裡之前就激活了炎症反應。

此前，吳恩達也多次就此事發聲。他認為，監管機構應該監管應用而不是技術。例如，電動機就是一項技術。當我們將其放入攪拌機、電動汽車、透析機或製導炸彈中時，它就成為了一種應用。想像一下，如果法律規定，當任何人以有害的方式使用電機時，電機制造商都要承擔責任。那電機制造商要麼停產，要麼將電機制造得非常小，以至於對大多數應用來說毫無用處。如果我們通過這樣的法律，可能會阻止人們製造炸彈，但我們也會失去攪拌機、電動汽車和透析機。相反，如果我們關注特定的應用，就可以更合理地評估風險並判斷如何確保它們的安全，甚至禁止某些類型的應用。