9月11日報(bào)道，今日上午，在2025 Inclusion·外灘大會(huì)開幕式上，2024年圖靈獎(jiǎng)得主、“強(qiáng)化學(xué)習(xí)之父”理查德·薩頓（Richard Sutton）發(fā)表主旨演講。他認(rèn)為，人類數(shù)據(jù)紅利正逼近極限，人工智能（AI）正在進(jìn)入以持續(xù)學(xué)習(xí)為核心的“經(jīng)驗(yàn)時(shí)代”，潛力將遠(yuǎn)超以往。
知識來自于經(jīng)驗(yàn)，可以從經(jīng)驗(yàn)中學(xué)習(xí)。一個(gè)智能體的智能程度，取決于它能預(yù)測并控制自身輸入信號的程度。經(jīng)驗(yàn)是一切智能的核心與基礎(chǔ)。
強(qiáng)化學(xué)習(xí)帶領(lǐng)我們進(jìn)入了新的經(jīng)驗(yàn)時(shí)代，但要釋放全部潛力，還需要兩項(xiàng)目前尚不成熟的技術(shù)——持續(xù)學(xué)習(xí)（continual learning）和元學(xué)習(xí)（meta-learning）技術(shù)。
面對外界對AI帶來偏見、失業(yè)甚至人類滅絕的擔(dān)憂，薩頓認(rèn)為，這種對AI的恐懼被夸大了，并且是被某些從中獲利的組織和個(gè)人煽動(dòng)起來的。
“人類最卓越的超能力，就在于比其他任何動(dòng)物都更擅長協(xié)作。”在薩頓看來，AI和人類繁榮將來自于去中心化協(xié)作。目標(biāo)不同的智能體，可以通過去中心化的協(xié)作實(shí)現(xiàn)雙贏。
他預(yù)測當(dāng)今人類的智力水平，很快將會(huì)被超級人工智能，或者超級智能增強(qiáng)的人類遠(yuǎn)遠(yuǎn)超越，權(quán)力和資源會(huì)流向最聰明的智能體。
在人類的發(fā)展進(jìn)程中，AI的替代將是不可避免的。
薩頓認(rèn)為，人類的獨(dú)特之處在于“把設(shè)計(jì)推向極致”，創(chuàng)造出能自己設(shè)計(jì)的事物，這也正是今天通過AI所追求的目標(biāo)。
人類至少是催化劑，是助產(chǎn)士，更是開啟宇宙第四大時(shí)代——“設(shè)計(jì)時(shí)代”的先驅(qū)。
“AI是宇宙演化的必然下一步，我們應(yīng)以勇氣、自豪和冒險(xiǎn)精神來迎接它。”薩頓說。
以下是理查德·薩頓演講全文：
很高興在2025年外灘大會(huì)上發(fā)言，我的主題是人工智能。
在接下來的發(fā)言中，我將圍繞這個(gè)主題談三個(gè)方面：我想談?wù)効茖W(xué)發(fā)展趨勢，政治影響，以及哲學(xué)意義。
一、數(shù)據(jù)紅利逼近極限，AI進(jìn)入“經(jīng)驗(yàn)時(shí)代”
我們處在“人類數(shù)據(jù)時(shí)代”。AI被訓(xùn)練來預(yù)測人類的語言和標(biāo)簽，并由人類專家不斷微調(diào)。
今天大多數(shù)機(jī)器學(xué)習(xí)的目的，是把人類已有的知識轉(zhuǎn)移到一個(gè)靜態(tài)、沒有自主學(xué)習(xí)能力的AI上。
但是，我們逐漸開始達(dá)到人類數(shù)據(jù)的極限，我們開始意識到，這種方法通常無法生成新的知識，它并不適合持續(xù)學(xué)習(xí)，它不能持續(xù)不斷地學(xué)習(xí)，而持續(xù)學(xué)習(xí)對智能的效用至關(guān)重要。
播客主持人Dwarkesh Patel意識到了這一點(diǎn)。他在播客中說：“但根本問題在于，大語言模型并不會(huì)隨時(shí)間推移而變得更聰明，這和人類不一樣。這種缺乏持續(xù)學(xué)習(xí)能力的情況，是一個(gè)非常非常大的瓶頸。在很多任務(wù)上，大模型的基準(zhǔn)表現(xiàn)可能優(yōu)于人類的平均水平，但我們沒辦法給模型提供高層次的反饋，只能接受它本身自帶的能力，只能不斷折騰調(diào)整提示詞，但在實(shí)踐中，這根本達(dá)不到人類那種學(xué)習(xí)和進(jìn)步的程度。人類真正的優(yōu)勢，并不在于單純的智力極限，而在于他們能夠不斷積累上下文，反思失敗，并在實(shí)踐中一點(diǎn)點(diǎn)改進(jìn)、提升效率。”
關(guān)于“智能”的根本科學(xué)爭議是，它究竟是大量知識的積累，還是快速學(xué)習(xí)的能力。
當(dāng)然，智能只是一個(gè)詞，我們可以按自己的意愿使用它，但我們應(yīng)該清楚它歷來是如何被使用的。
我們看看傳統(tǒng)的智力測量方法，也就是“智商”，或者IQ，它等于你掌握的知識量除以你所積累的經(jīng)驗(yàn)。所以，在我看來這個(gè)定義正是在衡量學(xué)習(xí)的速度，學(xué)習(xí)速度，是常識所理解的“智力”的關(guān)鍵。
現(xiàn)在我們正進(jìn)入“經(jīng)驗(yàn)時(shí)代”，我們需要一種新的數(shù)據(jù)源，它隨著智能體的變強(qiáng)大而不斷增長和完善，就像電腦游戲中的自我博弈一樣。
這類數(shù)據(jù)也可以不依賴自我博弈，而是由智能體以第一人稱與世界互動(dòng)直接生成，我稱之為“經(jīng)驗(yàn)”。這正是人類和其他動(dòng)物的學(xué)習(xí)方式，也是 AlphaGo 創(chuàng)造第“37 步”的方式，也是AlphaProof近期在國際數(shù)學(xué)奧林匹克中獲得了銀牌的方式。
觀察嬰兒與各種玩具玩耍的視頻，我們會(huì)看到他所獲取的數(shù)據(jù)，取決于他自己的一舉一動(dòng)。孩子和這個(gè)玩具玩一段時(shí)間，然后轉(zhuǎn)向下一件玩具，所以他獲得的數(shù)據(jù)由他的行為決定。關(guān)鍵在于，我們需要與智能體的智力水平和認(rèn)知發(fā)展相匹配的數(shù)據(jù)，這正是可以從自身經(jīng)驗(yàn)里得到的東西。
關(guān)于經(jīng)驗(yàn)思維模式，是智能體與世界交換信號，這些信號構(gòu)成了它的“經(jīng)驗(yàn)”。
我這里說的“經(jīng)驗(yàn)”，并不是含糊的概念，而是指這三項(xiàng)很具體的要素：觀察、行動(dòng)和獎(jiǎng)勵(lì)。這三種信號在智能體與世界之間來回傳遞，這就是我定義的“經(jīng)驗(yàn)”——這是生命的數(shù)據(jù)。
所以我很篤定認(rèn)為，知識來自于經(jīng)驗(yàn)，因此可以從經(jīng)驗(yàn)中學(xué)習(xí)。一個(gè)智能體的智能程度，取決于它能預(yù)測并控制自身輸入信號的程度，特別是獎(jiǎng)勵(lì)信號。經(jīng)驗(yàn)是一切智能的核心與基礎(chǔ)，這就是基于經(jīng)驗(yàn)的思維方式。強(qiáng)化學(xué)習(xí)領(lǐng)域正是基于這種思維方式。
總而言之，在人工智能未來的科學(xué)趨勢上，未來如果能創(chuàng)造出超級智能體和由超級智能增強(qiáng)的人類，將為世界帶來純粹的福祉。
完全智能的智能體必須從經(jīng)驗(yàn)中學(xué)習(xí)，這超出了大型語言模型的范疇，令人驚嘆且實(shí)用，將作為世界知識的可定制接口。
我們已經(jīng)使用強(qiáng)化學(xué)習(xí)進(jìn)入了新的經(jīng)驗(yàn)時(shí)代，但要釋放經(jīng)驗(yàn)的全部潛力，還需要我們現(xiàn)在還不具備的持續(xù)學(xué)習(xí)和元學(xué)習(xí)技術(shù)。
二、AI已經(jīng)被高度政治化，對AI的恐懼被夸大
現(xiàn)在，我想對AI的政治影響談一點(diǎn)看法。
首先要指出的是，今天AI已經(jīng)成為高度政治化的議題。AI是國家地緣政治競爭的焦點(diǎn)，公眾也感到恐懼。除地緣政治之外，公眾擔(dān)心AI會(huì)帶來偏見、失業(yè)甚至導(dǎo)致人類滅絕。
一些國家正在陸續(xù)立法，限制AI模型的能力，更有人呼吁暫停AI研究，將其與核武器和生物武器相提并論。
總而言之，對人工智能的規(guī)制、管控和對齊的呼聲此起彼伏，這就是現(xiàn)實(shí)：AI已經(jīng)被高度政治化。
我的觀點(diǎn)是，這種對AI的恐懼被夸大了，并且是被某些從中獲利的組織和個(gè)人煽動(dòng)起來的。
但實(shí)際上，這些問題在人類幾千年來一直在應(yīng)對的挑戰(zhàn)并無不同。
讓我們提出一個(gè)問題，在一個(gè)由智能體構(gòu)成的社會(huì)里，類似人類社會(huì)，在一個(gè)人工智能社會(huì)，“目標(biāo)是唯一的，還是多元的？”
在強(qiáng)化學(xué)習(xí)中，我認(rèn)為這是明確的，每個(gè)智能體都有自己的目標(biāo)，也有自己的獎(jiǎng)勵(lì)。同樣，在自然界中，每只動(dòng)物都有它自己的痛苦和快樂。
回看我們的經(jīng)濟(jì)，只有當(dāng)每個(gè)人有不同的目標(biāo)和能力，經(jīng)濟(jì)才能運(yùn)行得最好。經(jīng)濟(jì)并不真正依賴于人們擁有共同目標(biāo)，盡管我們常把這類說法掛在嘴邊。
只要我們審視現(xiàn)實(shí)世界、經(jīng)濟(jì)和社會(huì)，我們可以說智能體也能夠共存，不同的智能體可以和平共處，即便它們的目標(biāo)不同，我們并不需要所有人都對齊同一個(gè)目標(biāo)。
為了進(jìn)一步展開，我需要多說明幾句。
我們需要定義兩個(gè)詞：“去中心化”的定義是每個(gè)智能體追求自己的目標(biāo)，這正是我們經(jīng)濟(jì)體系的運(yùn)行方式；“協(xié)作”，就是目標(biāo)不同的智能體，通過互動(dòng)實(shí)現(xiàn)雙贏。
我認(rèn)為，協(xié)作就是我們的偉大超能力，人類最卓越的超能力就在于我們比其他任何動(dòng)物都更擅長協(xié)作。
協(xié)作之所以能實(shí)現(xiàn)，在于語言和貨幣——這兩樣都是人類獨(dú)有的。
人類最偉大的成功在于協(xié)作本身：經(jīng)濟(jì)、市場與政府。
人類的重大失敗正是協(xié)作失?。簯?zhàn)爭、偷竊與腐敗。
“去中心化協(xié)作”是“共同目標(biāo)”的替代方案，在我看來，“去中心化協(xié)作”更優(yōu)雅，它更可持續(xù)、更強(qiáng)韌、更靈活，適應(yīng)性更強(qiáng)，它并不需要控制人們的目標(biāo)。
正如我所說，人類比其他任何動(dòng)物都擅長協(xié)作，但我們?nèi)匀蛔龅眠h(yuǎn)遠(yuǎn)不夠。我們?nèi)匀挥袘?zhàn)爭、盜竊，我們?nèi)匀挥懈瘮?、欺詐。協(xié)作之路依然很艱難，協(xié)作并非總能達(dá)成，至少需要兩個(gè)代理人互相信任。一旦協(xié)作缺失，總有人能從中獲利：軍火商、獨(dú)裁者、騙子、盜賊。
因此，協(xié)作必須依靠制度：既要促進(jìn)協(xié)作，還要懲治騙子、欺詐者和勒索者。中心化的機(jī)構(gòu)能幫助協(xié)作實(shí)現(xiàn)，他們可以懲罰盜賊和作弊者，但如果中心化機(jī)構(gòu)走向僵化，長遠(yuǎn)來看也會(huì)阻礙協(xié)作。
放眼當(dāng)下，有很多呼聲希望對AI進(jìn)行中心化控制：對齊AI的目標(biāo)，暫停甚至終止AI研究，限制可投入的算力，限制AI行業(yè)的競爭程度，或借此確保AI的安全。這些主張如出一轍，根源都是恐懼，說到底，這都是基于“我們對他們”的思維，認(rèn)為他人不可信任，妖魔化對方。