剛剛Sam altman 接受YC CEO 采訪,說AI的發(fā)展已經(jīng)超出了大家的想象,通往 AGI 的道路現(xiàn)在已經(jīng)清晰可見,OpenAI實際上知道該怎么做,許多人認為Sam altman擅長炒作,認為這次訪談Sam采訪一些言論又是炒作,但是OpenAI研究科學家 Noam Brown給與了駁斥:我聽說有人說Sam 只是在炒作,但在我看來,他所說的一切都與 @OpenAI 研究人員在現(xiàn)場的觀點相吻合
采訪要點摘要
-
關(guān)于2025年的展望:Sam Altman 預計通用人工智能(AGI)將在2025年實現(xiàn)。同時,他也提到即將迎來他的第一個孩子(是領(lǐng)養(yǎng)還是AGI?)。Sam Altman 的原話是:“大約在2025年,接下來會發(fā)生什么?AGI,對此我很興奮。還有什么讓我更興奮的嗎?我們即將有一個孩子,這比任何事情都讓我更加激動。這是我一生中最期待的事情?!?/span>
-
創(chuàng)業(yè)的新機遇:Sam Altman 指出,只要有一個人加上1萬塊GPU,就有可能創(chuàng)建一家價值數(shù)十億美元的公司。這表明了AI技術(shù)的巨大潛力和相對較低的入門門檻。
-
通往AGI的道路:Sam Altman 認為,目前通往AGI的道路已經(jīng)非常清晰,“我們現(xiàn)在確實知道該怎么做”。他表示,實現(xiàn)“第四級創(chuàng)新AI”比他最初設(shè)想的要容易得多,并且進展將比當前人們的預期快得多。
-
深度學習的突破:Sam Altman 將深度學習中的涌現(xiàn)現(xiàn)象視為一項基礎(chǔ)性突破,類似于發(fā)現(xiàn)元素周期表中的新元素。他認為,AI的成功很大程度上歸功于對擴展其規(guī)模的堅定信念。
-
未來的能源與智能:展望未來,當智能和能源都極其豐富時,物理學中的所有難題都將迎刃而解。屆時,人們將不再討論如何利用核聚變或太陽能為AI供電,而是考慮通過戴森球(Dyson Sphere)來實現(xiàn)能源供給。
目錄:
? Sam 是如何進入 YC 的
? YC 研究的初期歷程
? 凝聚第一支 OpenAI 團隊
? 擴展規(guī)模為何曾被視為異端
? 信念的力量
? GPT-4 的商業(yè)化之路
? Sam 創(chuàng)立 Loopt 的初衷
? 平臺變革中的經(jīng)驗教訓
? 科技巨頭對 AI 的進展一無所知
? Sam 推薦的創(chuàng)業(yè)路徑
? 對 OpenAI 風波的回顧
? 目前創(chuàng)業(yè)公司基于現(xiàn)有模型的創(chuàng)新實踐
? 給早期創(chuàng)業(yè)者的建議及最終思考
采訪全文:
如何構(gòu)建未來:Sam Altman (YC總裁兼首席執(zhí)行官 Garry Tan 與 OpenAI首席執(zhí)行官 Sam Altman 的對話)
導語:現(xiàn)在是創(chuàng)業(yè)的最佳時機嗎?(Intro: Is this the best time to start a tech company?)
Garry Tan:Sam Altman,感謝你今天來到這里。這是你幾年前開始的系列節(jié)目“如何構(gòu)建未來”的重啟版,歡迎回來。我們來談談你最新發(fā)表的關(guān)于智能時代的文章。現(xiàn)在是創(chuàng)業(yè)的最佳時機嗎?
Sam Altman:至少說是迄今為止最好的時機,希望未來還有更好的時機。我認為,每一次重大的技術(shù)革命都會帶來更多的可能性,我希望未來的公司能夠更加卓越,在各方面都更有影響力。所以,我認為現(xiàn)在是最佳時機。在大環(huán)境相對穩(wěn)定,變化緩慢的時候,大公司更有優(yōu)勢。但當出現(xiàn)像移動互聯(lián)網(wǎng)、互聯(lián)網(wǎng)、半導體革命,或者工業(yè)革命時期那樣的劇變時,新興企業(yè)的機會就來了。所以,現(xiàn)在這個時代令人興奮,因為我們已經(jīng)很久沒有經(jīng)歷過這樣的變革了。
在你的文章中,你提出了一個非常大膽的預測:ASI(超級人工智能)距離我們只有幾千天的時間了。
Sam Altman:也許吧,這是我們的希望,也是我們的猜測。但這確實是一個非常瘋狂的論斷。我預想我們目前的工作會不斷積累成果,過去三年我們?nèi)〉玫倪M展速度如果能在接下來的三年、六年、甚至九年里持續(xù)下去,那這個系統(tǒng)將擁有極強的能力。我認為,即使是像GPT-4這樣的系統(tǒng),在某些特定領(lǐng)域,完成一些封閉式、定義明確的任務時,已經(jīng)展現(xiàn)出了很高的原始認知智商。GPT-4 真的很聰明,但我認為我們離進步的極限還很遠。架構(gòu)上的轉(zhuǎn)變的確釋放了巨大的潛力。我的理解是,這些能力會持續(xù)復合增長。我們可能會遇到一些意想不到的障礙,或者我們可能會遺漏一些東西,但我們相信,未來還有很大的復合增長空間。這篇文章可能是我見過的最樂觀的技術(shù)展望之一了。我們可以期待的事情有很多,例如:改善氣候、建立太空殖民地、發(fā)現(xiàn)所有物理規(guī)律、近乎無限的智能和豐富的能源。我認為所有這些,以及更多我們現(xiàn)在甚至無法想象的事情,可能并不遙遠。我一直以來最欣賞 YC 的一點是,它鼓勵人們保持一種(一定程度上看起來有點不切實際的)技術(shù)樂觀主義,并相信你能夠解決問題。在一個總是告訴人們“這行不通”、“你做不到”的世界里,YC 早期鼓勵創(chuàng)始人敢想敢干的精神彌足珍貴。
豐富的能源似乎至關(guān)重要。如果我們能夠?qū)崿F(xiàn)能源自由,那幾乎所有工作,不僅僅是腦力勞動,還包括體力勞動,都可以通過機器人技術(shù)、語言和觸手可及的智能來完成,這將是一個真正的解放。我認為這是我們想要的一切的關(guān)鍵要素。當然還有很多其他重要因素,但如果我們能夠獲得真正的智能和能源的極大豐富,我們就能在世界上創(chuàng)造更多,比如更快地想出更好的主意,并把它們在現(xiàn)實世界中實現(xiàn)。更不用說運行大量的AI也需要能源。我認為這將是一個巨大的突破。我不確定這一切是否會同時發(fā)生,或者這僅僅是技術(shù)進步速度加快帶來的必然結(jié)果,但這無疑是一個激動人心的時代,也是創(chuàng)業(yè)的黃金時代。
我們假設(shè)一下,在這個物質(zhì)極大豐富的時代,機器人可以制造任何東西,幾乎所有的體力勞動都可以被取代,物質(zhì)的進步將惠及所有人,而不僅僅是最富有的人。如果我們無法獲得無限的能源會怎樣?如果某些物理定律限制了我們怎么辦?
Sam Altman:太陽能加儲能技術(shù)的發(fā)展勢頭良好,即使我們沒有在核能方面取得重大突破,情況也不會太糟。但可以肯定的是,降低能源成本、提高能源的豐富程度,將直接影響生活質(zhì)量。最終,我們會解開所有物理謎題,所以我們一定會解決能源問題,只是時間早晚的問題。也許未來,我們討論的將不再是核聚變,而是戴森球,那也很酷。無論我們現(xiàn)在覺得能源多么豐富,對我們的后代來說都遠遠不夠,宇宙浩瀚,物質(zhì)無限。
Sam 如何加入 YC(How Sam got into YC)
Garry Tan:我想稍微換個話題,聊聊你早年間提到的 Paul Graham,他把我們凝聚在一起,創(chuàng)立了 Y Combinator。他喜歡講你是如何加入 YC 的故事:當時你還是斯坦福大學的一名新生。他說,那是2005年,YC 的第一期,他說,你才大一,YC以后還會招生,你應該等等。而你說,我是大二學生,我要加入。在我們的社群里,你被公認為是最厲害的人之一,你覺得這是什么原因呢?
Sam Altman:如果那段歷史能漸漸被淡忘,我會很高興的。但現(xiàn)在,它已經(jīng)被永遠記錄在這里了。我對這件事的記憶是,有一天我需要重新安排面試時間,PG想讓我明年再來,然后我說了類似“我是大二學生,我就要來”這樣的話,語氣可能更委婉一些。但你知道,這些事情的流傳過程中總會有些添油加醋。有趣的是,我并不認為自己很厲害,事實上,在很多方面我都不是。我確實有點“打破常規(guī)”的思維方式:我不明白為什么事情必須是那樣,所以我會去做我認為從根本上來看是可行的事情。我以前一直對這種想法感到有點奇怪,后來我發(fā)現(xiàn) YC 最棒的一點,也是我現(xiàn)在仍然非常重視 YC 的一點是,它聚集了一群“不走尋常路”的人,他們都只想做自己想做的事情。這部分內(nèi)容倒是很符合我的自我認知:在很多時候,你都可以放手去做,放手去嘗試。在 YC,我,以及我們很多人都發(fā)現(xiàn),周圍的人都相信這一點。當我試圖弄清楚YC 的特別之處時,我想到的是:有一位非常了不起的人告訴你,“你可以做到,我相信你!” 作為一個年輕的創(chuàng)始人,這感覺非常特別,也非常鼓舞人心,當然事實也的確如此。但我直到很久以后才明白,更重要的是,周圍有一群和你一樣在努力的同伴。我現(xiàn)在會給年輕人的一個最重要的建議就是:盡早找到你的同伴群體,這對我來說非常重要。我以前沒有意識到它的重要性,我以為我可以單打獨斗,但后來我發(fā)現(xiàn),周圍都是積極向上、充滿斗志的同伴,是多么難能可貴。
有趣的是,我們倆都在斯坦福大學待過一段時間。我最終畢業(yè)了,我可能不應該這樣做,但我還是畢業(yè)了。
Sam Altman:斯坦福大學很棒,你選擇了回報更高的輟學之路。那個社群也鼓勵大家積極進取,但和一群充滿激情的創(chuàng)始人在一起,那種感覺完全不一樣,我當時非常驚訝。我正想說同樣的事情。我很喜歡斯坦福,但我感覺周圍缺少能激勵我變得更好、更有野心的人。那時,我和我的同學們競爭的是去哪家投行實習,現(xiàn)在想起來真讓人尷尬。這就是同伴的力量。在感受過 YC 的氛圍之后,我毫不猶豫地選擇了輟學。
榮格有句名言我很喜歡:“世界會問你是誰,如果你不知道,它會告訴你?!?看來,盡早明確你想成為什么樣的人,以及你想和誰在一起,至關(guān)重要。
Sam Altman:這絕對是我的一大收獲,至少對我自己而言,沒有人能完全避免同伴的影響,所以你能做的就是選擇優(yōu)秀的同伴。
YC Research 的早期(The early days of YC Research)
Garry Tan:我們來聊聊你早年在 YC Research 的經(jīng)歷吧。你在 YC Research 做的實驗,給 YC 帶來了一些很酷的東西。我記得你回到合伙人房間,和我們談論你和 Laurent Sergèse 等世界級專家一起參加的會議,那時,人工智能是熱門話題,因為它感覺離我們很近,但那已經(jīng)是 10 年前了。
Sam Altman:我一直覺得,管理一個研究實驗室會是最酷的退休生活。當我們開始討論 YC Research 時,它并不僅僅關(guān)注人工智能。它最終資助了很多不同的項目,我希望我能講一個故事,比如,“很明顯,人工智能會成功,會成為改變世界的力量”,但實際上,我們也嘗試了很多失敗的項目。大約在那個時候,我讀了幾本關(guān)于施樂帕克和貝爾實驗室歷史的書,我記得當時硅谷的很多人都在討論,我們需要重新?lián)碛袕姶蟮难芯繉嶒炇遥矣X得這很酷。這和 YC 的運作方式有點類似:你把資金分配給聰明的人,有些項目會成功,有些則不會,我只是想嘗試一下。人工智能確實經(jīng)歷過一段短暫的熱潮,大概是在 2014 年底、2015 年、2016 年初,當時大家都在討論超級智能,《超級智能》這本書出版了,DeepMind 取得了一些令人矚目的成果,但方向略有不同。我一直是人工智能的狂熱愛好者,所以我想,能參與其中一定很酷,但很難說時機是否成熟。ImageNet 已經(jīng)發(fā)布了。
它已經(jīng)發(fā)布一段時間了,所以你可以用它來識別是不是熱狗。
Sam Altman:有時候可以。它已經(jīng)很接近了。
組建第一支 OpenAI 團隊(Getting the first OpenAI team together)
Garry Tan:你是如何確定你想讓哪些人加入 YC Research 和 OpenAI 的呢?Greg Brockman 很早就加入了。
Sam Altman:回想起來,感覺就像電影蒙太奇,就像《壯志凌云》里招募飛行員的經(jīng)典橋段,你到處尋找合適的人,然后他們說:“算我一個!” 我聽說 Ilya Sutskever 非常聰明,然后我看了他的一些視頻,他現(xiàn)在仍然非常聰明,是一位真正的天才和有遠見的人,而且他個人魅力十足。我看了他在 YouTube 上的視頻后,就想認識他。我給他發(fā)了郵件,但他沒有回復,所以我去參加了他演講的一個會議,我們見了面,之后我們開始深入交流,然后是 Greg,我從 Stripe 早期就認識他。
那次談話是什么樣的?是“我非常喜歡你關(guān)于人工智能的想法,我想建立一個實驗室”嗎?
Sam Altman:回想起來,一件非常成功的事情是,我們從一開始就確定了AGI(通用人工智能)的目標,而當時在業(yè)內(nèi),你甚至不能談論這個目標,因為它聽起來太瘋狂了,近乎癡人說夢。所以這立即引起了 Ilya 的注意,也吸引了所有優(yōu)秀年輕人的注意,當然,也引來了不少老前輩的嘲笑。不知何故,我覺得這是一個好兆頭,它預示著某種強大的力量。我們當時是一群烏合之眾,我的年齡是最大的,大概 30 歲,所以當時大家覺得我們這群不負責任的年輕人什么都不懂,凈說些不切實際的話。但那些真正感興趣的人,我想和那些會說“我是大二學生,我就要加入”的人是一類人。他們會說:“讓我們放手一搏吧!” 所以我們一個接一個地見了很多人,也以不同的組合方式見了面,這個過程斷斷續(xù)續(xù),但在大約九個月的時間里,團隊逐漸成型,然后一切就開始了。關(guān)于 OpenAI,我最美好的回憶之一是,由于 Ilya 和 Google 之間的一些原因,我們不能在 2015 年 12 月宣布成立時就開始運營,但我們可以在 2016 年 1 月開始。所以在 2016 年 1 月 3 日左右,假期結(jié)束后,我們大概 10 個人去了 Greg 的公寓。我們坐在一起,感覺我們完成了一件偉大的事情,一切都準備就緒了。每個人都在問:“接下來我們該做什么?” 這是一個多么偉大的時刻!它讓我想起創(chuàng)業(yè)者千辛萬苦融到資后的感覺:他們覺得,"哦,我們成功了!" 但隨后,他們會坐下來思考:“現(xiàn)在我們得想想怎么做了?!?這不是開香檳慶祝的時候,而是發(fā)令槍響的那一刻,比賽開始了。
Sam Altman:你根本不知道比賽會有多艱難。我們花了很長時間才弄清楚我們要做什么。但真正讓我佩服的是,尤其是 Ilya,以及所有早期成員,盡管我們走了很多彎路才走到今天,但我們最初的想法在大方向上是無比正確的。在 Greg 公寓的白板上,我們寫下了最初的想法,然后我們嘗試了很多不同的方向,有些成功了,有些失敗了,最終我們打造出了現(xiàn)在的這個系統(tǒng)?;剡^頭來看,我們從起點走到今天,經(jīng)歷了如此多的曲折,但最終我們還是到達了最初的目標,這感覺非常奇妙,非常不可思議。
最初的白板上寫的是深度學習嗎?
Sam Altman:比那更具體一些,是“訓練一個大型的無監(jiān)督模型,然后解決強化學習問題”。這是我們很早以前一次非正式會議上寫在白板上的內(nèi)容,我相信是這樣。最初,我們?yōu)檫@個項目設(shè)定了三個目標:研究如何實現(xiàn)無監(jiān)督學習,解決強化學習問題,以及團隊規(guī)模永遠不超過 120 人。第三個目標沒有實現(xiàn),但前兩個目標的方向非常正確。
為什么擴大規(guī)模曾被認為是異端邪說(Why scaling was considered heretical )
Garry Tan:所以是深度學習,然后第二個重要的方向聽起來像是“擴大規(guī)?!?。當時,認為可以通過擴大規(guī)模來改進模型的想法被視為異端邪說,甚至讓人覺得不可思議。我記得你們當時受到了很多批評。
Sam Altman:我們當時的核心理念是:深度學習是有效的,并且會隨著規(guī)模的擴大而變得更好。這在當時是相當離經(jīng)叛道的觀點。我們當時并不知道,模型的性能會隨著規(guī)模的擴大而以如此可預測的方式提升,這是幾年后才發(fā)現(xiàn)的。最初只是一種直覺,后來我們才用數(shù)據(jù)證明了這種直覺是多么的準確。但人們其實已經(jīng)知道,如果神經(jīng)網(wǎng)絡更大,性能就會更好。
這就像… 我現(xiàn)在仍然覺得不可思議,就像是一種近乎宗教信仰般的信念:它會不斷改進。每個人都覺得我們瘋了,“它不是真正的學習,它不是真正的推理,它做不到,它只是個小把戲”。這些批評來自該領(lǐng)域的權(quán)威人士,他們不僅僅是說你錯了,他們還會說,你的想法很危險,會帶來很壞的影響。他們認為,"你這樣下去會導致人工智能的寒冬,你會毀掉這個領(lǐng)域"。但我們只是看著結(jié)果,然后說:“它一直在變好。” 然后我們得到了規(guī)?;膶嶒灲Y(jié)果。即使是現(xiàn)在,我仍然覺得這有點反直覺。但到了某個時刻,你只能看著規(guī)模化帶來的損失,然后說:“我們還得繼續(xù)擴大規(guī)模?!?這也是我們認為它會繼續(xù)改進的原因。那時,我們也開始意識到,學習是一種神奇的涌現(xiàn)現(xiàn)象,它非常重要,即使我們不了解所有的細節(jié),很顯然我們當時不了解,現(xiàn)在也不完全了解,但我們知道,某種根本性的東西正在發(fā)生。
PG 用了一個很形象的比喻:我們發(fā)現(xiàn)了元素周期表中的一個新元素。
Sam Altman:所以我們真的很想深入研究這個方向,而我們的資源遠不如 DeepMind 和其他公司,所以我們說,好吧,他們會嘗試很多方向,我們只能選擇一個,然后全力以赴,只有這樣我們才能勝出。這是典型的創(chuàng)業(yè)公司思維。所以我們說,好吧,我們不知道我們不知道什么,但我們知道這個方向是可行的,所以我們就要集中所有資源在這個方向上。我認為其他一些團隊過于追求技巧,而我們只是腳踏實地,一步一個腳印地前進。
我對規(guī)模效應一直很感興趣,它對一切事物都有涌現(xiàn)性的影響,對創(chuàng)業(yè)公司、深度學習模型,以及其他很多事物都是如此。我認為這是一個被嚴重低估的因素,也是一個值得追求的方向。我認為,如果你發(fā)現(xiàn)某件事物會隨著規(guī)模的擴大而改進,你就應該繼續(xù)擴大規(guī)模。人們總是說“少即是多”,但實際上,很多時候“多即是多”。
Sam Altman:“多即是多”。我們相信這一點,我們也這樣做了。關(guān)于 OpenAI,有一點可能沒有被大家充分理解:即使在我們默默無聞的時候,我們也擁有一支極其優(yōu)秀的研究團隊。如果你擁有世界上最聰明的人才,你就能推動任何事情的發(fā)展。
而且他們動力十足,而且你創(chuàng)造了一個讓他們可以心無旁騖地追求目標的環(huán)境。我聽說,即使在今天,獲取足夠的計算資源也極其困難。當時,一些業(yè)內(nèi)前輩批評你們,認為你們是在浪費資源,這會導致人工智能的寒冬,人們將不再愿意投入資源。
Sam Altman:有趣的是,人們總是擔心我們會浪費資源,或者認為我們投入太多資源是不道德的,你應該把資源分散到多個方向上,而不是像我們這樣“把所有雞蛋放在一個籃子里”。世界上大多數(shù)人仍然不理解孤注一擲、堅定信念的價值所在。所以我們說,好吧,我們有證據(jù),我們相信這個方向,我們就要這樣做,而當時的普遍做法是,把資源分散到多個不同的方向上。你是一個不折不扣的樂觀主義者,在很多成功的 YC 創(chuàng)業(yè)公司身上,你都能看到這種特質(zhì)。
這似乎沒錯,當全世界都在質(zhì)疑你,而你堅信自己是對的,你就應該堅持下去。
Sam Altman:完全正確。我很感激在創(chuàng)業(yè)過程中學到的東西之一就是:你會一次又一次地看到這種情況。在加入 YC 之前,我曾天真地認為,世界上一定有那么一些“大人”在掌控全局,他們知道所有答案。如果有人反對你,他們很可能比你更了解情況。但 YC 讓我明白,其實根本沒有所謂的“大人”,沒有人知道所有答案。
信念的力量(Conviction can be powerful )
Sam Altman:僅僅為了信念而堅持,如果你錯了又不愿意調(diào)整方向,不愿意探尋真相,那信念就毫無價值。我們努力做到的是,始終相信實驗結(jié)果,始終關(guān)注眼前的事情。我們也曾經(jīng)在很多事情上非常堅定,但最終證明我們是錯的。一旦我們意識到錯誤,我們就會迅速調(diào)整方向。信念很強大,直到你得到新的數(shù)據(jù)。但很多人即使在得到新數(shù)據(jù)后仍然固執(zhí)己見,所以這是一個迭代的過程,不是簡單的“他們錯了,我是對的”,你必須證明你的觀點。但在很長一段時間里,你必須在沒有數(shù)據(jù)的情況下依靠信念前行。
聽起來,這也需要你專注于特定方向。就像你必須做出選擇,而這個選擇最好是… 你知道,你的選擇不是無限的,所以確定優(yōu)先級本身就是一個讓你更有可能成功的練習。
Sam Altman:我希望我能告訴你:“哦,我們早就預料到了一切,我們從一開始就有了語言模型的想法,我們直接就走上了這條道路?!?但顯然,OpenAI 的故事是我們嘗試了很多不同的方向,有些幫助我們積累了科學的理解,但我們并沒有走捷徑。如果我們當時知道我們現(xiàn)在知道的事情,我們本可以更快地到達今天的階段。但現(xiàn)實世界不是游戲,你不可能每次都猜對。所以我們最初做了很多假設(shè),關(guān)于技術(shù)方向的假設(shè),關(guān)于公司形態(tài)的假設(shè),關(guān)于 AGI 發(fā)展路徑的假設(shè),等等。我們經(jīng)歷過很多次的失敗和挫折。但我們的優(yōu)勢之一就是:百折不撓,永不放棄。這不僅體現(xiàn)在科學研究上,也體現(xiàn)在我們對世界如何運作以及產(chǎn)品形態(tài)的理解上。再一次,我不知道,也許 Alec Radford 知道,但我當時并不知道語言模型會成為關(guān)鍵。你知道,我們一開始研究的是機器人、智能體、電子游戲等等,然后幾年后,GPT-3 出現(xiàn)了。
這在當時并不明顯。
Garry Tan:我感覺,在 GPT-1 之前,甚至更早的時候,關(guān)于正負情緒的關(guān)鍵洞見就出現(xiàn)了。
Sam Altman:在 GPT 之前,哦,在 GPT 之前,那篇論文的標題好像是“無監(jiān)督情緒神經(jīng)元”。我認為那是 Alec Radford 獨立完成的,順便說一句,Alec 是個天才。他完成了一項不可思議的工作,他觀察到,有一個神經(jīng)元在生成亞馬遜評論時,會根據(jù)情緒的正負而發(fā)生變化。我想其他研究人員可能會大肆宣傳,但你知道,Alec 很低調(diào),所以人們花了一段時間才意識到這項工作的重要性。然后他開發(fā)了 GPT-1,其他人把它擴展成了 GPT-2,但這一切都源于他對情緒神經(jīng)元的洞察。
當時,無監(jiān)督學習的效果并不好。
Sam Altman:所以他發(fā)現(xiàn)了這個非常有趣的現(xiàn)象:有一個神經(jīng)元會隨著情緒的正負而發(fā)生變化。是的,這最終催生了 GPT 系列模型。
GPT-4 的商業(yè)化(Commercializing GPT-4)
Garry Tan:Casetext 的 Jake Heller,也是 YC 的校友,他獲得了 GPT-3.5 和 GPT-4 的訪問權(quán)限,他把使用 GPT-4 的體驗描述為一個重要的頓悟時刻,因為 GPT-3.5 仍然會… 是的,我的意思是,它生成的文本中存在很多“幻覺”,不適合在法律場景中使用。但 GPT-4 就不一樣了,如果他把提示詞分解成足夠小的工作流,就能讓它完全按照他的意愿執(zhí)行任務。他圍繞 GPT-4 構(gòu)建了大量的測試用例,然后以 6.5 億美元的價格把公司賣掉了。所以我認為他是最早將 GPT-4 成功商業(yè)化的案例之一。
Sam Altman:我記得和他聊過這件事。GPT-4 的發(fā)布,讓我真正感覺到了,我們手中掌握了一些非同凡響的東西。當我們最初嘗試向創(chuàng)業(yè)者推銷 GPT-3 時,他們會說:“它很酷,很神奇,演示效果也很棒,但除了寫文案,它好像沒什么實際用途。” 然后 GPT-3.5 發(fā)布了,YC 的一些創(chuàng)業(yè)公司開始用它做一些有趣的事情,我們終于不用再費力地推銷了,人們開始主動購買我們的產(chǎn)品了,這感覺很棒。然后是 GPT-4,我們當時的想法是:“給我更多的 GPU!” 是的,在 GPT-4 發(fā)布后不久,我們就感受到了市場的熱情。所以我們覺得,我們真的做出了好東西。
所以你從用戶那里得到了反饋,完全正確,當模型發(fā)布,你親自體驗后,你感覺它更好了。
Sam Altman:我們自己也對它印象非常深刻。我們做了大量的測試,結(jié)果都非常好,它能做的事情讓我們都感到驚訝。而且,當我們自己試用它,并得到結(jié)果時,我的感覺是:“哇,它現(xiàn)在居然可以做到這一點了!” 它可以押韻,可以講笑話(雖然不算太好笑),可以做很多事情。所以我們當時很興奮,但你知道,在你把產(chǎn)品交給用戶之前,你永遠無法確定它是否真的成功。你總是會對自己的作品過于樂觀。是的,所以我們都很激動,覺得它很棒,但在經(jīng)過真正的測試之前… 是的,真正的測試是用戶的使用體驗。所以在那之前,我們總是會有些焦慮,直到那一刻真正到來。
是什么吸引 Sam 創(chuàng)建了 Loopt(What drew Sam to create Loopt)
Garry Tan:我想換個話題,在你創(chuàng)立 OpenAI 之前,你在 19 歲時在 YC 創(chuàng)建了一家名為 Loopt 的公司,它基本上就是“查找我的朋友”的地理位置功能,可能比蘋果推出類似功能早了 15 年。
Sam Altman:太早了。是的,是什么讓你想到這個主意的?
Sam Altman:我對手機很感興趣,我想做一些基于手機的應用。當時,移動設(shè)備剛剛興起,距離 iPhone 發(fā)布還有三四年的時間,但很明顯,口袋里的電腦將會改變世界。我的意思是,現(xiàn)在很難想象,曾經(jīng)有一段時間,手機真的只是用來打電話的。是的,我的意思是,我現(xiàn)在幾乎從不用它打電話。我還記得我擁有的第一部可以上網(wǎng)的手機,那是一個非常簡陋的,主要基于文本的瀏覽器,速度非常慢,你可以用它查看郵件,但非常費勁。我大概是在高中時得到這部手機的,在那之前,手機只能用來打電話和發(fā)短信。我當時就被它迷住了。是的,我的感覺是:“啊,這不是手機,而是一臺可以隨身攜帶的電腦!我們被撥號鍵盤限制住了,但這玩意兒未來一定會非常棒!” 我是說,現(xiàn)在有數(shù)十億人沒有電腦,就像我們小時候,那實際上,呃,那是你的第一臺電腦的復制品,或者說是另一臺一樣的電腦,是我的第一臺電腦——蘋果 IIc。所以這就是我們小時候?qū)﹄娔X的理解,你很難想象,隨身攜帶這面小小的黑色屏幕,就像我們今天這樣,在當時是多么不可思議的事情。
所以即使在當時,你也對科技的未來充滿憧憬。
Sam Altman:是的,我當時,現(xiàn)在也仍然是一個科技迷。我總是會在周五晚上思考這些問題。然后,我們當時面臨的一個難題是,沒有應用商店,iPhone 還沒有出現(xiàn)。你最終參與了 iPhone 的發(fā)布。
Sam Altman:我參與了其中一小部分工作。
從平臺轉(zhuǎn)變中學習(Learning from platform shifts)
Garry Tan:這對我來說是一次寶貴的經(jīng)歷,因為它讓我了解了平臺轉(zhuǎn)變的過程,了解了早期階段的混亂,以及一些微小的舉動如何影響最終的走向。我當時更多的是一個觀察者的角色,我看著別人創(chuàng)造了這個平臺轉(zhuǎn)變,但這仍然是一次非常有價值的經(jīng)歷,它讓我看到了事情是如何發(fā)生的,變化的速度有多快,以及如何適應變化。那次經(jīng)歷對你來說意味著什么?你最終把 Loopt 賣掉了,那可能是你第一次管理團隊,做企業(yè)銷售,所有這些都是你從第一次創(chuàng)業(yè)中學到的寶貴經(jīng)驗。
Sam Altman:很明顯,Loopt 不是一家成功的公司,所以那是一段痛苦的經(jīng)歷。但它帶給我的經(jīng)驗和學習是極其寶貴的。PG 曾經(jīng)說過一句話,或者是他引用別人的話,我一直記在心里:“20 多歲就像學徒期,你不知道自己將來要做什么,但你以后會用到這段時間學到的東西?!?我確實學到了很多,我心懷感激。那是一段艱難的經(jīng)歷,我們始終沒有找到產(chǎn)品與市場的契合點,也沒有找到快速發(fā)展的方法,這總是很難。我從未聽說過比創(chuàng)業(yè)更能讓人快速學習和成長的方式了,所以從這個意義上來說,這是一次很棒的經(jīng)歷。
你知道,當你 19 歲、20 歲的時候,你正經(jīng)歷著從功能機到智能手機的平臺轉(zhuǎn)變,你知道,多年以后,你的下一個,我的意思是,兩步之后,你實際上引領(lǐng)了另一次重大的平臺轉(zhuǎn)變。
Garry Tan:我們都老了。是的,但這就是正在發(fā)生的事情,你知道,18 歲、20 歲的年輕人覺得,他們可以去大學拿學位,但他們可能會錯過這波浪潮,因為所有激動人心的事情都發(fā)生在當下。
科技巨頭沒有意識到 AI 的變革(Tech incumbents are unaware of what is happening with AI)
Garry Tan:你有沒有一種直覺,即使是那些非常成功的,市值數(shù)十億美元的公司的創(chuàng)始人,他們中的一些人也沒有意識到正在發(fā)生的事情,他們的首席技術(shù)官… 這太不可思議了。
Sam Altman:我認為這就是為什么我對現(xiàn)在的創(chuàng)業(yè)公司如此興奮的原因:世界仍然低估了這一切,這太令人驚訝了。是的,然后你看到 YC 的創(chuàng)業(yè)者們,他們會說:“不,不,我要做一些偉大的事情,而且要快速行動!” 是的,這讓我想起 Facebook 差點錯失了移動互聯(lián)網(wǎng)時代,因為他們專注于 Web 軟件開發(fā),而且他們做得很好。是的,然后,我的意思是,他們不得不收購 Instagram,差點錯失了 Snapchat,還有 WhatsApp。所以,有趣的是,每一次平臺的轉(zhuǎn)變,都是由那些年輕的、沒有包袱的人引領(lǐng)的。
Sam Altman:是的,這很棒。
Sam 建議的創(chuàng)業(yè)路徑(Sam's recommended startup path)
Garry Tan:我想換個話題。你、Elon、Bezos 等人,他們一開始都是普通的創(chuàng)業(yè)者,你知道,無論是 Loopt 還是 Zip2,或者只是純粹的軟件公司,就像,他們一開始做的都是一些很普通的事情,然后才逐漸成長起來。在這一點上,你有什么建議嗎?如果有人想投身最前沿的硬科技領(lǐng)域,他們應該直接去做嗎?或者先積累財富,然后用自己的資金去投資下一個項目,這樣會不會更好?
Sam Altman:這是一個很有趣的問題。我很慶幸自己能夠為 OpenAI 的早期發(fā)展提供資金支持,我認為如果讓別人在早期投資,會非常困難。Elon 也投入了大量的資金,規(guī)模更大,我非常感謝他。然后其他人也加入了進來,我還投資了一些其他的項目,我很高興能夠支持他們。我認為如果讓別人去做這些事,會很難。所以這對我來說很有幫助,我確實像我們之前談到的那樣,學到了很多寶貴的經(jīng)驗。但我也覺得,在 Loopt 的那段時間,某種程度上來說,我是在浪費時間。我并不后悔那段經(jīng)歷,它是我人生的一部分,我學到了很多東西。
如果你能穿越時空,回到 19 歲,坐在斯坦福大學的教室里,你會給自己什么建議?你會做什么不同的事情嗎?
Sam Altman:這很難說,因為我一直對人工智能最感興趣,而人工智能… 我大學的專業(yè)就是人工智能,但當時我在人工智能實驗室工作時,他們告訴我的只有一件事:千萬別碰神經(jīng)網(wǎng)絡,我們很久以前就試過了,它行不通。我想我本可以做一些比 Loopt 更好的項目,雖然我不知道具體是什么,但一切都是最好的安排。是的,人類一直在努力開發(fā)新技術(shù),讓生活更美好。我經(jīng)常思考這個問題。我想到那些制造電腦的人們,我不認識他們,他們中很多人可能已經(jīng)退休了,但我非常感謝他們。是的,他們辛勤工作,創(chuàng)造了那些處于技術(shù)前沿的產(chǎn)品,我在 18 歲生日時得到了一臺電腦,它徹底改變了我的人生。是的,它也改變了很多其他人的生活。他們努力工作,他們可能從未想過我會感謝他們,但我真的非常感激他們。能夠為科技的進步貢獻一份力量,我感到非常榮幸。
嗯,這對 OpenAI 來說是不平凡的一年,也經(jīng)歷了一些風波。
Sam Altman:是的,我們很擅長制造新聞。
反思 OpenAI 的風波(Reflecting on the OpenAI drama)
Garry Tan:你從去年秋天的事件中學到了什么?你如何看待一些團隊成員的離開?我的意思是,團隊總是會不斷變化的,但你現(xiàn)在感覺如何?
Sam Altman:很疲憊,但狀態(tài)還不錯。是的,我們快速地經(jīng)歷了中型甚至大型科技公司通常需要十年甚至更長時間才能走完的發(fā)展歷程,比如,ChatGPT 誕生還不到兩年。是的,這個過程中充滿了挑戰(zhàn),任何公司在發(fā)展壯大的過程中都會經(jīng)歷團隊的變化。在 0 到 1 階段表現(xiàn)出色的人,不一定適合 1 到 10 或 10 到 100 的階段。我們也調(diào)整了公司的發(fā)展方向,我們犯過很多錯誤,也做對了一些事情,變化是永恒的主題。我認為,公司的目標,無論是AGI還是其他,都是:在每個階段都盡力做出最好的決策。但這確實意味著很多變化。我希望我們正在走向一個相對平靜的時期,但我相信未來還會經(jīng)歷更多的動蕩。
OpenAI 目前的運作方式
Garry Tan:那么 OpenAI 現(xiàn)在是如何運作的呢?我的意思是,與其他成熟的軟件公司相比,你們推進的速度和質(zhì)量都非常出色,這是我第一次感覺到,我們真的知道該做什么了。
Sam Altman:我認為,從現(xiàn)在到實現(xiàn) AGI 還有很長的路要走,有很多已知的未知因素,但我認為我們基本清楚了前進的方向,這需要時間,也會很艱難,但這非常令人興奮。在產(chǎn)品方面,我們還有很多需要探索的地方,但我們大致知道目標是什么,以及如何優(yōu)化。這很關(guān)鍵,當方向明確時,你就能快速前進。是的,如果你愿意專注于少數(shù)幾個關(guān)鍵方向,并把它們做到極致,我們的研究路徑、基礎(chǔ)設(shè)施路徑,以及產(chǎn)品路徑就會越來越清晰,你就能更好地整合資源。很長一段時間里,我們并沒有這樣做,我們更像是一個純粹的研究實驗室,即使你心里清楚方向,也很難堅定地執(zhí)行,因為還有很多其他看起來很有希望的方向值得探索。是的,但讓所有人團結(jié)一致,朝著同一個方向前進,是決定你能跑多快的重要因素。
我的意思是,我們最近完成了從一級到二級的跨越,這非常重要。我們剛剛在 YC 舉辦了 Demo Day 黑客馬拉松,非常精彩。
Sam Altman:那很有意思。
而且有趣的是,其中一個獲獎團隊,好像是第三名,是 Camper,一家 CAD/CAM 創(chuàng)業(yè)公司,他們參加過 YC。他們在黑客馬拉松期間,用 AI 將一個原本無法飛行的機翼設(shè)計,迭代優(yōu)化成了具有相當升力的設(shè)計。這聽起來像是四級水平,也就是“創(chuàng)新者”階段。
Sam Altman:你說的很有意思,我一直認為,從二級到三級的跳躍會很快發(fā)生,但從三級到四級的跳躍會更難,需要一些中型或大型的新想法。但 Camper 的演示和其他一些案例讓我相信,即使是現(xiàn)有的模型,只要你足夠有創(chuàng)意,就能創(chuàng)造出巨大的價值。
創(chuàng)業(yè)公司如何利用現(xiàn)有模型(What startups are building with current models)
Garry Tan:嗯,是的,我的意思是,有趣的是,Camper 已經(jīng)構(gòu)建了 CAD/CAM 的底層軟件,然后,你知道,語言是大型語言模型的接口,然后它就可以使用軟件,就像使用工具一樣,然后如果你把它和代碼生成技術(shù)結(jié)合起來,那將非常強大。大型語言模型不僅可以編寫代碼,還可以為自己創(chuàng)建工具,然后組合使用這些工具,就像用 GPT-4 進行思維鏈推理一樣。
Sam Altman:是的,我認為事情的發(fā)展速度會比人們想象的更快。這是一個激動人心的時代。你知道,你之前提到了“發(fā)現(xiàn)所有物理規(guī)律”,我,呃,我曾經(jīng)想成為一名物理學家,但我沒有足夠的天賦,我只能以其他的方式做出貢獻。但事實上,其他人,我相信,現(xiàn)在可以用 AI 去探索所有的物理規(guī)律,我很高興能夠見證這一切。
Garry Tan:讓我們進入四級吧。
Sam Altman:我為那些能夠做到這一點的人感到高興。
關(guān)于 3、4、5 級的討論
Garry Tan:你想簡單介紹一下 3、4、5 級嗎?
Sam Altman:我們發(fā)現(xiàn),“AGI”這個詞已經(jīng)被濫用了,人們對它的理解各不相同。我們嘗試給它一個更清晰的定義:我們認為,一級系統(tǒng)是聊天機器人,二級系統(tǒng)是推理器,我們認為 GPT-4 已經(jīng)達到了二級水平。三級是智能體,能夠執(zhí)行更長期的任務,例如與環(huán)境進行多次交互,在需要時尋求幫助,以及協(xié)同工作。我認為我們很快就能到達三級。四級是創(chuàng)新者,就像科學家一樣,能夠長期探索未知的領(lǐng)域,并理解其中的規(guī)律。五級是更高級的階段,它有點難以定義,可以理解為在公司或組織層面實現(xiàn)創(chuàng)新。
是的,它有點像分形結(jié)構(gòu),即使是你為了達到二級所做的努力,也和五級有些類似:你有多個智能體,它們能夠自我糾正,協(xié)同工作,我的意思是,這就像一個組織的運作方式,只是規(guī)模更小。你認為我們會… 我是說,你曾經(jīng)說過,Jake 也說過,有些公司年收入數(shù)十億美元,但員工人數(shù)不到 100 人,甚至只有 50 人、20 人,甚至只有一個人。
Sam Altman:這看起來… 我不知道該怎么理解,除了說,現(xiàn)在是創(chuàng)業(yè)的黃金時代。是的,但我感覺這正在發(fā)生。是的,嗯,就像一個人加上一萬個 GPU,非常強大。
給早期創(chuàng)始人的建議和最后的想法(Advice for early founders final thoughts)
Garry Tan:Sam,你對那些正在觀看這個視頻的,正在創(chuàng)業(yè)或者即將創(chuàng)業(yè)的人有什么建議?
Sam Altman:擁抱這個技術(shù)趨勢,現(xiàn)在遠沒有到飽和點,模型會快速進化,變得越來越強大。作為一個創(chuàng)業(yè)者,有了 AI 的幫助,你能做到的事情和沒有 AI 的時候完全不同。大公司、中型公司,甚至是幾年前成立的創(chuàng)業(yè)公司,他們都已經(jīng)落后了,他們還在用季度規(guī)劃,而谷歌的規(guī)劃周期是以十年為單位的,我不知道他們是怎么做到的。但作為一個創(chuàng)業(yè)公司,你的優(yōu)勢在于速度、專注、信念,以及快速適應技術(shù)變化的能力,這是創(chuàng)業(yè)公司最大的優(yōu)勢,尤其是在當下。所以我建議你用 AI 去構(gòu)建一些東西,并充分利用你的優(yōu)勢:快速行動,快速迭代,而不是把時間浪費在冗長的規(guī)劃流程上。我還想說的是,當一個新的技術(shù)平臺出現(xiàn)時,人們很容易認為,"因為我用了 AI,所以商業(yè)規(guī)則對我不再適用,我擁有了魔法,我不需要建立護城河,也不需要打造更好的產(chǎn)品,因為我在用 AI,而別人沒有,這就足夠了。" 這顯然是錯誤的。