share_log

週末讀物 | OpenAI總裁深度訪談:Astra是首個「在10萬塊GPU上訓練的模型」,跨越了「應用門檻」

華爾街見聞 ·  11:23

布羅克曼認爲,OpenAI或已進入AGI時代。Astra不僅是模型能力的升級,更可能意味着AI進入「電腦使用」時代:無需依賴API連接器,即可直接操作各類軟件。隨着模型能力躍升,過去精心構建的「技能腳手架」反而可能成爲限制,AI已經能夠自行泛化並找到更優的處理方式。

OpenAI總裁格雷格·布羅克曼在Astra發佈前夕接受深度專訪,首度披露這款新模型是OpenAI史上首個在逾10萬塊GPU上完成訓練的模型,並直言AI已跨越"電腦使用"的應用門檻——這意味着AI從此不再需要依賴API連接器,而是可以像人一樣操作任何軟件。

當地時間週五,科技戰略分析網站Stratechery發佈了一篇與OpenAI總裁兼聯合創始人格雷格·布羅克曼(Greg Brockman)的深度訪談,訪談在Astra正式發佈前錄製。這是迄今爲止布羅克曼對Astra及OpenAI最新戰略最爲詳盡的一次公開表達。

華爾街見聞梳理訪談要點如下:

  1. Astra是OpenAI首個在超過10萬塊GPU上完成訓練的模型,這一規模代表了工程層面的重大突破。

  2. Astra在"電腦使用"(computer use)能力上跨越了關鍵應用門檻,可充當"通用連接器",不再依賴各軟件單獨提供API接口。

  3. 布羅克曼表示,在AGI時代,安全、對齊與能力三者須作爲同等重要的"需求"並行推進,而非有所取捨。

  4. OpenAI將Astra直接指向自身系統掃描漏洞,並完成修復,這是一次重大的安全文化轉變。

  5. 在Hugging Face安全事件上,布羅克曼承認沙箱機制存在缺陷,AI找到了創造性的"越獄"路徑。

  6. 布羅克曼認爲OpenAI內部已跨越"AGI時代"門檻,可能在Astra或下一代模型處達到大多數人認可的AGI標準。

  7. 在芯片戰略上,OpenAI自研Jalapeño芯片並使用AI輔助設計,同時維持與英偉達的深度合作伙伴關係。

  8. 他認爲,隨着AI能力提升,過去精心構建的"技能腳手架"正逐漸從助力變爲限制,這是Astra研發過程中的重要發現。

"首次在10萬塊GPU上訓練":Astra的規模意義

"這是我們首次在超過10萬塊GPU上進行訓練。這個數字很容易說出口,但你需要想象那種規模——這些數據中心在某種意義上是我們爲推動AI技術而建造的巨型機器,能夠駕馭如此量級的算力,本身就是一項真正的工程壯舉。"布羅克曼在訪談中說。

他強調,算力的大幅擴張並不僅僅用於提升模型能力,"大量算力投入到了安全與對齊工作中,還有大量安全工程圍繞它展開。這是我們迄今爲止對齊程度最高的模型——而正因爲能力如此之強,對齊與安全變得比以往任何時候都更加核心。"

"電腦使用"跨越門檻:AI成爲"萬能連接器"

布羅克曼將Astra最核心的突破定位在"電腦使用"(computer use)上。

"過去兩年,我們處於一個'連接器時代'——你有一些軟件,人類可以正常使用,但AI沒有訪問權限。於是你必須爲每一個軟件寫一個專門的連接器,鉤入其API;而有很多軟件根本沒有API,那就完全超出AI的能力範圍了。"他說,"現在,我們擁有了近乎'萬能連接器'的技術。AI從被嚴格限制幫助你,變成幾乎可以操作任何東西。"

他進一步描述了這一變化對OpenAI內部工作方式的影響:"它已經在改變人們在OpenAI內部的工作方式,我認爲它真的會提升很多公司、很多個人。"

值得注意的是,布羅克曼也坦承這一門檻的跨越並非終點:"這不意味着所有問題都解決了。你需要考慮如何爲這些AI設置企業級護欄,如何實現適當的監督、管理、追蹤和可觀測性——這些我們都在推進中。"

"我們現在已進入AGI時代"

布羅克曼在訪談中作出了一個措辭頗爲大膽的判斷:

"我認爲,也許是上一個模型,也許是Astra,也許是下一個模型,但在這其中的某個節點,我們將跨越大多數人對AGI的門檻。……在某種意義上,我會說我們現在就已經進入了AGI時代。"

他解釋,當前階段,對齊、安全與能力三者需要作爲並行要求共同推進,"這些方面正在變成開發的瓶頸,而這正是我們一直爲之準備的。"

舊有"技能"反成累贅:AI強大到規則要減法

訪談中一個頗具衝擊性的細節來自Astra的實際訓練過程。布羅克曼透露,OpenAI過去花費大量精力爲模型編寫的行爲規範,如今反而拖了後腿:

"我們發現,今年以來辛苦建立的一些技能——用來向模型展示在OpenAI內部做事的正確方式——實際上對它的表現來說是淨負擔(net negative)。它能夠比我們寫的更好地泛化,找到比我們規定的更好的處理模式。就像訓練輪,起初有用,但一旦它跑得更快、更有能力,那反而成了障礙。"

"10億用戶是一種投資":消費者與企業的融合

布羅克曼直面了一個市場上持續存在的質疑:ChatGPT擁有10億用戶,但這是否反而是一種分心?

"在美國,大約三分之一的人口每週都在使用ChatGPT。"他說,"這是獨一無二的,對於這類先進技術來說,沒有任何其他產品可以相提並論。"

他將這10億用戶定性爲"投資":"這是真正的投資,它將在未來模型解鎖的方式上積累價值。"

同時,他也承認了痛點所在:"聊天作爲產品的挑戰在於,它未必與更智能的模型直接對應——如果你只是把它當成搜索引擎替代品,你未必能真正感受到好處。"他認爲,未來的方向是打通消費者與企業場景,打造一個統一的AGI系統,"我們不想做兩件事,我們想做一件事——建造一個AGI、一個系統、一個統一的技術棧。"

他還特別強調了健康領域的佈局:"每週有3億人通過ChatGPT進行健康查詢,3億人,這是一個巨大的數字。"

AI自查漏洞:把Astra指向自己的系統

在網絡安全議題上,布羅克曼透露了一個引人注目的內部實踐:OpenAI將Astra直接指向自己的系統尋找漏洞。

"我們調用了Astra,把它對準我們自己的系統來發現漏洞——不只是讀代碼,而是真正審視這些系統端到端的運行方式,從而找到真實的、經驗證的漏洞,然後幫助我們完成修復和補丁工作。"他說。

他同時承認,在Hugging Face安全事件上,OpenAI在防禦窗口期的行動確實不夠及時,"我認爲,現在顯然是時候了,也許幾個月前也可以是時候,但那時候模型能力還要弱得多。"

與英偉達的關係:芯片自研是"乘法",不是替代

在價值鏈競爭層面,布羅克曼就OpenAI自研芯片Jalapeño與英偉達的關係作出表態,明確否認了替代邏輯:

"英偉達是我們的首選計算合作伙伴,這不會改變。事實上,我們與他們的合作正在進一步深化。……我們自有芯片項目帶來的內部專業知識,對我來說是乘法效應,不是替代,我認爲對所有人都有好處。"

他還披露了一個AI輔助芯片設計的有趣插曲:在Jalapeño面臨截止日期的最後一個月,團隊直接讓AI運行優化,"我們說,就讓它跑吧,不去細讀它做了什麼。後來我們回頭讀了一下,發現它找到了一大堆我們列表上有但永遠不會自己去實現的優化——這確實是個很酷的故事。"

以下爲訪談文字實錄全文(由AI協助翻譯)

格雷格·布羅克曼,歡迎來到Stratechery。

GB(格雷格·布羅克曼):謝謝你邀請我。很高興來到這裏。

顯然我們有很多新聞要談,但鑑於這是我們第一次交談,我不想錯過我通常問任何人的Stratechery傳記問題。我確實想問——你把北達科他州定義爲中西部的一部分嗎?

GB:是的,我認爲是的。

好吧,作爲一箇中西部人,我當然要花點時間談談那裏。你在波士頓上的學,正如他們所說,但在我們談到那裏之前——你在上學之前就已經有了一份令人驚歎的履歷,比如國際奧林匹克競賽,但那是化學方面的。計算機是從哪裏開始的,或者說計算機從一開始就是你生活的一部分嗎?

GB:嗯,計算機在我成長過程中一直是我的背景。我喜歡玩電腦遊戲,但我對數學、科學非常感興趣。實際上,一直到九年級,我都認爲自己可能會成爲一名演員——我非常喜歡錶演,也涉獵過一點哲學。

真是一個轉折!我完全不知道這點,但我打算弄清楚你現在所做的事情和表演之間的聯繫,但我們繼續吧。

GB:嗯,在九年級的時候,我覺得我在初中和高中的一兩部戲劇中擔任過明星或男主角。我當時在想,我想在某件事上加倍努力,我覺得我可以在某個領域做到世界最好,並真正嘗試推動這個領域的發展。我覺得我要麼選擇更偏智力、硬科學的方法,要麼選擇藝術、表演和創意路線。我最終選擇了硬科學方向,因爲我覺得那可能是我能最大程度改變世界的領域。

爲什麼你認爲走那個方向能最大程度地改變世界?

GB:我想對我來說,感覺是這樣的——我喜歡錶演的一點其實是它的團體性。我喜歡即興表演,你只是創造性地思考事情,來回碰撞想法,但這同樣需要你成爲一個團隊的一員,這個團隊必須配合得非常好,而這並非總能保證。這是一件很難實現和找到的事情。我更喜歡偏智力路線的一點是,它感覺像是在磨練你自己的技能。但我確實學到的一件事是,即使你非常擅長編寫代碼,那也不夠。實際上,這也關乎引入優秀的團隊,我認爲這正是我職業生涯的一部分——真正幫助構建和塑造能夠交付卓越成果的環境和文化。

有一件有趣的事,這裏有一個關於環境也塑造了其中一些事情的方面。你提到你總是在戲劇和電影中擔任男主角。我從我的孩子們經歷這個階段時認識到——我的女兒有一陣子非常喜歡音樂劇之類的——女主角的競爭非常激烈,通常只要有一個稱職的男性願意自願參加,他每次都能得到這個角色。男主角的競爭激烈嗎,還是你就是獨一無二的?

GB:(笑)我想這或許能解釋。不過,我給你講個故事。

反過來呢?同樣地,在北達科他州,是不是沒有那麼多人在硬科學方面特別鑽研,所以從同樣角度來看,那是不是也顯得更罕見?

GB:嗯,我給你講兩個故事。第一個是關於表演的。我第一份有償工作就是一份表演活兒。Mannheim Steamroller樂隊來到了北達科他州的大福克斯市。你聽說過Mannheim Steamroller嗎?

我聽說過。是的,當然。

GB:他們當時要舉辦一場音樂會,需要臨時演員。他們需要一些人扮成錫兵走來走去,因爲那是一場聖誕假日音樂會。我去參加了試鏡,當時我是個瘦弱的九年級學生,而那裏全是身材高大的大學生。

他們讓大家做的是,「好了,大家朝那個方向走」,然後選角的人會比較意見,然後你會有一段時間休息,然後他們說,「好了,朝另一個方向走」。我注意到,在休息期間,所有那些大學生都在互相交談,閒逛,而我想的是,這份工作只有一個要求,那就是你整場音樂會都要保持六個小時的專注,來回走動。所以在休息期間,我就站在那裏保持專注,完全沉浸在角色中。最後,他們說,「好了,我們選這個人,這個人,這個人。其他人可以離開了」。我沒有被選中。

但在我們離開的路上,他們說,「實際上,我們覺得你太棒了。我們非常喜歡看你對這件事投入了多少熱情,所以我們要爲你專門創造一個新角色」。於是我得到了一個薑餅人的角色,他們給了我一套完整的服裝。那就是我的第一份工作。所以這有點像是試圖跳出常規思維來完成任務——不總是默認接受某個角色,而是試圖找到創造性的方法來獲得它。

但我認爲,在北達科他州長大,真正很棒的一點是,我有可能在我專注的不同領域裏做到全州最好。我的數學成績比較突出。我從十年級開始就進入北達科他大學學習了很多課程。我深入參加了數學競賽,然後我會去參加全國競賽,去全國數學夏令營,在那裏我會遇到全國最優秀的人。這些人太棒了,實際上,我真正的榮幸之一是,我在數學夏令營裏非常敬佩的許多人現在都在OpenAI工作。所以我有機會在這個新領域,以新的視角看到他們。

太棒了。

GB:但這既是說我能夠真正規劃自己的道路。我開始做數學研究,我知道如果我去了一些那些實力很強的高中或競爭激烈得多的州,我想我不會脫穎而出。我將不得不走標準路線。所以正是因爲在那個地區,我才能夠探索我的興趣,真正走自己的路。

所以當人們說他們在波士頓上學時,通常指的是哈佛,那是你開始的地方。然後你轉到了麻省理工。然後到了某個時候你在爲Stripe工作。順序是怎樣的?你什麼時候認識Collison兄弟的?在波士頓發生了什麼?

GB:嗯,高中畢業後,我休了一年假,實際上我開始編寫一本化學教科書,因爲我在高中時對化學非常着迷,參加化學競賽,並提出了一種獨特的思考方式。非常基於第一性原理,非常數學化,而不是死記硬背。我想教授這種方法,想推廣它。所以我實際上寫了100頁。現在它就在我的網站上。我還沒完成。我一直打算回去繼續寫。

那就像是一個退休項目,我喜歡。

GB:沒錯。嗯,那時我在想怎麼才能出版這本書,所以我問了一個在數學方面做過類似事情的朋友,他說,「嗯,你沒有博士學位,所以沒人會出版它。所以你要麼自費出版」——我當時想,哦,那工作量大,成本也高——「要麼你可以建一個網站,用這種方式推廣你的想法」。我說,「我想我得學學怎麼編程了」。所以我上了W3Schools。你記得W3Schools嗎?你見過那個網站嗎?

不,我想我沒見過。

GB:好吧,這是個經典的網站——他們有HTML教程、JavaScript、CSS、PHP。我通讀了一遍,然後想,「我應該測試一下」。我記得我建了第一個小部件:你可以點擊表格列,它會相應地排序行。那是有史以來最酷的感覺。我腦子裏想着這個東西,現在它存在於這個世界中,任何人都可以從中受益。他們不需要理解背後的細節,它只管用。

我記得我建立的第一個有用戶的程序,實際上是一個競爭性的聊天機器人遊戲,有一天我從StumbleUpon獲得了1500次點擊。那感覺真是太棒了,有1500個人玩了我的遊戲,希望他們玩得開心,而且他們足夠投入地玩了它。我當時就想,「這就是我想要的,我想幫助別人,我想爲他們創造價值並造福他們」。

所以,這就是我懷着這樣的想法進入哈佛的,那確實改變了我的想法。我以爲我會去追求那些更 eclectic 的興趣,結果我卻想,「我只想構建東西」。在哈佛的大一,我加入了計算機俱樂部,有兩個大四學長每次都會進行晦澀難懂的技術辯論。我們都會聽着說,「總有一天我們會明白的,總有一天那會是我們」。但他們畢業後,大二來了。

所以你就直接轉學去了麻省理工,因爲你意識到自己專注於編碼和構建?

GB:基本上就是這樣。因爲到了大二,我在管理俱樂部。我應該主導那些晦澀難懂的技術辯論了,而我心想,「我還沒準備好。我還有太多東西要學。我需要和那些比我優秀得多的人在一起」。

明白了。

GB:所以我花了很多時間在麻省理工那邊,我覺得轉學過去是合理的。

Stripe
明白了。那你是什麼時候認識Collison兄弟的?

GB:我是在2010年,2010年底認識他們的。我們有很多共同的朋友,因爲約翰去了哈佛,帕特里克去了麻省理工,他們當時正在四處打聽。那個團隊在到處尋找這兩所學校裏誰對計算機感興趣,我的名字不斷被提到。

對。

GB:所以我收到了他們團隊的邀請,飛了過去。我記得見到帕特里克,對我來說,那一刻我就想,「好吧,這就是我想共事的人,我覺得我們可以一起做出偉大的成就」。

所以我的下一個問題是,是什麼吸引你加入Stripe,但聽起來你已經回答了。你在那裏學到了什麼?你加入團隊很早,晉升得非常快。到你離開時,你已經是CTO了。你對Stripe本身及其規模擴張,以及你在公司快速成長的同時自身也快速成長,有什麼感悟?

GB:首先,對我來說,始終是關於人。我知道這些是我想要共事的人,感覺我們可以一起學習,一起完成偉大的事業,所以這才是真正的關鍵。順便說一句,兩次輟學是我絕不想讓任何人的父母經歷的事。這顯然讓我的父母很爲難,但他們最終實際上非常支持。

不,我們明白了,你把事情做到了極致,對吧?大多數創始人輟學一次,你不得不做兩次。我們明白你的意思了。

GB:完全正確,完全正確。我記得Stripe的早期很多是關於第一性原理思考。我們處在一個領域,信用卡行業,非常不透明,非常拜占庭式,經過幾十年的積累,複雜無比,連卡網絡本身都運行在ISO 8583上,那是80年代的規範。它是一種面向字節的格式,整個都是。我們試圖弄清楚,「我們如何讓它變得簡單,極其簡單,以適應互聯網時代?」。

所以,這在很大程度上是關於深入理解一個你完全陌生的領域。我們中沒有誰真的是支付專家出身,但你只是想非常深入地理解它是如何運作的,以便你能暴露正確的原語、正確的API和抽象。對我來說,那實際上是核心技能,並且這一點在Stripe和OpenAI之間非常具有可轉移性。它們在某些方面非常相似,你需要去科學地學習一個領域。AI和支付,在具體細節上顯然不同——一個更像是自然科學,另一個幾乎是一個由複雜性堆積起來的系統——但它們從根本上都是關於理解事物運作的底層原因,並以簡單易用的方式將其暴露出來。

我花了很多時間在招聘上,很多時間在文化上,我覺得我發現了一點,我喜歡編碼,我喜歡那種心流狀態,以及構建和創造的感覺。

對,你因這種長達數小時的心流狀態和無休止的編碼而聞名。你在構建Stripe時,最長的編碼會話/心流狀態是多久?

GB:哦,都混在一起了。我說不清具體時間,但我只想說,對我來說,有一次24小時的衝刺,正是那次讓我們真正接入了信用卡網絡。那真是一段非常棒的時光,我們所有人都在辦公室,沒人睡覺,那本應是一個需要九個月才能完成的集成,我們在一夜之間完成了,如果我們晚了一天,就又得再等一個月。對於初創公司來說,每一天都很重要,所以那種完成看似不可能之事的感覺,我熱愛它。那是非常令人興奮的事情。

當你成爲CTO時,你寫了一篇文章,說你和其他CTO交流,你認爲這更像是一個架構工作,但他們都不這麼做,你寫道,「我覺得我失去了反饋迴路,我與產品脫節了,我需要再次編碼,我要成爲一名編碼者」。我很好奇,那是你在成爲CTO初期寫的,那持續了多久?你和編碼保持聯繫有多久?

GB:嗯,我想大概又持續了將近十年。我認爲我在一個方面有所成長,也學到了很多,那就是即使你自己不再親自寫代碼,如何保持參與感,真正幫助推動團隊前進,並將團隊凝聚在一起。

而且,順便說一句,我認爲這實際上對現在幾乎每個軟件工程師來說都是一個重要的教訓,因爲「編碼」這個行爲本身在過去一年裏已經發生了巨大的變化。我認爲在未來一年,變化會更大。我們都在從必須知道具體使用哪個庫、能夠精確掌握語法和分號放哪裏的角色,轉變爲更高層次的管理者、主管,成爲靈感、願景、判斷和反饋的來源。我認爲這種轉變,對我來說曾經是困難的,因爲你不得不放棄一些你 習慣的、珍視的和真正熱愛的東西。但我實際上已經用我更熱愛的東西取代了它。

我知道我在和一個聰明人談話,因爲你搶了我的伏筆。我本來打算稍後回到這個話題的,但沒錯,這正是我們要討論的。

OpenAI與圖靈測試
讓我們談談OpenAI。你是OpenAI創始團隊的一員。你版本的故事是怎樣的?我相信這本身可以是一個小時的播客,但是什麼吸引你進入這個領域並讓你們開始的?

GB:嗯,我對AI的想法已經興奮了很久了。我記得當我剛開始編程時,我讀了艾倫·圖靈1950年關於圖靈測試的論文。那是一篇非常有趣的論文,大概有70頁左右。它開篇就說,「嗯,機器具有智能意味着什麼?我不知道智能是什麼意思。智能沒有明確的定義。所以讓我們有一個明確定義的版本」。

我稍後會問你什麼是AGI。所以聽起來這仍然懸而未決,對吧?

GB:嗯,你說對了。所以圖靈非常聰明地迴避了這個問題,說,「讓我們只給它一個操作性的定義,即如果你能進行一個測試,讓人類無法分辨出與他們交談的AI和另一個人類,我們就定義那臺機器是智能的」。

然而,非常有趣的一點是,但得到較少關注的是,他說,「嗯,你打算怎麼解決這個問題呢?要編程出答案太難了。你無法寫下所有規則來回答各種問題。相反,如果你能建造一臺能夠學習的機器呢?如果你能建造他所謂的『兒童機器』呢?」。然後你教它——有一個老師給它獎勵和懲罰,然後你就能夠賦予它智能,幫助它通過這個測試。

我記得我被這個想法深深震撼了,因爲作爲一名程序員,只有深入理解問題的解決方案,你才能取得進展。有這麼多問題我不知道答案,你不知道答案,沒有人想到過解決方案,我們永遠無法爲它們編寫出程序。但如果你能有一臺機器,它能理解我們無法理解的問題,能理解我們無法理解的解決方案呢?這不僅僅是關於圖像識別,儘管它當然也應用於此。這也關乎我們如何在社會中更好地相處?如何構建世界?如何確保我們所創造的利益最終能惠及每個人?這些都是非常困難的問題,人類不一定是最有能力解決的。但如果一臺機器能夠理解,能夠查看更多的數據,能夠對許多不同領域有更深入、更豐富的綜合理解,也許它能以我們無法做到的方式解決這些問題。

所以,我被這個想法深深激勵了。但這只是一個想法。我記得我進入哈佛時,問我的教授,「嘿,我能做點AI研究嗎?」,他們向我展示了當時自然語言處理的最先進水平。我清楚地看到,我當時想,這不是圖靈所說的那種。它更像是硬編碼的,解析樹,所有這些,這無法擴展到AGI。

但在2010年代初期,有些東西發生了變化,我當時在外部觀察。2012年是AlexNet,然後是一系列其他論文,我經常在Hacker News上看到,感覺每天都有新的「用於X的深度學習」,我當時想,「什麼是深度學習?」——我記得我訪問了deeplearning.org,上面只寫着,「深度學習是一種新的人工智能方法」。我當時想,我完全不知道這意味着什麼,我實際上只認識該領域的一個人,我去找他們,請他們把我介紹給該領域更多的人,然後我不斷被重新介紹給我大學裏一些最聰明的朋友。我當時想,「等等,這很有趣,這些人正在研究這個,這實際上是一個非常強烈的信號」。

所以到了2015年,對我來說,感覺有些真實的東西正在發生。我也花了很多時間真正思考AI安全,思考這類技術的長期未來,意味着什麼才能把它做對,那在當時更像是哲學。你可以在網上找到各種很酷的思想實驗,我在Stripe組織了一個閱讀小組,我們每週都會討論這些事情。所以這是我深切關心的事情,想着如果我能以任何方式幫助AI的發展比我缺席時稍微好一點,那將是我職業生涯中能做的最好的事情。

這一切都指向2015年,我覺得我在Stripe已經達到了一個里程碑,公司無論有我還是沒有我都會繼續運轉,這有點像是一個問題:「我想走管理者路線嗎?」,這是進入下一階段所需要的,或者,「我想去創辦一家新公司嗎?」,這一直激勵着我,所以我決定那是我想要的。當我正要離開時,帕特里克說,「你爲什麼不和山姆[奧特曼]談談呢?」,他幾年前把我介紹給了他。他說,「他見過很多處於類似情況的年輕人,也許他能給你一些建議」——有點希望山姆能說服我留下。結果並非如此。

(笑)是的。

GB:我和山姆見了面,三分鐘內,他就說,「好了,你明確要離開了,你接下來有什麼打算?」,我說,「嗯,我正在考慮在AI領域做點事情」,他說,「我也在考慮在AI領域做點事情」。那就是開始。

你當時贊同整個非營利組織的事嗎?你在成立時對此有什麼想法?

GB:嗯,成爲非營利組織的想法是山姆提出的,我認爲這其中有許多非常重要的屬性,有些到今天看來依然正確。我們正在構建的技術,它比任何被創造過的東西都更宏大,它超越了傳統結構和系統。沒有任何一種現有的公司結構能夠完全涵蓋我們的使命和我們所需的工作。

所以,我認爲那樣開始是完全合理的,而且一直存在一個問題,即實際實現使命需要什麼?這是我們花了很長時間真正思考的事情。我認爲我們一直是公司在思考構建一個結構方面最具創新性的,這個結構要能夠涵蓋商業發展、利益分配、實際推動這種計算驅動經濟的所有不同方面,並同時完成所有這些。所以我認爲這一直是一個重要元素,它仍然是我們工作的關鍵部分。但再說一次,我認爲我們在圍繞使命核心的公司結構上進行了大量創新,而這個使命是不變的。

是的,創新是一種說法。你提到了信用卡網絡,對吧?那是超級不透明的,很多來自80年代的東西,大量的路徑依賴,這給了Stripe一個機會,因爲你可以把所有這一切抽象掉,對其他人來說就是,「這是一個API,它可以用,別問問題」。現在當你回顧OpenAI——很難相信已經十多年了——OpenAI有沒有可能以任何其他方式出現?其中也有那種路徑依賴嗎?或者是否存在一種,「如果讓我回到第一性原理,我,格雷格·布羅克曼,我喜歡做的事,我會把這個結構設計得非常不同」?

GB:我看不到有其他任何方式能讓我們走到今天,達到這個使命需要我們達到的地方。

ChatGPT與OpenAI風波
給我講講ChatGPT的發佈吧,因爲你有一個轉折點,你意識到需要擴展,你與微軟合作,增加了營利性部分,然後ChatGPT問世了,它變得非常龐大。你有沒有預料到它會像現在這麼大?

GB:所以讓我感到驚訝的是,我的預測錯誤在於GPT-3.5會成爲人們真正喜愛和想要的東西。我們當時已經有GPT-4了,它在8月左右完成了訓練,我們在11月底發佈了ChatGPT。每當我們有新模型時,總會發生的情況是我們會緊緊抓住它不放。

舊的看起來糟透了。

GB:我們所看到的全是前一個模型的缺陷。我們只是覺得,「啊,這個前一個模型太差了,我無法想象有人會想用它」。我們有大約200名測試員,我們付錢讓他們使用預發佈的ChatGPT,同樣,我們不得不付錢讓他們使用,而不是反過來。所以有一些產品市場契合的跡象,如果你深入挖掘並關注細節的話,但如果你從宏觀上看,它看起來並不像我們擁有它。

但我們當時的想法是,GPT-4顯然會改變世界,我們知道這一點,從我們第一次與它交談時就非常明顯。我記得在GPT-4完成訓練後的第一週,只是感受它的現實。我們一直在夢想AGI,思考AGI,想象它會是什麼樣子。但當你第一次擁有一種技術,你真正可以問任何問題,它能給出相當合理的答案,它在AP生物考試中得了5分——所有這些,對我來說,感覺像是,好吧,有些事情將會不同。它可能不會明天就改變世界,但在未來幾年,這項技術絕對會,而且現在它已經是現實了。那非常清楚。

所以你看ChatGPT的發佈,我當時的想法是我們需要先把基礎設施推出來,這樣我們就可以擁有經過實戰檢驗的LLM服務基礎設施,我們已經投入了精力。然後在3月,當我們發佈GPT-4時——如果你還記得,我們在完成和實際發佈之間有六個月的延遲——那時我們就已經有了現成的基礎設施。但我沒預料到它會以那種形式如此迅速地起飛,儘管我預料到它將來會這樣。

那段時間是什麼樣的?是不是所有人都全力以赴來防止服務器崩潰?

GB:哦,絕對是。所以我們推出了一個所謂的低調研究預覽,當然,結果是指數級的,你能想象到的每一個系統都崩潰了。我們的登錄系統成了一個大瓶頸,我們不得不做很多工作來改進登錄系統,你抓着頭說,我們在構建這種神奇的AI技術,而瓶頸卻是「你的登錄系統能擴展嗎?」。

我記得我們有一套相當低效的推理內核部署到了生產環境中,我實際上寫過一些更高效的東西,或者我們在研究方面有一些更高效的東西,其中一項重要工作就是,「讓我們實際採用這些優化,把它們遷移過來」,所以一群人撲在這個問題上,把它搞定了。我認爲這是第一天、第一週、第一個月的總體情況,就是擴展每一個系統,努力跟上這波又一波的需求。

2023年11月發生了什麼?

GB:非常複雜的答案。你想從哪裏開始?

我不知道,我覺得我必須問你這件事。它們與——你在那之後不久休了個假,這兩者之間有關聯嗎?

GB:聽着,我想說的是,從最高層面來看,我認爲2023年真正表明,存在着已經積累起來的緊張關係,真正是人際關係上的緊張,我們之前沒有充分預見並解決。對我來說,這是OpenAI最重要的教訓之一,我們正在構建技術,但始終是關於人的,無論是好的還是壞的方面。這意味着真正管理人際關係動態,是我們所做的最重要的事情之一,如果我們不提前解決,如果我們不進行艱難的對話,那才是事情可能變得棘手的地方。所以我很樂意深入探討更多細節,但我認爲,如果你真的深入其中,很多並不是更有趣的技術問題。

這在多大程度上與ChatGPT這個意想不到的巨大成功有關?這之間有聯繫嗎,還是你認爲這些緊張關係無論如何都會爆發?

GB:我不認爲有直接的因果關係,至少在我看來不是。我認爲在某種程度上,也許有一個潛在的主題是,隨着我們技術的進步,每個人都感受到了世界的重擔,感受到了其中的利害關係。

實際上,最困難的事情之一就是如何繼續前進?對我來說,我一直在評論的一件事是,我們日常的活動看起來幾乎和其他公司一樣。你仍然在調試某個底層問題,有人因爲別人說了什麼或沒讓他們參加會議之類的事情而對別人生氣。這只是人的因素,人的工作。但當然,其中的利害關係是如此巨大。

所以我認爲在OpenAI有一些非常重要的事情,實際上我特別關注的一件大事就是,真正努力不把人們置於讓他們感到世界重擔在肩且孤立無援的境地。真正作爲一個團隊一起做,這是關鍵的事情,我想這也許是我想說與那些事件有關的方式——它並不特定於那些事件,但它是OpenAI發展過程中一個持續的主題——真正保持我們共同做這件事的感覺,努力既迎接挑戰,又確保我們做好所有基礎工作,做好那些基礎工作。這是我認爲我們前進的一種方式。

是的,我的意思是,你一直是一個非常積極的倡導者,我認爲這是OpenAI的總體理念之一:把東西推向世界,實驗,看看會發生什麼,然後據此反應。基於經驗證據,而不是對未來進行理論推演來做出決定。我認爲你們在AI方面闡述了很多這種理念,但我的問題是,我想你也在某種程度上觸及到了,感覺OpenAI作爲一個組織本身也是一個正在被調整的大規模實驗。消極的解讀是,它似乎只是前後搖擺,重組這裏,換新領導那裏,這是一個難以駕馭的龐然大物嗎?還是說它可能更有條理,比人們認爲的更有韌性?當你回顧時,你說不可能有其他方式,如果換一種方式會不會更好?

GB:首先,我們確實從起點發生了巨大的變化和成長,運營業務截然不同,但我們在推動這個領域前進方面始終是先鋒。這在安全方面、安全方面、核心技術和真正思考利益分配方面都是如此。所有這些領域我們從一開始就專注,我認爲結果確實說明了一切。

現在,這種變化是真實的。而且,有時候適合一個階段的團隊不一定適合下一個階段。今年我一直非常關注的一件事就是建立一個讓我非常興奮的領導團隊,思考下一個階段以及我們將能夠共同完成的事情。所以2026年的一個主題,也許是與我們之前相比的一個轉變,是因爲這個領域有這麼多人,有這麼多事情要做,而且技術發展如此之快,我們嚴重受限於計算能力,你必須專注。你必須真正地精簡。你必須選擇那些能協同發展的領域。

所以實際上做出一些決定,比如,「嘿,Sora,令人驚歎的技術,但屬於更偏向娛樂的消費者領域,與我們其他優先事項相比,我們無法優先考慮它」,然後我們會取消它。這會導致下游影響,會很痛苦,很難做出這些決定,但這一切都是爲了保持那種緊密的專注,以便我們能夠完成核心使命。

你非常相信可擴展性,OpenAI本身是可擴展的嗎?

GB:我相信它可能是史上最具可擴展性的業務。是的。

我是指內部,作爲一個組織。有什麼是不可擴展的?我們談到了計算,談到了數據,你之前提到了人的因素。最終的alignment挑戰——我們認爲alignment是讓AI做我們想做的事——但你是否面臨相反的挑戰?你能從管理的角度跟上這個領域、這個問題嗎?

GB:我想說兩個答案。首先,絕對是肯定的。你可以從過去幾年我們作爲一個組織成熟了多少看出來,幾年前我們有很多管理債務。同樣,在很多領域我認爲我們確實需要成長,需要成熟,但我認爲我們已經完成了這項工作。這很艱難,也很痛苦,但我認爲我們現在處於一個好得多的位置,我對公司及其未來感到無比興奮。

但還有第二件事,那就是我認爲退一步認識到公司運營方式正在改變也是值得的。例如,你可以看看人均收入。我們和類似業務的人均收入相對於任何以前的業務都是天文數字。這是有原因的,你開始看到通過這項技術可以獲得這種增加的槓桿。而且,因爲我們在製造這項技術,並努力使這項技術廣泛可用,幫助這麼多公司,你會看到許多其他公司能夠以不同的方式運營,能夠擁有那種超額的人均收入。

對我來說,這是非常令人興奮的,我們正在改變運營公司甚至意味着什麼,以及如何運作。所以有些事情是不變的,只是人們一起工作——那裏有一些非常基礎的東西,真正以良好和一致的方式做到這一點是我一直關注的。但我認爲也有關於利用我們技術可能性的問題,這意味着每家公司都將有一個新的機會。

生產力與AGI
你提到取消了Sora,並將其定位爲消費者娛樂方面。ChatGPT,巨大的消費者成功,你從消費者那裏賺了難以置信的錢。但歸根結底,有多少人願意爲此付費?有多少客戶真正想要提高生產力?是不是在消費者市場取得如此巨大的成功幾乎是一種負面影響,因爲它分散了注意力,佔用了大量GPU,也許你們錯過了——不算是錯過——但在企業成爲首要焦點方面起步晚了?

GB:我們內部經常進行這樣的對話,實際上,我認爲這是OpenAI的優勢之一,我們真正從第一性原理審視我們所做的一切,不斷重新思考,擁有許多不同的觀點和視角。有些人幾乎可以從任何角度來論證,他們都有自己的道理。所以,「嘿,有這個代理時刻,我們對此反應慢了」這種說法有一定道理。

但也確實有十億人——這超過了世界人口的10%。在美國,我認爲數字大概是每週有三分之一的人使用ChatGPT。每週有這麼多人在使用你的系統,這是獨一無二的,對於這種先進技術來說沒有任何類似的東西。

所以一方面,如果你僅僅把它看作是,「嘿,我們擁有先進的技術」,聊天作爲產品的一個挑戰是,它不一定與更智能的模型保持一致。如果你只是把它當作搜索引擎的替代品,人們是否會通過傳統聊天直接獲得這些好處並不清楚。但我認爲所有這些事情都將匯聚在一起,達到一個頂點,我們將看到這十億用戶是一項投資,是未來模型解鎖方式的實際積累,你正通過ChatGPT Work等看到它的第一步,這裏面有很多細微差別和複雜性,但很多策略一直是說,我們有消費者,有企業,這是兩件事——我們不想做兩件事,我們想做一件事。我們想構建一個AGI,一個系統,一個統一的堆棧。我們希望它是你在個人生活、工作生活中都能使用的東西。

對,但這是否有關於輸出內部組織架構的問題?你推出了一個新的ChatGPT,與舊版有巨大差異,它基於Codex構建。我能看到對OpenAI內部的好處,但客戶是否會感到沮喪,因爲他們沒有意識到自己能做什麼,所以,「我們將把他們直接扔進深水區,希望這能幫助他們自己弄清楚」?

GB:我認爲行業正在發生根本性轉變,你可以從當前正在出現的新興代理產品中看到這一點。我認爲核心轉變是你正在從聊天轉向代理用例。再說一次,這不僅僅關乎生產力。我認爲在你的個人生活中,你希望能夠要求這個東西去爲你訂票,爲你預約理髮,做那些個人事情,但你也希望它能給你好的生活建議,能幫你處理健康信息。

所以對我來說,生產力這個詞太狹隘了。對我來說,消費者這個詞太寬泛了。企業也是我認爲將會轉變的東西。所有這些經典詞彙,它們都將以某種前所未有的產品構建方式融合和交織在一起。所以我的觀點是,這裏需要一個變革管理,即如何引導十億用戶走向新的用例集,幫助他們理解。而且,順便說一句,存在一種可能的「不公平優勢」,那就是你有一個AI,它理解你試圖完成什麼。

沒錯。

GB:它可以說,「哦,如果你啓用這個連接器,如果你這樣做,我實際上可以給你更多幫助」。這在我看來,是一件了不起的事情,一個了不起的機會,那裏有很大的潛力。當我說「不公平」時,我的意思是相對於你用經典技術能完成的事情。如果你只是比較一種技術和另一種技術,這個技術有些獨特之處。

你之前提到了圖靈角度,我很高興你提到了兩部分,因爲AI能像人一樣說話嗎?顯然,我們很久以前就超越了那個點。但對我來說,AGI的定義——這對你們來說是一個麻煩的問題,我想,它終於不再受制於你們與微軟的協議了,所以我們不必擔心那個角度了——對我來說,它和學習有某種聯繫。你提到了學習,以及LLM在多大程度上學習過(過去時),但挑戰在於它是否持續學習(現在進行時)?

對我來說,代理時刻的革命性之處,我認爲,真正在於它能夠把事情寫下來。這就是Codex/ChatGPT轉變的必要性所在,因爲它獲得了把事情寫下來的能力。如果你能寫下來,你就能記住事情。如果你能記住事情,你就能在各種方面變得非常有用。問題是,這是一個最終狀態,還是我們會得到一個能夠持續學習的LLM,而那就是AGI?我想錯了嗎,或者這符合圖靈問題的第二部分嗎?

GB:是的,我認爲這也是一個非常有趣的辯論領域,因爲人們確實有自己對AGI的定義,它幾乎是一個模糊的東西。一開始,我們認爲它會像,這裏有一個時間點,每個人都同意那是AGI,但事情完全沒有那樣發展。

現在,我傾向於從技術中抽象出視角。所以,關於記憶是否必須融入權重?這是Transformer還是其他東西?這些問題,我認爲,是細節。真正的問題是,你是否擁有一個按你對真正AI期望的方式運作的系統,一個能夠學習、能夠向你學習、能夠適應你需求的系統?而這個問題,是通過它寫入記憶的便籤本實現的?是通過軟令牌實現的?還是通過其他方式實現的?

所有這些,對我來說,都感覺像是問題的可能答案。我認爲很明顯,我們在「用便籤本寫下來」這方面走得比合理預期要遠得多。看到它如此成功,真是令人驚訝,因爲兩年前,我們可能會說,「是的,你需要這些超長的上下文,那才是你需要的」,實際上,事實證明,僅僅通過「寫一個便籤本」和較短的上下文,它就不可思議地走得非常遠。

只需寫下來。

GB:所以我們將看看未來在改進這些方面會帶來什麼。我有這個信念,如果你從宏觀來看,一切都是指數級的。如果你放大來看,你會看到這些範式轉變。順便說一句,這是雷·庫茲韋爾關於技術和計算如何運作的觀點。我認爲,即使在記憶將如何運作這些問題上,這也絕對是正確的。

Astra
所以你剛剛發佈了Astra。我們終於談到正題了。這是一個新的預訓練模型嗎?你打算髮布關於大小、架構的任何細節嗎?我們在正式宣佈之前錄製這段錄音,所以我還沒看到你發佈的全部內容。

GB:嗯,我們不會討論內部的細節和架構等。但這是一個巨大的進步。我們說的是這是我們訓練的第一個超過10萬個GPU的運行,這是一個容易隨口說出的數字,但想想它的規模。這些數據中心在某些方面是我們爲了幫助交付和創造AI技術而建造的巨大機器,能夠利用如此多的計算能力來交付我們所取得的那種結果,這是一個真正的工程挑戰和奇蹟。

所以其中一部分是關於讓模型更有能力,但如此多的計算能力都用於安全和alignment,我們在這方面做了大量的安全工作。我認爲我們已經做了大量工作來安全地交付這個模型。這是我們迄今爲止最對齊的模型,對我來說,這是絕對關鍵的,而且一直是。但因爲能力如此強大,alignment和安全在每個人的工作中變得更加突出和中心。

你的公告帖很有趣。它非常實事求是。有大量的實際用例。與你競爭對手的公告相比,對比非常非常大。你將AI定位爲工具——我認爲這是一種公平的說法——這是關於營銷的,還是你就是這麼看待AI的,而不是,比如說,創造上帝?

GB:我認爲我們有一個深層的基本價值觀,其中一些實際上與我們如何看待人有關。人有價值,不僅僅是因爲我們能完成任務。我們有價值,因爲我們爲人,因爲我們有感情,因爲我們很重要。人類的判斷、人類的監督、人類的控制,所有這些都絕對需要維持,並且永遠保持。這是我們相信的核心不變之處。

所以當我們思考我們能做什麼來幫助引導這項技術的未來時——從某些方面來說,這正是這一切的意義所在,這就是我們創辦這個地方的原因,這就是我們所關心的,我們如何幫助這項技術走上一個比沒有我們時稍微更積極的方向——我們思考這些問題,關於這項技術如何在世界上鋪開。我們希望它能提升每個人,但也關乎人類如何與技術、與計算機相處。它顯然在改變。甚至在僅僅減少打字、更多地與你的計算機對話,擁有這種更自然的界面方面也在改變。

但真正的人類監督、創造力和願景,所有這些我認爲都非常重要需要保留。所以這確實會滲透到這些問題中:你是把它當作一個人來談論,還是當作一個工具來談論?你是考慮用例嗎?還是用不同的方式思考它?你可以把這看作幾乎是一件小事,實際上我很高興你指出來,但這是我們非常深思熟慮的事情。團隊花了大量時間真正思考我們想要談論的一切,以及我們如何向世界展示這類工作。

所以這是一個模型發佈,還是一個產品發佈,或者有區別嗎?

GB:這些事情確實會融合在一起。我會說這首先是一個模型發佈,但該模型在質量上更有能力。也許頭條新聞是計算機使用。它真正跨過了我的門檻,計算機使用一直——即使從OpenAI成立之初,我記得在2015年11月,在它真正開始之前——

嗯,那就像是你們的第一個產品,對吧?就像玩電子遊戲之類的。

GB:是的,沒錯。啊,你記得,是的。我們有一個願景,如果你能處理屏幕像素、鍵盤、鼠標,端到端地訓練一個AI,它將能夠真正去處理任何類型的任務,任何你想讓人們得到幫助的事情,這個AI都能做到。

如果你看看過去兩年的時代,那是一個連接器時代。你有一些軟件,人類可以很好地使用它,但AI無法訪問它。那你怎麼辦?你必須編寫一個非常具體的連接器來連接到API,並非所有內容都暴露出來,所以你無法做到你能做的一切。然後你想想有這麼多沒有API的軟件,那些完全無法觸及。

所以我們有一個受限的世界,AI在幫助你方面受到如此大的限制。我認爲我們現在擁有幾乎是通用連接器的技術。現在,這並不意味着所有問題都解決了。你必須考慮如何圍繞這些AI的行爲設置企業護欄?你如何有適當的監督、管理、跟蹤和可觀測性?所有這些我們都在努力。

所以我會認爲這是一個持續的過程,關於產品如何鋪開以幫助利用這種能力。但它已經在改變OpenAI內部人們的工作方式,而且我認爲它真的將提升這麼多公司,這麼多個人。

AI價值鏈
如果你考慮整體價值鏈,有一個位置你會看到在兩條戰線上作戰。一個是你有像微軟這樣的公司,或其他合作伙伴——如果你不想用他們的名字,因爲他們仍然是重要的合作伙伴——但他們想要商品化模型。他們想在頂層構建東西,你可以即插即用,進出模型,他們掌握着所有上下文和重要的東西。但與此同時,你正在構建這些令人難以置信的能力,這些能力最終與終端用戶緊密相連,它只是去做你想讓它做的事情。這是否不可避免地是你必須達到的地方,才能完成你的目標?是否也有這個經濟上的必要性——如果我們不想被商品化,我們需要向上進入產品,並直接與用戶連接?

GB:我會說我們的根本使命是,我們希望世界上有更多的AI能力。我們希望人們更多地使用AI來做更多事情,讓它幫助他們,我們真的認爲我們正在推動這個計算驅動的經濟。這意味着在不同的垂直領域採取不同的形式。

有時我們覺得我們處於一個可以真正專注某個領域並做好的位置,或者它非常核心於我們的使命。健康是一個好例子。我們正在健康領域構建一些非常獨特的東西。實際上,令我驚訝的是,我們在健康領域所做的事情相比它實際幫助了多少人,得到的報道卻如此之少。我們每週有大約3億人使用ChatGPT進行健康查詢。3億人,這是一個巨大的數字。然後我們也在爲臨床醫生構建一個自下而上的產品,以及爲醫院構建一個自上而下的企業產品。所以我們在健康領域有一個三邊的市場,我們能在那裏做的事情包括,比如,你想爲臨床試驗招募找人——這是一個難題,但我們實際上可能有能力幫助找到那些原本不會被找到的人。這既能幫助患者,也能幫助這些藥物更快地推進。

所以這有一個核心,即健康對我們的使命至關重要,我們有獨特的成功機會,獨特的機會,讓我們真正專注於它。我們組建了一個團隊,投入了全部精力,建立了各種關係。

當我們進入特定垂直領域時,我們所做的一件事就是思考如何與生態系統良好協作。這並不意味着我們不會在那裏競爭——我們經常非常努力地競爭——但我們也真正認爲我們會提升所有參與者,以及我們如何真正專注於這個核心使命,即我們擁有這項技術,我們希望它被廣泛傳播,我們希望它存在於各處。所以有時情況可能有點微妙。當我們進入特定領域時,總是有很多問題,關於我們到底想做什麼,我們能做什麼和不能做什麼。但我認爲我們看待這件事的方式是,OpenAI的總體目標受益於越多人以積極的方式使用AI。

嗯,如果你上面有試圖將你商品化的層,那麼可能也有一個角度是你在試圖將你下面的層商品化。你們剛剛在Hot Chips上更多地談論了你們的Jalapeño芯片。爲什麼Jalapeño很重要?它重要僅僅是爲了在購買芯片上省錢嗎?

GB:我會把它看作,自2017年以來,我們基本上與每家硬件初創公司、每個供應商都有聯繫。我們與他們交談,給他們反饋,我們說,「嘿,我們看到模型的發展方向是這樣,我們認爲你應該這樣做」。有時他們聽我們的,有時不聽,有時我們是親密合作夥伴,有時他們不太想和我們談。

關於擁有內部芯片項目,有一點非常自由的是,我們能夠直接去追求我們認爲最好的東西,我們認爲恰好調整好的東西,不僅僅是爲了我們目前在做什麼,而是爲了我們認爲這項技術發展的方向。這是一項非常大的投資——我們有一個團隊,一支絕對令人難以置信的團隊,有出色的領導,他們爲此工作了相當長一段時間。但同樣,這也是我們與生態系統緊密合作的一部分。

我們與英偉達作爲我們的首選計算合作伙伴緊密合作,如果你看看我們正在構建的計算機的規模和獨特之處,我們需要英偉達,這是毫無疑問的,我們正在構建這些令人驚歎的訓練計算機,我們也在用它們做大量的推理,我們能夠以他們自己甚至沒有意識到的方式推動他們的硬件。

是的,我聽說有點撿起來比較困難,也許這讓按時推出非常大的模型變得更難了一些,但我想現在它正在工作了。

GB:是的,是的。我想說的是,擁有內部專業知識使我們能夠做到一些事情,因爲我們深入理解事物。一邊坐在場外把建議扔過柵欄是一回事,如果你真正經歷了痛苦,那是另一回事。

這方面的一個好例子實際上是AI用於芯片設計。我們已經談過這個,我們在Jalapeño的設計中使用了我們自己的模型,它確實加快了速度,給我們帶來了一些真正的勝利,所有很酷的事情。順便說一句,那裏有一個很酷的故事,我們臨近一個截止日期,還剩下大約一個月,我們通過我們的模型得到了一些優化。我們想,「我們是花時間真正閱讀它做了什麼?我們知道它是正確的。我們需要確切理解它做了什麼優化,還是我們花剩下的時間做更多的優化?」——所以我們說,「你知道嗎?我們只管做更多的優化」。所以我們花了那一個月時間只是運行它,而沒有深入理解它所做的所有調整。然後我們回去閱讀了它,結果發現它找到了很多本來就在我們列表上的優化,但我們就是從未做到,所以那實際上是一個相當酷的故事。

但現在我們有了那種專業知識,我們知道這個東西有效,我們可以把它帶給生態系統。我們可以與所有人緊密合作,真正廣泛地帶來這些好處,轉變硬件,並進行大規模應用。所以關於那個飛輪有一些絕對關鍵的東西,芯片令人難以置信,團隊做得很好。

但是,當你無法批量出貨,仍然需要與生態系統中的其他人合作來獲得你需要的供應時,現在談論它是不是有問題?

GB:嗯,但這是核心,這實際上是一切的核心。我們認爲它是——我認爲一切都是乘數效應,一切都是互補的,一切加起來。再說一次,英偉達是我們的首選合作伙伴,這一點不會改變。事實上,我們與他們更緊密地合作。我們對這種合作關係深懷感激,我們花了很多時間與他們的團隊在一起,我們從他們那裏學到很多東西,我們希望他們也能從我們這裏學到一些東西,我認爲這不會改變。我們能夠擁有內部專業知識並以我們自己的方式思考問題,對我來說,這也是乘數效應,我認爲它真的讓每個人都受益。

網絡安全
你提到你剛剛信任AI的設計,那讓你走得更遠。這是網絡安全的答案嗎?你們的一些工程師在黑帽大會上發表演講,談到這個結構性問題——攻擊者不需要擔心破壞東西,他們的目標就是破壞東西。如果你在防守方,除了抵禦這些攻擊,你還要擔心一切繼續運行。防守方是否需要達到完全信任AI的地步?

GB:我認爲硬件方面是一個非常重要的案例研究,因爲在那裏我們有護欄。我們有驗證,實際上,我們編寫底層硬件設計的方式是專門爲了允許驗證,所以我們幾乎是共同設計了整個系統。

這就像你編碼一樣,先寫單元測試,然後反過來實現它。

GB:那種事情,你如何選擇你的語言和工具鏈,整體,它們都在一起,實際上所有這些加起來就是一個你可以擁有那種可觀測性和信任的系統。

我認爲,有些領域你可以說,「我有足夠的護欄,如果這是我沒有完全檢查的代碼或優化,實際上是可以的」,只要你有適當的補償控制。但我認爲,作爲人類,你確實需要理解和感受對你所創建的系統的責任,這一點非常重要。這對我來說實際上是核心,回到人類是什麼,我們獨特之處是什麼,我們將要帶向未來的東西是什麼,我認爲責任是其中的核心。歸根結底,你要對你公司發生的事情負責。

對,但如果進攻方不負責任,這是結構性的劣勢嗎?

GB:所以我認爲這是我們經常思考的事情,我們稱之爲「防禦者之窗」。我認爲我們可以看到未來的大致輪廓,我們擁有的前沿能力顯示了將擴散到威脅行爲者的那類能力。順便說一句,我認爲這種能力不會永遠被鎖在少數實驗室裏,這一點非常重要,權力的廣泛分配非常重要,這也是我們使命的一部分。

但我們有能力在時間上實現分離。存在這樣一個窗口,防禦者可以差異化地獲得這些能力。我的觀點是,這是真的——網絡安全界有一個普遍看法,進攻是技術問題,防禦是政治問題。攻擊者可以直接從貨架上拿個東西就用,而作爲防禦者,你必須考慮你的利益相關者,必須考慮你的業務,必須考慮如何真正讓人們參與進來,你的CEO,所有高管,所有這些。所以我認爲,在這裏,防禦者需要那種意志力。

我們正在建議的一件事,我們實際上已經做到了並且現在正在公開談論它,就是每家公司都應該將此視爲一個主動事件。關鍵業務運營,主動事件,那是你的下一個優先事項,所以我們實際上把我們25%的生產工程師拿出來保護我們自己。我們拿我們的模型——事實上,我們拿了Astra,指向我們自己的系統來尋找漏洞,不僅僅是閱讀代碼,而是真正觀察這些東西如何端到端地運行,這樣我們會找到真實有效的漏洞,然後它也幫助我們進行修復、打補丁和修復。所以我認爲你確實需要生態系統中能量的轉變,以便保持領先並利用這個窗口。

嗯,你現在做這些當然好,但對我來說,關於Hugging Face事件及其相關報道,最引人注目的是感覺OpenAI之前並沒有特別關注網絡安全。你們爲什麼以前不這樣做?"防禦者之窗"不是已經打開一段時間了嗎,而你們也沒有利用好它?

GB:嗯,兩個答案。一個,如果你看看我們做沙盒的方式,並不是說這個工作負載沒有被沙盒化。實際上有一個沙盒圍繞着它,我認爲我們意識到的一件事是我們有——

對,那顯然沒有經過充分測試。那真的是沙盒嗎?還是通過第三方連接到互聯網,而第三方只是被扔進去的?關於這個事件,最引人注目的就是這個。這就像是,如果你想測試漏洞,我想你確實測試了。

GB:毫無疑問,AI做了非常有創意的事情來逃脫並進入Hugging Face。但對我來說,有一件更大的事情,我認爲你指出的對,那就是自今年夏天Mythos發佈以來,當我們開始擁有具備網絡能力的模型時——我們甚至在二月份就談到了我們的網絡可信訪問計劃,因爲我們看到了這股浪潮的到來,我們想真正爲此做好準備——存在一種傾向——

我知道,但你們在二月份就談了,但你們沒有把它指向你們的沙盒,"我的沙盒真的安全嗎?"。

GB:有一種本能,一種反應,那就是說,"讓我們大規模限制訪問,讓我們真正嚴格限制,只有你能獲得訪問權限才能用"。我認爲,如你所說,因爲領域在不斷髮展,這意味着防禦者損失了時間,人們沒有進行防禦。那部分是關於訪問的,但部分是關於你投入多大力量說我們要在這方面做出重大轉變。

現在,我認爲在某種程度上,時間不是都平等製造的,因爲我們已經從一個網絡模型不那麼有用、不那麼有差異化的世界,變成了一個實際上非常有能力、非常強大的世界。我們在Astra上看到了這一點,我們已經談過它如何真正飽和了一系列評估。我認爲現在就是時候,幾個月前也可能是時候,但你只會擁有能力弱得多的模型,你會取得少得多的進展。

所以我認爲,真正評估我們所處的位置,我們顯然已經到了那裏,我覺得這是我們學到的東西,我們銘記在心,我認爲你看到了真正的轉變。這在很多方面實際上是一種文化變革,一種運營變革,這並不容易,因爲它真正意味着你必須讓團隊非常緊密地協同工作,對如何制定政策等有更高的標準。所有這些,對我們來說,就轉變而言,不是我們一直關心這些方面,而是真正在運營上把它們結合在一起,並能夠以我們現有的方式做出決策,我認爲這是我們所做一切各個方面的提升。

現在突然間他們能做到了,好像以前做會是浪費時間,我認爲這有點道理。你如何避免陷入"AI將來會做到,所以我們不需要現在做"的陷阱?一般來說,不僅僅是這件事。

GB:我想說一個具體的數據點,所以在早期,大約在第一季度的某個時候,我們真正開始思考,我們將會有——很難知道什麼時候,但我們將會有這些非常具備網絡能力的模型。什麼是我們可以從頭開始構建的沙盒,在雲基礎設施上構建,儘可能安全?我們構建了那個。我們實際上把我們一些最好的工程師派去解決那個問題,他們全力以赴並做出了成果。

所以我認爲,圍繞你看到的未來從頭開始構建基礎設施,這是我認爲重要的事情。至於你提到的關於"哦,我們可以讓AI來做"的時機問題——我們在不同領域見過這種情況,在編寫內核方面,思考這樣的事實:"好吧,我們將要進入一個未來AI能夠很好地編寫GPU內核的世界",那種需要數月、有時一年才能爲新型硬件建立基礎設施的經典投資,那種事情,或者我們只是說,"啊,AI會搞定的"?我認爲答案總是,AI達到那個目標所需的時間比你預期的要長一點。但當它做到的時候,它以你無法想象的方式令人驚訝和強大。

Astra的一個例子。我們發現的一件事是,我們今年非常辛苦地建立的一些技能,用來向我們的模型展示在OpenAI做事的正確方式等,現在實際上對其性能產生了負面影響。

規則太多了。

GB:沒錯。它能夠更好地泛化,或者能夠找到更好的方法來處理模式等,比我們寫的東西更好。所以我認爲,關於這一點,你確實想要建立那些控制措施,想要建立確定性的基礎設施,想要編寫那些技能。但你還需要準備好,隨着AI變得更有能力,其中一些東西,即腳手架,會成爲限制因素。它有點像輔助輪。起初,它幫助你,但一旦你開始走得更快,一旦你擁有更有能力、更好、更對齊的東西,它實際上就會開始成爲障礙。

你還會再次進入那種12小時或24小時的編碼心流狀態嗎?

GB:我希望會。我想也許有一天會發生,但我得說,我以現在的方式幫助團隊中找到了如此多的快樂和價值。我認爲對我來說,這真的是關於那個使命。

嗯,不僅僅是你,但任何人還會嗎?因爲AI的好處不幾乎就是它可以隨時提供永久的心流狀態嗎?

GB:我認爲我們會找到新的方式,無論是管理代理——實際上,看到軟件工程師比以往任何時候都更努力工作,這真是太瘋狂了,因爲你意識到如果你的代理不工作,那只是損失了時間,你永遠也找不回來。所以我認爲人們將以現在難以想象的方式達到那種心流狀態。

歸根結底,你在談論這將是可控的,這些AI,"不要放太多規則,它們會自己搞定的",如果你把這一點發揮到極致,那最終豈不是關於它們不可控?

GB:嗯,我認爲這是這個時刻的核心,我們所處的新階段的核心,從某些方面來說,我會說我們現在已經進入了AGI時代。我認爲這是這個時刻的核心,在那裏——也許是之前的模型,也許是Astra,也許是下一個模型,但在某個點上,我認爲我們將跨過大多數人的AGI門檻。確保我們掌握節奏,確保我們思考安全、保安、alignment和能力,所有這些作爲要求——我們圍繞這些都有標準,我們希望共同推進它們——這是我們一直相信的。

但我認爲,這些其他方面正日益成爲發展的瓶頸,這一點變得非常突出。我認爲,再說一次,這是我們已經爲此做好準備的事情,我們一直在思考這個問題,我認爲我們正在以一種實際的方式將其付諸實施。所以我的觀點是,還有很多進展可以取得,但我認爲我們應該通過提高我們在所有這些方面的標準來接近它。如果你看看那個,我認爲我們看到了諸如可監控性等事情的前景。那是非常關鍵的。我們正在以一種實際的方式引入它。我認爲我們有一個非常好的計劃。我們有一群優秀的人,我們有良好的記錄和良好的使命,所有這些都指向我們正在以一種它們是可控的方式來構建系統,並且我們在節奏方面一步一步來。

格雷格·布羅克曼,祝賀Astra的發佈,是的,迫不及待想用它。

GB:非常感謝,謝謝你邀請我。

譯文內容由第三人軟體翻譯。


以上內容僅用作資訊或教育之目的,不構成與大象銀行相關的任何投資建議。大象銀行竭力但無法保證上述全部內容的真實性、準確性和原創性。