• 发文
  • 评论
  • 微博
  • 空间
  • 微信

专访Sam Altman:事关OpenAI、GPT-5、Sora、Elon Musk、AGI……

数智研究社 2024-03-21 09:19 发布于北京 发文

介绍

Sam Altman(00:00:00)

我相信计算能力将会成为未来的“货币”。它可能将成为世界上最珍贵的商品。我预计在本十年结束,甚至可能更早之前,我们将拥有一些强大的系统,让我们惊叹不已。我预见通用人工智能的发展将会引发一场巨大的权力争夺,我相信这将会发生。

Lex Fridman(00:00:26)谁能首先建立起通用人工智能,谁就将掌握巨大的权力。你觉得自己能够承受这么大的权力吗?

(00:00:36)下面是我和Sam Altman的一段对话,这是他第二次参加这个播客节目。他是OpenAI公司的CEO,这家公司开发了GPT-4、ChatGPT、Sora等项目,也许有一天,会成为建立起通用人工智能的公司。这是Lex Fridman的播客节目。如果您愿意支持我们,请查看描述中的赞助信息。现在,请欢迎我的朋友们——Sam Altman。

OpenAI董事会纷争

(00:01:05)能否让我了解一下11月16日星期四开始的OpenAI董事会纷争?也许对你来说是星期五的11月17日。

Sam Altman(00:01:13)那无疑是我职业生涯中最痛苦的经历,一片混乱、羞愧、困扰和种种负面情绪。当然,这其中也有一些好的部分,但我只是希望在那种剧烈的紧张感中,我能有机会停下来欣赏它们。我回顾了我那段时间发的一条推特,看到它就像是自己在听自己的悼念词,看着人们对我说出所有这些赞美的话,还有我关心和爱护的人们给予我无比的支持,那真的很令人感动。整个那个周末,除了一件重大事件外,我感到了大量的爱,而恨的情绪很少,尽管我感觉我不知道将要发生什么,我也不知道接下来会怎样,这真的感觉很糟糕。有时我甚至认为这可能会成为AI安全历史上最糟糕的事件之一。但说实话,我很庆幸这件事在相对早的时期就发生了。我预感在OpenAI开始运作和我们成功创建通用人工智能的间隙,会有一些疯狂和震撼的事件发生,而且可能会有更多这样的事情即将发生。不过,我依然坚信,这些经历帮助我们增强了抵抗压力的能力,让我们更好地应对未来可能出现的挑战。

Lex Fridman(00:03:02)但你有没有预感自己会经历某种权力斗争呢?

Sam Altman(00:03:08)我预见通用人工智能的道路将会是一场巨大的权力斗争。

Lex Fridman(00:03:17)所以你必须去经历这种情况,就像你说的,尽可能多地进行尝试和改进,以找出如何建立董事会的结构,如何有组织,如何选择合作伙伴,如何沟通所有这些,以尽可能地缓解权力斗争。

Sam Altman(00:03:37)是的。

Lex Fridman(00:03:37)平息它。

Sam Altman(00:03:38)但在这个阶段,过去那些令人难过、困难和痛苦的事情感觉就像是历史。我们又回到了工作中,每天的事情繁忙而紧张到我几乎没有时间去思考过去的事情。过去那段时间,我仿佛身处迷离的状态,在那大约一个月,或者说45天的时间里,我像是在生活中漂浮,感到十分低落。

Lex Fridman(00:04:17)那是从个人的心理层面上讲的吗?

Sam Altman(00:04:20)是的。真的很痛苦,而且在那段时间里还要继续经营OpenAI真的很难。我只想找个地方躲起来,好好休息一下。但现在我们又回到了执行我们的使命。

Lex Fridman(00:04:38)嗯,回顾并反思董事会结构,权力动态,以及公司如何运营等问题仍然是有用的,这包括研究和产品开发之间的紧张关系,还有金钱等所有这些问题。这对你这样有很高可能性建立通用人工智能的人来说,你可以在未来以更有组织、更低调的方式去工作。所以,对你作为领导者的个人心理方面,以及董事会结构和所有这些复杂的事情进行反思,是有价值的。

Sam Altman(00:05:18)我从这次经历中学到了很多关于结构、激励,以及我们需要从董事会中得到什么的知识。我认为,从某种意义上说,这次事件的发生是有价值的。我认为这可能不是OpenAI最后一个高压力的时刻,但这的确是一个压力很大的时刻。我的公司差点就被摧毁。我们在考虑通用人工智能需要做对的许多其他事情,但是思考如何建立一个有韧性的组织,如何建立一个能够承受世界压力的结构,我预计压力会随着我们对通用人工智能的接近而增加,我认为这是非常重要的。

Lex Fridman(00:06:01)你是否了解董事会进行深度和严谨讨论的过程?你能否对此类情况下涉及的人际动态进行一些解释?是不是只经过了几次对话,然后情况突然升级,为什么我们不解雇Sam?

Sam Altman(00:06:22)我认为董事会成员大体上都是有良好意愿的人,我相信在紧张的情况下,人们会理解并做出非最优的决策。我认为OpenAI将面临的一个挑战是我们需要有一个董事会和团队,他们能够在压力下良好地工作。

Lex Fridman(00:07:00)你认为董事会拥有太多权力了吗?

Sam Altman(00:07:03)我认为董事会应该拥有很多权力,但我们确实看到在大多数公司结构中,董事会通常需要对股东负责。有时候人们拥有超级投票权。在这种情况下,我认为我们在结构上可能应该考虑更多的是,除非你设定其他规则,否则非营利组织的董事会拥有相当大的权力。他们真正要负责的只有他们自己。这有其好处,但我们真正希望的是OpenAI的董事会能对全球公众负责,只要实际可行。

Lex Fridman(00:07:44)所以新的董事会已经宣布了?

Sam Altman(00:07:46)是的。

Lex Fridman(00:07:47)我猜首先是一个较小的新董事会,然后现在有一个最终的新董事会?

Sam Altman(00:07:53)还没有最终的董事会。我们已经添加了一些,我们还会继续添加。

Lex Fridman(00:07:56)已经添加了一些。好的。新董事会修复了什么可能在以前的董事会中出现的问题?

Sam Altman(00:08:05)在大约一年的时间里,原有的董事会规模缩小了。原本有九人,后来减少到六人,并且我们无法达成一致关于应该添加谁的问题。我认为董事会可能也没有很多有经验的成员,而OpenAI新的董事会成员中有更多具有董事经验的人。我认为这会有所帮助。

Lex Fridman(00:08:31)一些新增的董事会成员受到了批评,例如我听说很多人批评加入了Larry Summers。选择董事会的过程是什么?那包含什么?

Sam Altman(00:08:43)

布雷特和拉里的决定是在那个充满压力的周末的紧急时刻做出的,那个周末的经历就像坐过山车一样。起起落落,充满了变化。我们试图达成一个关于新董事会成员的协议,这些成员需要得到内部执行团队和旧董事会成员的认可。拉里其实是旧董事会成员的提议之一。关于布雷特,我记得我可能在那个周末之前就提过他,但他那时非常忙,不想接受。我们考虑过很多其他人选,但是我觉得,如果我要回来,我需要新的董事会成员。我觉得我无法再和旧的董事会以之前的配置方式继续合作,尽管后来我们决定,我很感激亚当能够继续留下,但是我们考虑了各种配置,最后决定构建一个由三个人组成的董事会,并在短时间内寻找两个新的董事会成员。

(00:09:57)所以这些决定实际上是在紧急情况下做出的…你在战场上做出这样的决定。在那种情况下,你没有时间去设计一个严谨的流程。对于未来的新董事会成员,以及我们将要增加的新董事会成员,我们设定了一些我们认为对董事会非常重要的标准,我们希望董事会具备不同的专业知识。与聘请执行职务的员工不同,需要他们在某一角色中表现出色,董事会需要在治理和思考方面表现出色,因此,我特别认同布雷特的观点,即我们应以团队的方式聘请董事会成员,而不是一次只聘请一个人。我们考虑的是一组人,他们具有非营利性专业知识、有公司运营经验,以及良好的法律和治理专业知识,这些正是我们正在努力优化的地方。

Lex Fridman(00:10:49)那么对于董事会成员来说,是否需要具备精湛的技术?

Sam Altman(00:10:52)不是所有的董事会成员都需要,但肯定有一些人需要具备这种技能。这是董事会需要执行的任务之一。

Lex Fridman(00:10:57)关于OpenAI,我认为人们可能不太了解,我也是,那就是运营业务的所有细节。当他们考虑董事会时,考虑到那些风波,他们可能会想到你。他们会想,如果你成功实现了AGI,或者你创造并部署了一些极具影响力的产品,那么与董事会的对话将会是怎样的?他们可能会想,面对这种情况,需要哪种类型的团队来进行讨论和决策?

Sam Altman(00:11:25)你看,我认为你确实需要一些技术专家在那里。然后你需要一些人,他们会思考,“我们如何运用这个最能帮助世界上的人们?”以及那些拥有完全不同观点的人。我认为你或我可能会犯的一个错误是认为只有技术理解才重要,这当然是你想让董事会讨论的一部分,但是讨论应该更多关于这个技术会如何影响社会和人们的生活。

Lex Fridman(00:11:56)你是查看人们的过往表现,还是只进行对话?

Sam Altman(00:12:00)过往表现是非常重要的。当然你会进行很多对话,但有些角色我会完全忽视过往表现,只看他们的进步速度,而忽视他们的起点。

Lex Fridman(00:12:18)谢谢。感谢你为观众引入数学概念。

Sam Altman(00:12:21)对于董事会成员,我确实更关心他们的起点。我认为过往表现里面有一些深层次的信息,而且经验是无法替代的。

Lex Fridman(00:12:32)你试图将多项式函数或指数函数拟合到过往表现上吗?

Sam Altman(00:12:36)这个类比并不能太过深入。

Lex Fridman(00:12:39)好的。你提到了那个周末的一些低点。对你来说,心理上的一些低点是什么?你是否考虑过去亚马逊丛林,只是服用迷幻药物并永远消失?

Sam Altman(00:12:53)那是一个非常糟糕的时期。但也有一些很好的时刻。我的手机经常收到我每天工作的人,甚至我十年没联系过的人发来的友好信息,这真的很棒。但是由于我处在这场混战的中间,我没能像我应该的那样欣赏它,但那真的很好。总的来说,那是一个非常痛苦的周末。这场在公众眼前的争斗让人震惊,这让我感到极度疲惫,比我预期的还要多。我认为争斗通常都很累人,但这场真的很累。该董事会在周五下午做出了决定。我真的得不到多少答案,但我也只是想,好吧,董事会有权这样做,所以我会花些时间思考我想做什么,但我会试图在这里找到隐藏的幸运。

(00:13:52)当时我在想,我现在在OpenAI的工作就是,或者应该说,是管理一个到此为止规模还算不小的公司。我最享受的部分总是和研究们的互动。我在想,对,我可以去投入到一个十分专注的通用人工智能 (AGI)研究中。这个想法让我感到很兴奋。当时我甚至都没想到这一切可能会被全部撤销。那是周五的下午。

Lex Fridman(00:14:19)所以你已经接受了这个事实-

Sam Altman(00:14:22)非常快速。非常快速。我经历了一个短暂的困惑和愤怒阶段,但很快就过去了。周五晚上,我已经在和别人讨论接下来会发生什么,我对此感到很兴奋。我记得是周五晚上第一次听到执行团队这样说:“嘿,我们要反击。”然后我就去睡觉了,仍然保持着那份兴奋。向前看。

Lex Fridman(00:14:52)你能够入睡吗?

Sam Altman(00:14:54)并没有睡很多。有那么四天半的时间,我几乎没怎么睡,也没怎么吃,奇怪的是我仍然有很多精力。在战时,你会对肾上腺素有一些奇特的了解。

Lex Fridman(00:15:09)所以你接受了OpenAI,这个你的宝贝的消亡。

Sam Altman(00:15:13)我对新的事物感到兴奋。我只是想,“好吧,这有点疯狂,但那又如何。

Lex Fridman(00:15:17)这是非常好的应对机制。

Sam Altman(00:15:18)然后周六早上,两位董事会成员给我打电话说,“嘿,我们并不是要破坏事情。我们不想让这里失去很多价值。我们能谈谈你回来吗?”我当时立刻就不想答应,但我又想了一下,我真的很在意这里的人,我的伙伴,股东。我喜欢这家公司。于是我想了想,我说,“好吧,但这是我需要的条件。”然后那个周末的过程中最痛苦的时刻就是,我一直在思考并被告知,不仅仅是我,这里的整个团队都在想,我们正在努力让OpenAI保持稳定,而整个世界似乎都在试图将其分裂,人们试图招揽一些人。

(00:16:04)我们一直被告知就快好了,就快好了,只是还需要一点点时间。那是一个混乱的状态。然后在周日晚上,我其实每隔几个小时都期待着事情会告一段落,我能够重新回归,一切又能恢复如初。然后,董事会任命了一位新的临时CEO,那一刻我觉得真的很难受。那是整个事件的最低点。我要告诉你的是,那时候虽然心里很痛苦,但在那整个周末,我都深深地感受到了人们的关爱。除了周日晚上的那一刻之外,我并没有真正体验到愤怒或仇恨,反倒是感到了来自人们,对人们的深深的爱。那的确是痛苦的,但那个周末的主要情绪其实是爱,而不是仇恨。

Lex Fridman(00:17:04)你对Mira Murati的评价很高,你在推特上说她在那些寂静的时刻给了你很大的帮助。或许我们可以稍微偏离一下主题,你对Mira有什么敬仰之情?

Sam Altman(00:17:15)嗯,她在那个充满混乱的周末表现得非常出色,但人们通常只在危机时刻看到领导者的身影,无论好坏。然而,我真正认可的领导者特质,是他们如何在一个普通的周二上午9:46,或是在日常琐事中表现。一个人如何在会议中应对,他们做出的决定有多高的质量。这就是我所说的那些寂静的时刻。

Lex Fridman(00:17:47)这就是说,大部分的工作其实都是在日复一日,一次又一次的会议中进行的,只需全神贯注并做出明智的决定。

Sam Altman(00:17:58)是的。你看,你可能对过去的20分钟里那个戏剧性的周末比较感兴趣,我能理解。但这并不是OpenAI真正关心的。OpenAI真正关心的是其他的七年时间。

Lex Fridman(00:18:10)嗯,确实如此。人类文明并不只是关于纳粹德国侵略苏联,但我们仍然会关注这种事情。

Sam Altman(00:18:18)我完全理解。

Lex Fridman(00:18:19)这能帮助我们更深入地理解人性,理解人性的极限,也许在这些时刻,人类文明的一些伤痛和胜利都会显现出来,这是很有启示意义的。那么,让我问你一下关于Ilya的事,他现在被秘密的核设施拘禁了吗?

Ilya Sutskever

Sam Altman(00:18:36)没有的。

Lex Fridman(00:18:37)那么普通的秘密设施呢?

Sam Altman(00:18:39)不。

Lex Fridman(00:18:40)或者一个并非秘密的核设施呢?

Sam Altman(00:18:41)也不是。也不是那个。

Lex Fridman(00:18:44)这最终将成为一个梗。你和Ilya认识已经很长时间了。他显然是董事会争论等所有事情的一部分。你现在和他的关系如何?

Sam Altman(00:18:57)我喜欢Ilya。我对Ilya极度尊重。我现在并不能说出关于他计划的任何事情。这个问题他更清楚,但我真心希望我们能在我职业生涯的剩余时间里一直一起工作。他比我年轻一点。也许他工作的时间会更长一些。

Lex Fridman(00:19:15)有种说法是他看到了什么,比如他可能看到了通用人工智能,这让他内心深感忧虑。Ilya看到了什么?

Sam Altman(00:19:28)Ilya并未看到通用人工智能。我们都没看到过通用人工智能。我们还没有构建出通用人工智能。我确实认为Ilya的许多优点之一就是他对通用人工智能以及安全问题,广义地说,包括这会对社会产生什么影响等等,都非常认真。而且随着我们持续取得显著的进步,Ilya是我在过去的几年里花最多时间讨论的人之一,关于这个问题,我们需要做什么来确保我们做得对,确保我们成功完成任务。所以Ilya并未看到过通用人工智能,但Ilya对人类做出了极大的贡献,关于他如何思考和担忧如何确保我们做对这个问题。

Lex Fridman(00:20:30)我过去与他有过很多对话。我认为他谈论科技时,总是在做这种长期思考类型的事情。所以他并没有在想明年这将会变成什么。他正在想10年后,从根本原则出发,比如,“好的,如果这个东西扩大了,基本原则是什么?这将会走向哪里?”因此,这是他思考所有其他安全问等等的基础,这使他成为一个与之交谈非常有趣的人。你有任何关于他为何保持沉默的想法吗?他是在进行一些深度反思吗?

Sam Altman(00:21:08)再次声明,我不想替Ilya发言。我觉得你应该直接问他。他是个很有思想的人。我总觉得伊利亚以一种非常积极的方式在进行自我探索。

Lex Fridman(00:21:27)是的,没错。此外,他懂得欣赏沉默的力量。我也听说他有时会展现出很滑稽的一面,但我还没见过。

Sam Altman(00:21:36)当他这样的时候,真的很可爱。

Lex Fridman(00:21:39)我还没见过滑稽的Ilya,但我也期待见到。

Sam Altman(00:21:43)我最近和他一起参加了一个晚餐聚会,看到他正在和一只小狗玩耍,他的行为非常滑稽,也非常让人喜欢。我当时在想,哦,这个世界大部分人并没见过的Ilya的一面。

Lex Fridman(00:21:55)所以,总结一下,你对董事会结构感觉如何?

Sam Altman(00:21:55)是的,我觉得很好。

Lex Fridman(00:22:01)…以及对整个情况以及未来的发展方向?

Sam Altman(00:22:04)我对新的董事会非常满意。在OpenAI的架构方面,董事会有任务来研究我们如何能使其更稳健。我们希望首先确定新的董事会成员,但是在这个过程中我们显然对结构有了新的理解。我没有什么深入的想法要表达。那是一次疯狂而痛苦的经历,就像是一场完美的风暴。对我来说,这是对未来可能发生的事情的预览,随着风险越来越大,我们需要有更稳健的治理结构、流程和人员。我很庆幸这些在早期就发生了,尽管它是一次令人震惊的痛苦经历。

Lex Fridman(00:22:47)这是否让你对信任他人更加犹豫?

Sam Altman(00:22:50)是的。

Lex Fridman(00:22:51)你是从个人角度来说的吗?

Sam Altman(00:22:52)是的。我一直认为我是一个非常愿意信任他人的人。我总是坚持一种生活哲学,即不要总是过于焦虑,不要总是担心那些极端的情况。即使为了能够放下防备,稍微承受一些不利的情况,我也愿意。但这次的事情对我来说真的非常震惊,我完全没有预料到。我并不喜欢这种感觉,这绝对改变了我对于默认信任他人以及为坏情况做计划的态度。

Lex Fridman(00:23:21)你得谨慎对待这个。你担心会变得过于愤世嫉俗吗?

Sam Altman(00:23:26)我并不担心会变得过于愤世嫉俗。我觉得我是一个极度乐观的人,但我担心的是我可能会变得不再那么容易相信他人。

Lex Fridman(00:23:36)其实,对于正在研发通用人工智能的人来说,到底是选择信任还是不信任的方式更好,我也不太确定。你现在正在经历的这个过程非常有趣。但在大体结构上,我更感兴趣的是人的因素。你是如何找到那些能够制造出独特创新,同时又能作出明智决策的团队的呢?因为随着你开始赚取更多的收入,你的影响力也在增加,这个过程中会遇到越来越多奇怪的人。

Sam Altman(00:24:06)我想你可能会对董事会成员以及我应该对他们有怎样的信任,或者我应该如何做出不同的决定提出各种观点。但就团队本身而言,我认为你会对我给出很高的评价。我对我每天工作的人们深感感激,我对他们充满了信任和尊重,我认为能和这样的人一起工作真的非常重要。

和马斯克的官司

Lex Fridman(00:24:39)埃隆马斯克,我们都熟识的那位,他起诉了 OpenAI。你认为他的批评主要指向哪些方面?他在何种程度上是对的?又在何种程度上是错的?

Sam Altman(00:24:52)我真不清楚这具体是关于什么的。我们最初只想成为一个研究实验室,对这项技术的发展方向并无清晰想法。因为那是七八年前的事,真的很难回到过去再次感受那时的情况。但那是在大语言模型成为热门话题之前的时代。那个时候,我们对于开发API或者出售聊天机器人这样的概念毫无概念。更别提我们会将研究成果产品化。所以我们当时的想法是,“我们只是想去做研究,至于研究成果用来做什么,我们还真不清楚。”我认为,对于许多全新的事物,你开始时总是摸黑前进,在过程中做出一些假设,而大多数假设最终证明是错误的。

(00:25:31)然后我们明白了我们需要改变做事的方式,还需要大量的资本投入。于是我们说,“好的,当前的结构似乎不太符合需要。我们应该如何调整这个结构呢?”然后你开始一次次地调整,最终你得到的东西看起来可能会令人惊讶。但我们是在不断试错,并且我认为我们在每个阶段都做出了合理的决策。这并不意味着如果我们能回到过去,我不会用另一种方式去做。但是你当时并没有预知未来的能力。但无论如何,关于马斯克的真实动机,我并不清楚。

Lex Fridman(00:26:12你还记得OpenAI在博客文章中是如何回应的吗?你能简单总结一下吗?

Sam Altman(00:26:21)哦,我们只是说马斯克说了一堆事情。这是我们对事情发展的描述,或者说,这不是我们自己的描述,而是对事情发展过程的描述。我们尽量做到客观理智,只是说,“这就是事情发展的历史。

Lex Fridman(00:26:44)我确实觉得马斯克对你刚才提到的你们当时的不确定性有所误解。你们那时只是一小群研究者,当所有人都嘲笑通用人工智能的想法时,你们却正在热衷地讨论它。

Sam Altman(00:27:09)不久前,马斯克也曾热衷于讨论火箭发射的想法,而当时人们也嘲笑他,所以我认为他应该能理解我们。

Lex Fridman(00:27:20)我还是觉得这里面有些个人情感的问题,OpenAI 和一些优秀的同事选择与马斯克分道扬镳,所以这也是一种个人情绪。

Sam Altman(00:27:34)马斯克选择了离开。

Lex Fridman(00:27:37)你能详细描述一下他离开的情况吗?

Sam Altman(00:27:42)他认为OpenAI会失败。他希望完全掌控并能够扭转局面。我们则想继续按照现在的方向前进,这也是现在的OpenAI。他还希望特斯拉能进行通用人工智能的开发。他曾多次提出想把OpenAI变成一个他能掌控的盈利公司,或者与特斯拉合并。但我们并不想这样做,于是他决定离开,这也没什么。

Lex Fridman(00:28:06)所以你的意思是,正如博客文章所说,他希望OpenAI能被特斯拉收购,就像与微软的合作伙伴关系,或者可能更深入一些。

Sam Altman(00:28:23)我的记忆中的提议就是,让特斯拉收购OpenAI并全权掌控。我非常确定就是这样。

Lex Fridman(00:28:29)那么,对于马斯克来说,OpenAI中的'open'一词是什么意思呢?我记得Ilya在电子邮件交流中有提到这个问题。那么对于你来说,当时它的意思是什么?现在又是什么意思呢?

Sam Altman(00:28:44)如果说回溯,我可能会选择一个不同的名字。我认为OpenAI正在做的最重要的一件事就是把强大的技术免费提供给公众,作为一种公共利益。我们在免费版本上不运行广告。

Sam Altman(00:29:01)作为一种公共利益。我们的免费版本不运行广告,也不通过其他途径进行盈利。我们认为这是我们使命的一部分。我们希望免费将越来越强大的工具提供给人们,并让他们使用。我认为这种开放性对我们的使命至关重要。我相信,如果我们提供优秀的工具给人们,教他们如何使用,甚至不用教,他们也会自己弄明白,然后利用这些工具为彼此创造一个美好的未来,那就太好了。所以,如果我们能继续提供免费或低成本的、强大的人工智能工具,我认为这对我们实现使命来说是非常重要的。至于是否开源,我觉得我们应该开源一部分东西,对另一部分则不必。这的确会形成一种争论的焦点,其中的微妙之处可能难以把握,但我认为找出这种微妙之处才是正确的答案。

Lex Fridman(00:29:55)所以他说,“把你的名字改为CloseAI,我就撤销诉讼。”我的问题是,这是否会在关于名字的网络热词战场上引起争议?

Sam Altman(00:30:06)我认为这体现了马斯克对诉讼的严肃态度,我觉得这是一个很令人震惊的事情。

Lex Fridman(00:30:23)可能我理解错了,但我认为这场诉讼在法律上并不严重。它更像是想要表达关于未来通用人工智能及目前领先的公司的看法。

Sam Altman(00:30:37)其实,Grok在被别人指出有些虚伪之后,才开始尝试开源。但我并不认为他真正关注的问题是是否开源。

Lex Fridman(00:30:48)好的,我们以后可以再讨论关于开源的问题。我觉得批评竞争对手是好事,说些狠话也没关系。但我更倾向于友好竞争,而不是诉讼。

Sam Altman(00:31:01)我觉得这件事对于一个建设者来说十分不恰当。我一直尊敬马斯克,他是我们这个时代的伟大建设者之一。我知道他深受那些恶意攻击的困扰,所以他现在的行为让我感到更加难过。

Lex Fridman(00:31:18)是的,他可能是有史以来最伟大的建设者。

Sam Altman(00:31:22)这让我感到悲伤,我想很多人都会有同样的感觉。很多人一直都很尊敬他。我在某次采访中说我怀念以前的马斯克,然后我收到了很多跟我有同样感觉的回复。

开源

Lex Fridman(00:31:36)我认为他应该专心于竞赛,让X Grok和GPT进行公平竞赛,这样对所有人来说都是美好的。至于开源的问题,你认为有很多公司在考虑这个想法吗?这是一个非常有趣的问题。我觉得Meta在这方面走在了前面,他们是第一个真正开源模型的公司。当然,他们开源的并不是最先进的模型,Llama Google也在考虑开源一个较小的版本。对于开源,你认为有哪些利弊?你曾经考虑过这个问题吗?

Sam Altman(00:32:22)是的,我认为开源模型肯定有一席之地,尤其是人们可以在本地运行的较小模型,我认为对此有很大需求。我认为会有一些开源模型,也会有一些闭源模型。这并不会出乎其他生态系统的预料。

Lex Fridman(00:32:39)我听了关于这起诉讼和所有这类事情的全部播客。他们更担心从非营利性转变为有盈利上限的先例。这为其他创业公司设定了什么先例吗?

Sam Altman(00:32:56)我会强烈劝阻任何计划从非盈利创业开始,后期增设盈利部门的公司。我会强烈劝阻他们这么做。我不认为我们会设定一个先例。

Lex Fridman(00:33:05)好的。所以大多数创业公司应该……

Sam Altman(00:33:08)当然。

Lex Fridman(00:33:09)再说一次。

Sam Altman(00:33:09)如果我们早知道会发生什么,我们也会那样做。

Lex Fridman(00:33:12)嗯,在理论上,如果你在这里操作得当,有一些税收激励或者什么,但是...

Sam Altman(00:33:19)我不认为大多数人会从这个角度考虑这些事情。

Lex Fridman(00:33:22)如果你这样做,对于创业公司来说,根本不可能节省很多钱。

Sam Altman(00:33:27)不,我认为有些法律会使这变得非常困难。

Lex Fridman(00:33:30)你希望与马斯克的关系如何发展?这种紧张,这种舞步,你希望这是什么?如果我们从现在起1、2、3年后,你与他的个人关系,比如友谊,友好的竞争,所有这种类型的事情。

Sam Altman(00:33:51)是的,我真的很尊重马斯克,我希望未来几年我们能有一个和睦的关系。

Lex Fridman(00:34:05)是的,我希望你们两个这个月就能有一个和睦的关系,只是竞争和获胜,一起探索这些想法。我猜想有些人才竞争或者什么的,但是应该是友好的竞争。只是创造创新的产品。马斯克在创造创新产品方面非常厉害。你也是。

Sora

(00:34:32)所以,说起Sora,这真是个很酷的话题。我可以问很多问题。首先,我得说它真的很神奇。无论是从产品层面还是哲学层面看,都是如此。那么,我现在想提一个技术/哲学相关的问题,你认为在对这些图像片段与语言token进行训练时,它对世界的理解比GPT-4是多还是少?

Sam Altman(00:35:04)我觉得所有这些模型对世界模型的理解都比我们认为的要多。然而,因为它们也存在很多明显的误解或者错误,我们很容易就注意到它们的弱点,然后说,“看,这都是假的。”但其实并非全然如此。有些部分是有效的,有些部分是无效的。

(00:35:28)我记得我刚开始看Sora的视频的时候,我看到一个人走过某个东西,遮蔽了几秒钟,然后走开,那个东西还在那里。我觉得,“哇,这还真不错。”或者有些例子,底层的物理规律在一个序列的好几步中表现得很好,我心想,“哇,这真的很厉害。”但从根本上看,这些模型只是在不断进步,这种情况会继续发生。如果你看看从DALL·E 1到2,再到3,最后到Sora的发展轨迹,你会发现每个版本都有人冷嘲热讽,但看看现在的成果。

Lex Fridman(00:36:04)嗯,你刚提到的遮蔽,基本上是在足够好地模拟世界的三维物理现象,以便捕捉到这类状况。

Sam Altman(00:36:17)嗯…

Lex Fridman(00:36:18)或者,你可以告诉我,为了应对遮蔽,世界模型需要做些什么?

Sam Altman(00:36:24)是的。我想说,它在处理遮蔽问题上做得很好。但是,我认为它拥有一个出色的基于3D的世界模型,这可能有点过于推测了。

Lex Fridman(00:36:33)但是,我们能不能通过这种二维训练数据的方法达到这个效果呢?

Sam Altman(00:36:39)看起来,这种方法可能会走得比我们想象的还要远。我不想过多地预测它能突破哪些限制,不能突破哪些,但是…

Lex Fridman(00:36:46)你们发现了系统的哪些有趣的限制?我是说,像你们发布的那些趣味性问题。

Sam Altman(00:36:52)有各种各样有趣的现象。比如,视频中猫随机长出额外的肢体。你随便选一些,但我们还面临很多问题,有很多弱点。

Lex Fridman(00:37:02)你认为这是这种方法的根本性问题,还是只需要更大的模型、更好的技术细节或更好的数据就能解决猫随机长出的问题?

Sam Altman(00:37:19)我会对两者都表示赞同。我觉得这种方法与我们的思考和学习方式存在某种差异。但同时,我也认为随着规模的增大,它的表现会变得更好。

Lex Fridman(00:37:30)正如我提到的,LLM有文本tokens,Sora有视觉贴片,所以它将所有的视觉数据,包括各种类型的视频和图像转换为贴片。训练的程度是完全自我监督的吗,还是进行了一些手动标记?人类在其中的参与程度是多少?

Sam Altman(00:37:49)我的意思是,没有具体谈论Sora的方法,我们在我们的工作中使用了大量的人类数据。

Lex Fridman(00:38:00)但并不是互联网规模的数据吗?所以涉及到很多人。Sam,“大量”是个复杂的词。

Sam Altman(00:38:08)我认为在这种情况下,“大量”是个合适的词。

Lex Fridman(00:38:12)因为对我来说,“大量”……听着,我是个内向的人,当我和三个人一起出去玩,那对我来说就是很多人了。四个人,对我来说也是很多。但我想你的意思是超过……

Sam Altman(00:38:21)对的,为这些模型标记数据的人是超过三个的。

Lex Fridman(00:38:24)好的。但是从根本上说,有很多的自我监督学习。因为你在技术报告中提到的是互联网规模的数据。这真是……就像诗一样美丽。所以有很多数据并没有由人类标记。它是以这种方式自我监督的吗?

Sam Altman(00:38:44)是的。

Lex Fridman(00:38:45)那么问题就是,互联网上有多少数据可以用于这种自我监督的方式,只要我们知道自我监督的细节。你有考虑公开一些更详细的信息吗?

Sam Altman(00:39:02)我们做过了。你是指特别针对源码吗?

Lex Fridman(00:39:04)是的,特别针对源码。因为很有趣的是,大语言模型现在是否可以开始向视觉数据领域发展,要做到这一点需要做些什么呢?

Sam Altman(00:39:18)我觉得是可以的,但我们还需要做更多的工作。

Lex Fridman(00:39:22)明白。那可能存在哪些危险?你为何担心发布系统呢?

Sam Altman(00:39:29)坦白说,我们在发布系统之前必须做的一件事就是让它达到一种足够的效率,以便满足人们对此的期待,我不希望低估这一点。这里还有许多工作要做。你可以想象一下深度伪造和误导信息等问题。我们试图在发布的产品上考虑得更深远,很容易就能想到这可能带来的问题。

Lex Fridman(00:40:05)这里有很多棘手的问题,你正在处理一片非常复杂的领域。你认为训练AI在版权法下应该或者说是公平使用吗?

Sam Altman(00:40:14)我觉得这个问题背后的意思是,创造有价值数据的人是否应该有某种方式获得补偿,我认为答案是肯定的。我还不确定具体的答案是什么。人们提出过很多不同的建议。我们尝试了一些不同的方案。但如果我是一位艺术家,例如,首先,我希望能够选择不让别人用我的风格创作艺术。其次,如果他们确实以我的风格创作艺术,我希望有一种经济模型与之关联。

Lex Fridman(00:40:46)是的,就像从CD转变为Napster,再转变为Spotify的过程。我们必须找出一种适合的模型。

Sam Altman(00:40:53)模型会改变,但人们还是要得到报酬。

Lex Fridman(00:40:55)对,如果我们把视角再拉远一些,应该有一种激励机制鼓励人们继续创造出更酷的东西。

Sam Altman(00:41:02)我担心的每一件事中,人类会继续做出酷的事情,社会也会找到一些方式来回报他们。这似乎是我们的本能。我们想要创新,我们想要有用,我们想要以各种方式获得尊重。我认为这一点不会改变。

Lex Fridman(00:41:17)但奖励可能并不仅仅是金钱。它可能是名誉,或者其他新颖有趣的东西-

Sam Altman(00:41:25)或许,这个奖励在其他方面具有经济价值。我认为我们还未见识到经济体系将来的所有可能发展形态。

Lex Fridman(00:41:31)是的,但艺术家和创作者们对此感到担忧。当他们看到Sora,他们感到震惊。

Sam Altman(00:41:36)的确。艺术家们在摄影初现时也非常忧虑,然后摄影变成了一种新的艺术形式,人们通过摄影赚了很多钱。我认为类似的事情会继续发生。人们会以新的方式使用新的工具。

Lex Fridman(00:41:50)如果我们只看YouTube或者类似的平台,那么在接下来的五年里,有多少内容会采用像Sora这样的AI生成,你认为呢?

Sam Altman(00:42:01)人们经常讨论的是,AI在五年内会接手多少工作。人们普遍的认知是,当前有多少工作岗位会被AI完全取代?但我认为,更重要的问题不是AI将做多少工作,而是AI将在一定的时间范围内完成多少任务。因此,如果你考虑所有的五秒任务,五分钟任务,五小时任务,甚至是五天的任务,AI能完成多少?我认为这个问题比AI能做多少工作更有趣,更具影响力,也更为重要,因为AI是一个工具,它将以越来越高的精细度,和越来越长的时间范围处理越来越多的任务,让人们在更高的抽象层次上操作。也许人们在他们的工作中会变得更加高效。在某个阶段,这不仅仅是量的变化,而且也是关于你能处理的问题类型的质的变化。我认为对于YouTube上的视频也是如此。许多视频,也许大部分,都会在制作过程中使用AI工具,但他们仍然需要人来思考,组织,执行部分工作。就像导演和制片人一样。

Lex Fridman(00:43:18)是的,这个观点很有趣。虽然有些恐怖,但是思考起来很有意思。

Lex Fridman(00:43:27)我倾向于相信人们喜欢观看其他人,或者说喜欢观看其他人类的活动。

Sam Altman(00:43:27)人们确实非常关注其他人。

Lex Fridman(00:43:29)是的。如果有比人类更酷的东西,人们会对此感兴趣一两天,然后他们会回归到对人类的关注。

Sam Altman(00:43:39)这似乎是根深蒂固的想法。

Lex Fridman(00:43:41)就像整个下棋的事情,“哦,是的,”但现在让我们大家都继续下棋。让我们忽略这个明显的事实,即人类在下棋方面与AI系统相比实在是太弱了。

Sam Altman(00:43:52)我们仍在进行跑步比赛,而汽车的速度要快得多。我是说有很多这样的例子。

Lex Fridman(00:43:56)是的。也许它会以类似Adobe套件的方式成为工具,能让我们更方便地制作视频等等。

(00:44:07)听着,我讨厌站在镜头前。如果我能找到一种方式不必站在镜头前,我会很高兴。遗憾的是,这将需要一段时间。生成面部图像的技术正在发展中,但生成特定人物的面部图像与生成一般人物的面部图像相比在视频格式方面还是相当棘手。

GPT-4

(00:44:24)让我问你关于GPT-4的问题。有很多问题。首先,的确是非常惊人的。回头看,3、5和4可能都会是与ChatGPT相关的历史性的转折点。

Sam Altman(00:44:40)也许五会是那个关键的时刻。我不知道。未来还很难预测。

Lex Fridman(00:44:44)我们永远不会知道。这就是关于未来的烦人之处,很难预测。但对我来说,回过头来看,GPT-4、ChatGPT在历史上都是相当令人印象深刻的。所以我想问,对你来说,GPT-4和GPT-4 Turbo的最令人印象深刻的能力是什么?

Sam Altman(00:45:06)我觉得它一般般。

Lex Fridman(00:45:08)这也是典型的人性,我们总是很快就习惯了好的事物。

Sam Altman(00:45:11)不,我认为这是一件惊人的事情,但相比于我们需要达到的目标和我相信我们将会达到的地方,现在这个版本还不够好。在GPT-3时,人们会觉得,“哦,这是了不起的。这是科技奇迹。”而它的确是。但现在我们有了GPT-4,再看看GPT-3,你会觉得,“相比之下,GPT-3的表现实在太差了。”我希望5和4之间的进步幅度将和4和3之间的一样大。我觉得,我们的任务是要生活在未来的几年里,记住我们现在所使用的工具在回头看看的时候可能会很糟糕,这就是我们推动未来进步的方式。

Lex Fridman(00:45:59)GPT-4在哪些方面最令人惊叹,但又存在哪些明显的限制呢?

Sam Altman(00:46:05)它最擅长的事情是什么?

Lex Fridman(00:46:06)那些让你觉得它最棒的地方和这些优点的局限性是什么,从而让你明白它并非完美,也为你对未来的期望提供了灵感?

Sam Altman(00:46:16)最近我更多地将它用作脑力激荡的伙伴。

Lex Fridman(00:46:23)对,这样用起来很棒。

Sam Altman(00:46:25)里面有一种令人惊奇的东西。当人们谈论它,或者说它能做什么,他们会说:“哦,它帮我更高效地编码,帮我更快更好地写作,帮我从一种语言翻译成另一种语言。”所有这些都很了不起,但我更看重它作为一个创新性的脑力激荡伙伴的角色,例如“我需要为这个东西取一个名字,我需要以新的方式思考这个问题,我不知道接下来该怎么做。”这些都让人预见到一些我希望看到更多的东西。

(00:47:03)另一件你可以看到的事情是,当我可以在长期任务上提供帮助时,将问题分解成多个步骤,可能执行其中的一些步骤,比如搜索互联网,编写代码等等,然后再将这些整合在一起。虽然这种情况并不多见,但当它起作用的时候,感觉就像魔法一样。

Lex Fridman(00:47:24)与人类进行迭代交互,对我来说效果很好。你的意思是……

Sam Altman(00:47:29)当它能够自己解决10个步骤的问题时,与人类的迭代交互就会变得更频繁。

Lex Fridman(00:47:33)哦。

Sam Altman(00:47:34)这并不经常发生,有时候可以。

Lex Fridman(00:47:37)你是说添加多个抽象层次,还是只是顺序执行?

Sam Altman(00:47:40)两者都有,分解问题,然后在不同的抽象层次上进行操作,最后再将结果整合在一起。看,我并不想轻视GPT-4的成就,但我也不想过分夸大其实力。我认为我们正在处于一个指数型增长的阶段,我们很快就会回头看GPT-4,就像我们现在看GPT-3一样。

Lex Fridman(00:48:03)说到这里,我的意思是ChatGPT是一个转折点,开始让人们更加相信某种事物,但这种信念的增长并非发生在OpenAI内部。

Sam Altman(00:48:04)绝对。

Lex Fridman(00:48:16)也许这里有些人持有这种信念,但是你想到的是……

Sam Altman(00:48:19)在这个意义上,我确实认为这会是一个时刻,大多数人从不相信转变为相信。这更多的是关于ChatGPT的接口。而接口和产品,我也包括了模型的后期训练以及我们如何调整它使其对你有帮助,如何使用它,其实这和底层模型本身并不直接相关。

Lex Fridman(00:48:38)这些因素中的每一个有多重要?底层模型和RLHF或类似的东西调整它使其更吸引人,更有效,更利于人类生产力的提升。

Sam Altman(00:48:55)我的意思是它们都非常重要,但是RLHF,后训练步骤,那些从计算角度看,我们在基础模型之上加的一些额外内容,虽然这需要大量的工作,但这是非常重要的,这还不包括我们围绕它建立的产品。在某种意义上,我们必须做两件事情。我们需要创造出底层的技术,然后我们要找出如何将其制成一个人们会热爱的产品,这不仅仅是关于实际的产品开发工作,还有另外一步是如何调整它并使其变得有用。

Lex Fridman(00:49:37)以及你如何使其能够适应大规模的使用,让很多人能同时使用。所有这类的事情。

Sam Altman(00:49:42)还有那个。但那是一个我们已知的难题。我们知道我们需要将其扩大规模。我们必须做两件之前从未完成过的事情,我都认为这两件事是相当重大的成就,然后还有很多事情,像扩大规模这样的,其他公司之前都已经做过。

Lex Fridman(00:50:01)GPT-4到GPT-4 Turbo的上下文窗口从8K到128K的token的变化是如何的?

Sam Altman(00:50:13)大部分时间,大多数人并不需要使用全部的128。虽然如果我们展望遥远的未来,将会有数十亿的上下文长度。你将输入的所有信息和历史数据,随着时间的推移,这个模型会越来越理解你,这将是非常棒的一件事。但是现在,人们使用这些模型的方式,并没有达到这个程度。有时人们会在论文中发布大量的代码,但是大部分情况下,模型并没有充分利用长上下文。

Lex Fridman(00:50:50)我喜欢你的这个“我有一个梦想”的演讲。有一天,你将根据你的人格或你一生的全部经历而被评价。这很有意思。所以,你希望能扩展的部分,就是更大的上下文。

Sam Altman(00:51:06)我曾经在网上看过一个影片,我可能记错了数字,但是它是比尔·盖茨在讲述一台早期计算机的内存量,可能是64K,也可能是640K。他当时无法想象,世界最终需要在一台计算机中有千兆字节甚至太字节的内存。你总是需要跟随技术的指数增长,我们将找出如何更好地利用这些技术。我现在真的无法想象上下文链接在未来会增长到数十亿。可能实际上并不会真的增长到那个数量,但感觉就像是那样。我知道一旦我们使用了这个功能,就真的不想再回去。

Lex Fridman(00:51:56)是的,即使现在说十年后会有数十亿的上下文长度,可能也会显得愚蠢,因为那时候可能是万亿甚至更高。

Sam Altman(00:52:04)确实。

Lex Fridman(00:52:04)可能会有某种突破,让我们感觉像是无限的上下文。但即使是120,我必须承认,我没有把它推到那个程度。可能会输入整本书或部分书籍等,还有学术论文。你看到GPT-4有哪些有趣的应用场景?

Sam Altman(00:52:23)最让我感兴趣的并不是我们可以谈论的任何特定用例,而是那些在某种程度上,这主要是年轻人,把它作为各种知识工作任务的默认起点的人们。而且它能做很多事情都做得相当不错。你可以使用GPT-V,你可以用它来帮你编写代码,你可以用它来帮你搜索,你可以用它来编辑论文。对我来说最有趣的是那些把它作为他们工作流程起点的人。

Lex Fridman(00:52:52)我也在很多事情中这样做。我把它当作阅读书籍的伙伴。它帮助我思考,帮我理清想法,特别是当我正在阅读的书籍是经典之作时。所以它写得非常好。我发现,对于深入研究的主题,它甚至比维基百科还要好。它更深入,更全面。或者说,可能是我个人的感觉,但它比维基百科的文章更能激发我深入思考。我不太确定具体是什么原因。

(00:53:22)你提到了这种合作。我不确定魔力是在这里,还是在那里,还是在两者之间的某个地方。我不确定。但当我开始用GPT做知识任务时,我总会担心,我通常需要在后面进行事实核查,检查它是否编造了一些东西。你是如何发现GPT可以编造出一些看似非常有说服力的虚假内容的呢?那么你是如何确保它基于真实的呢?

Sam Altman(00:53:55)显然是我们极度关注的一个领域。我认为随着即将发布的新版本,情况会有大幅改善,但我们还需要继续努力,今年我们不可能解决所有问题。

Lex Fridman(00:54:07)那么,随着它变得越来越好,你开始越来越少地进行事实核查,对吧?

Sam Altman(00:54:15)我对此持两面看法。我认为,人们比我们经常认为的更能熟练地使用技术。

Lex Fridman(00:54:15)当然。

Sam Altman(00:54:21)并且,人们似乎真的很了解GPT,了解这些模型有时会产生一些假象。如果这关系到重要的事情,你必须去核查它。

Lex Fridman(00:54:27)然而,记者们似乎并没有理解到这一点。我看到一些记者在使用GPT-4时显得不够认真,有些粗心大意。

Sam Altman (00:54:34)在我想要批判记者的众多原因中,这并不是我对他们最大的批评。

Lex Fridman (00:54:40)嗯,我认为更大的批评可能是记者所面临的压力和动机,也就是说,你必须迅速地工作,这就是一条捷径。我希望我们的社会能够像……

Sam Altman (00:54:53)我也希望。

Lex Fridman (00:54:55)......像是花费数日和数周的新闻工作,奖励深度新闻的出色表现。同时也是以一种平衡的方式呈现事情,既赞扬人们又批评他们,即使批评是吸引点击的东西,编造谣言也可以吸引点击,以及完全误导的标题。我确认你可能有很多人会批判说:“嗯,所有那些戏剧性的事可能吸引了很多点击。

Sam Altman (00:55:21)很可能是的。

内存&隐私

Lex Fridman (00:55:24)这是我希望能看到改变的人类文明中一个更大的问题。这是我们稍微庆祝一下的地方。你已经让ChatGPT拥有了记忆的能力。你已经在尝试关于先前对话的这个问题。还有关闭记忆的能力。我有时候也希望我能做到这一点。只是根据需要开启和关闭。我在想有时候酒精可以做到这一点,但我想可能并不是最佳的选择。你在这个方面有什么体验,比如说尝试记住对话和不记住对话这个想法……

Sam Altman (00:55:56)我们在这方面的探索还在非常初期阶段,但我认为人们想要的,至少我为自己想要的,是一个随着时间的推移能更了解我,对我越来越有用的模型。这是一个初步的探索。我认为还有很多其他的事情要做,但那是我们想要的方向。你想使用一个模型,可能在你的生活或者使用一个系统的过程中,它会有很多模型,并且随着你生活的推移它会变得越来越好。

Lex Fridman (00:56:26)是的。这个问题有多困难?因为现在更多的是记住一些小事实和偏好等。记忆是如何工作的呢?你不希望GPT记住你在11月经历的所有困难和所有的戏剧,然后你可以……

Sam Altman (00:56:26)是的。是的。

Lex Fridman (00:56:41)因为现在你显然在对它进行一些阻止。

Sam Altman(00:56:43)我希望的不仅仅是记住这些经历,我更希望它能吸取这些教训,并在未来提醒我应该怎样做得更好,或者需要注意什么。我们在生活中都会以不同程度从经验中学习,我希望我的AI智能体也能同样从这些经验中获得收获。所以,如果我们回想起那无数无数的语境长度,如果我能把我与生活中任何人的所有对话都放进去,如果我能把所有的邮件输入输出,每次我提问时,把我所有的输入输出都放到语境窗口里,我觉得那会很酷。

Lex Fridman(00:57:29)是的,我认为那将非常酷。有时人们会担心这种做法会侵犯隐私。你对AI能更有效地整合所有的经验和你的所有数据给出建议这个方面有何看法?

Sam Altman(00:57:48)我认为正确的答案就是让用户自己选择。我希望能够从我的AI智能体的记录中删除我想要删除的任何信息。如果我不希望它记住什么,我也希望有这个功能。你和我对于我们自己的AI在隐私和功能性之间的权衡可能会有不同的观点。

Sam Altman(00:58:00)…对于OpenAI在隐私与效用的权衡上,我们的观点可能会有所不同,这是完全可以接受的。但我认为最好的解决方法就是让用户能够简单容易地作出选择。

Lex Fridman(00:58:08)但是,公司应当对用户的选择具有高度的透明度。因为有时候,一些公司在过去可能对此有一些含糊其辞,比如说,“我们默认在收集所有你的数据。我们会用它来做一些好事,比如推送广告等。”但是,对于这些详细情况并没有足够的透明度。

Sam Altman(00:58:31)这个说法完全正确。你之前提到我在屏蔽11月的事情。

Lex Fridman(00:58:35)我只是跟你开个玩笑。

Sam Altman(00:58:36)那确实是一件让我痛苦不堪的事情,也让我长时间无法行动。那段时间里,我最难做的就是努力工作,因为我要在震惊和痛苦中尝试回到这里,把事情的碎片重新拼凑起来。但其实没有人真的在乎这点。团队对我很谅解,那段时间,我的工作效率并没有达到平时的水平。但有一段时间,做好两方面的事情真的很困难。直到有一天早上醒来,我想,“那是一件对我来说非常可怕的事情。我可以选择永远做受害者,也可以说这是我人生中最重要的工作,我需要再投入其中。”并不是说我已经把那件事遗忘了,有时我还会在半夜醒来,想起那件事,但我确实觉得我有义务继续前进。

Lex Fridman(00:59:32)你说得很好,但可能还有一些影响一直存在。比如,我会担心你提到的信任问题,变得对人们过于多疑,而不是简单地相信每个人或者大多数人,比如按照你的直觉行事。这是个很棘手的问题。

Sam Altman(00:59:50)当然。

Lex Fridman(00:59:51)我在业余的探索中发现,在泽连斯基政府和普京政府以及战时的高压环境下,不信任会导致你开始孤立自己,视野变得狭隘。这是个人性的问题。你似乎已经坦然接受了这个问题,从中学到了好的教训,感受到了爱,并让爱给你带来动力,这很好,但还是有一些影响可能会留下。我想问的一个问题是,你对GPT能做什么,不能做什么有什么直觉。比如说,它为生成的每一个token分配相同的计算力。在这种方法中,是否有空间容纳更深入、有序的思考?

Sam Altman(01:00:51)我认为我们会有新的方式来处理这种思考方式。

Lex Fridman(01:00:55)它在架构上会像我们现在看到的大语言模型那样吗?是不是会在现有的模型基础上添加一层新的结构?

Sam Altman(01:01:04)我可以想象出许多实现这种想法的方式。但我认为这并不如你所提的问题重要,也就是我们是否需要一种更慢的思考方式,这样答案就不必立刻出来……我猜你可能是想说,你希望AI能在遇到更棘手的问题时更深入地思考,而在遇到更简单的问题时能更快地给出答案。我认为这是非常重要的。

Lex Fridman(01:01:30)这是否就像我们人类的思考方式,我们应该能够深入思考?这种直觉正确吗?

Sam Altman(01:01:34)我觉得这是一个合理的直觉。

Lex Fridman(01:01:37)有趣。所以一旦GPT达到GPT-7那样的水平,它就能立即看到,“这就是费马定理的证明”?

Sam Altman(01:01:49)我觉得你可能希望能够将更多的计算资源分配给更困难的问题。我觉得如果你问一个这样的系统,“证明费马的最后定理”,相比于“今天是几号?”,除非它已经知道并记住了证明的答案,否则它需要去弄清楚,这看起来需要更多的计算。

Lex Fridman(01:02:20)但是它能否就像一个LLM在自言自语一样?

Sam Altman(01:02:25)也许可以。我是说,你可以想象出许多可能的工作方式。至于哪种是正确的,或者最好的方式,我们还不知道。

Q*

Lex Fridman(01:02:37)这让我想起了Q*背后的神秘故事。这个神秘的Q*项目是什么?它也在同一个核设施里面吗?

Sam Altman(01:02:50)我们没有核设施。

Lex Fridman(01:02:52)嗯。这就是拥有核设施的人总是会说的话。

Sam Altman(01:02:54)我会很愿意拥有一个秘密的核设施,但是我们并没有。

Lex Fridman(01:02:59)好的。

Sam Altman(01:03:00)也许将来有一天会有。

Lex Fridman(01:03:01)将来?好的。人总是有梦想的。

Sam Altman(01:03:05)OpenAI并不擅长保密。如果我们能有那样的东西就好了。我们一直被大量的泄密事件困扰,如果我们能有那样的东西就好了。

Lex Fridman(01:03:14)你能谈谈Q*是什么吗?

Sam Altman(01:03:16)我们还没准备好讨论这个。

Lex Fridman(01:03:17)看,但这样的回答就表示确实有什么东西值得谈论。Sam,这听起来很神秘。

Sam Altman(01:03:22)我的意思是,我们正在进行各种各样的研究。我们长久以来都认为在这些系统中,改善推理能力是我们的重要目标。我们还没找到完全的答案,但我们对此非常感兴趣。

Lex Fridman(01:03:48)会有那么一刻吗,无论是Q*还是其他,会有类似于ChatGPT的飞跃吗,你有这样的感觉吗……

Sam Altman(01:03:56)是个好问题。我怎么看呢?很有趣。对我来说,所有这些都感觉上像是连续的进步。

Lex Fridman(01:04:08)对。你在说的就是你们正在逐渐攀升一个指数曲线。但对于我们这些旁观者来说,它看起来像是有飞跃。但对你来说,并不是这样的?

Sam Altman(01:04:22)我在想我们是不是应该……部分原因是我们采用迭代部署的方式,而不是秘密研发直到我们有了GPT-5,我们选择公开谈论GPT-1,2,3,和 4。其中一部分原因是我认为AI和惊喜是无法共存的。同时,世界,人们,机构,无论你怎么称呼它们,都需要时间来适应和思考这些事情。我认为OpenAI做得最好的一件事就是这种阶段性的策略,我们让世界去关注AI的进步,认真对待通用人工智能,思考我们在处于压力之下需要做出仓促决定前,我们希望怎样的系统,结构和管理措施。

(01:05:08)我认为这个策略非常好。但你们像你这样的人还是觉得有这些飞跃,这让我觉得,也许我们应该更加逐步地发布我们的成果。我不知道那会意味着什么,我现在还没有答案,但我们的目标并不是让世界对我们的更新感到震惊。正相反。

Lex Fridman(01:05:29)对,肯定的。更多的阶段性更新会很好。我认为这对每个人来说都是好事。

Sam Altman(01:05:34)但这就是我们想要做的,这是我们的目标策略,我觉得我们的执行可能还有些出入。因此,或许我们应该以一个不同的方式发布GPT-5或者类似的产品。

Lex Fridman(01:05:44)是的,4.71,4.72。但人们总是喜欢庆祝,比如庆祝生日。不知道你是否了解人类,他们总是喜欢设立这样的里程碑。

Sam Altman(01:05:54)我确实了解一些人类。人们确实喜欢里程碑,这点我完全明白。我认为我们也喜欢庆祝这些里程碑。能在一项任务上取得成功,然后开始下一项任务,这总是让人感到快乐。但是,我觉得我们在这一点上可能有些偏颇。

GPT-5

Lex Fridman(01:06:13)那么,你们什么时候会再发布GPT-5?

Sam Altman(01:06:15)我不知道,这就是我最诚实的回答。

Lex Fridman(01:06:18)哦,这是真诚的回答。如果它会在今年发布,就眨两下眼吧。

Sam Altman(01:06:30)我们会在今年发布一款令人惊喜的新模型,但我还不确定我们会给它起什么名字。

Lex Fridman(01:06:36)那就引出了我们应该如何发布这款产品的问题。

Sam Altman(01:06:41)在接下来的几个月里,我们会发布很多不同的产品。我觉得这将会非常棒。在我们谈论一个可能叫GPT-5、或者可能不叫GPT-5的模型,或者这个模型可能比你对GPT-5的预期稍微差一点、或者稍微好一点之前,我认为我们有很多其他重要的产品需要先行发布。

Lex Fridman(01:07:02)我也不知道应该从GPT-5中期待什么。你让我感到既紧张又兴奋。对于所谓的GPT-5,不论最后叫什么,要克服的最大挑战和瓶颈是什么?只是随便问问。是在计算上?还是在技术上?

Sam Altman(01:07:21)其实都有。你知道,最大的解锁因素是什么?是需要更大的计算机吗?是有新的秘密吗?还是其他什么因素?实际上,我们需要考虑的就是这些因素的总和。OpenAI的优势在于……这实际上是一个我要引用的Ilya的原话,我可能会说得不太准确,但大意就是,“我们把200个中等规模的事物融合成一个巨大的整体。

Lex Fridman(01:07:47)所以这个分布式创新正在不断进行?

Sam Altman(01:07:50)是的。

Lex Fridman(01:07:51)包括在技术方面?

Sam Altman(01:07:53)特别是在技术方面。

Lex Fridman(01:07:55)例如详细实施的方法?

Sam Altman(01:07:56)是的。

Lex Fridman(01:07:56)像你们一样处理每一个细节…这和不同的、散布的团队协作又是如何结合的?中等规模的事物又是如何最终构建成一个完整的巨大的Transformer的?

Sam Altman(01:08:08)有一些人需要考虑如何把所有的事物整合在一起,但大多数人都试图在脑海中构建整体的概念图像。

Lex Fridman(01:08:14)哦,就是说每个团队、每个个体贡献者都试图保留对整体的理解?

Sam Altman(01:08:17)在一个宏观层面上,是的。你当然不会完全知道每一部分是如何运作的,但我通常认为,有时候放大视野看看全局是很有用的。我认为这对于技术问题是适用的,对于业务创新也是如此。但是,事情会以惊人的方式组合在一起,即使你大部分时间都在一个区域内深度工作,对整个全局的理解也会带来意想不到的洞见。实际上,我曾经拥有并且非常宝贵的一件事就是,我曾经有一个对整个科技行业所有或者大部分前沿的清晰地图。有时我能看到这些关系或者新的可能性,如果我只是深入某一个领域,我就不可能想到,因为我没有所有的数据。现在我已经没有那么多了。我目前深入的太多了。但是我知道这是一件有价值的事情。

Lex Fridman(01:09:23)你已经不再是你过去的样子,Sam。

Sam Altman(01:09:25)我现在的工作和我过去的工作大不相同。

7万亿美元的计算

Lex Fridman(01:09:28)既然我们提到了放大视野,让我们再放大一个你说过的可能比较深远的话题,你在推特上说过需要7万亿美元。

Sam Altman(01:09:41)我从未在推特上提到过这个,我没有说过,“我们正在筹集7万亿美元。”那样的话。

Lex Fridman(01:09:45)哦,那是别人说的?

Sam Altman(01:09:46)是的。

Lex Fridman(01:09:47)哦,但你似乎说了,“随便,也许是八个”,对吧?

Sam Altman(01:09:50)好的,一旦世界上出现了误导性信息,我就会用模因来反驳。

Lex Fridman(01:09:53)哦,你用模因来反驳。但误信息可能有一些深层次的见解。

Sam Altman(01:10:01)看,我认为计算能力将是未来的“货币”。我认为它可能会成为世界上最宝贵的商品,我们应该大力投资以增加更多的计算能力。我认为,计算力市场将有其独特性。人们通常考虑的是手机芯片等产品的市场。你可以这么说,好吧,世界上有80亿人口,也许70亿人有手机,或者说60亿人。他们每两年更换一次手机,所以每年的手机芯片市场需要是30亿。即使你生产了300亿,你也不会卖出10倍的手机,因为每个人只需要一部手机。

(01:10:50)但计算能力的市场不同。智能将更像能源或者类似的东西,我认为真正有意义的是,以价格X,世界将使用多少计算能力,以价格Y,世界将使用多少计算能力。因为如果计算能力真的很便宜,我会让它全天候为我阅读电子邮件,给我的工作或思考建议,甚至尝试治疗癌症,如果计算能力真的很贵,可能我只会用它来治疗癌症。

(01:11:20)所以我认为世界将需要大量的计算能力。这在很多方面都是困难的。能源是最大的问题,建设数据中心也有困难,供应链也是难题,当然,制造足够的芯片也是一大挑战。但这似乎是事情的发展趋势。我们将需要一种现在难以想象的大量计算能力。

Lex Fridman(01:11:43)你如何解决能源问题?是用核能……

Sam Altman(01:11:46)我相信是的。

Lex Fridman(01:11:47)…融合?

Sam Altman(01:11:48)我相信是的。

Lex Fridman(01:11:49)是核融合?

Sam Altman(01:11:50)是的。

Lex Fridman(01:11:51)谁将解决这个问题呢?

Sam Altman(01:11:53)我觉得Helion在聚变领域做得最好,但我也很高兴看到现在有人在这个领域进行竞争。对于核裂变,我也感觉很神奇,我希望全世界可以重新接受它。看着它的历史发展让我感到非常遗憾,我希望我们能够重新把握它,让它再次发挥作用。

Lex Fridman(01:12:08)所以,你认为解决这个问题的一部分是核裂变?就像我们现在使用的那种核反应堆?由于切尔诺贝利等事故,很多人对此感到恐惧,你怎么看?

Sam Altman(01:12:16)嗯,我认为我们需要建造新的反应堆。我觉得那个行业一度处于停滞状态,这让我感到遗憾。

Lex Fridman(01:12:22)那么你认为这个停滞是由于大众的恐慌引起的吗?

Sam Altman(01:12:25)是的。

Lex Fridman(01:12:26)我不知道你了解人性到什么程度,但我要说,这恐慌正是核裂变面临的一个安全威胁。人们似乎真的对它感到恐惧。这是我们在考虑核裂变时必须要纳入考虑的一个因素,所以我们需要让人们了解它的安全性,赢得他们的信任。

Sam Altman(01:12:44)我对AI也持有相同的担忧。我认为AI领域可能会出现大量错误。我不知道我最后可能有多大的可能性受到攻击,但这个可能性绝对不是零。

Lex Fridman(01:12:57)哦,你的意思是我们想要阻止这种可能性的发生?

Sam Altman(01:13:00)可能吧。

Lex Fridman(01:13:03)你有什么办法可以降低这种可能性呢?因为我听到一些人开始有所动摇,我接触过政治光谱上的各种人士,他们告诉我AI可能会被政治化。这让我非常担心,因为这意味着AI可能会变成政治的争夺点,比如说右派反对AI,左派支持AI,因为AI可以帮助人民,或者类似的命题,这让我感到非常不安。如果事情真的发展到这个地步,那么对AI的过度炒作甚至夸大其词就会变得十分严重。你有什么办法对抗这种情况呢?

Sam Altman(01:13:38)我想,这个话题终将陷入左派和右派的争论之中。我无法确切预测结果会如何,但不幸的是,任何重要的事情都会引发这种争论。我所说的“戏剧性风险”是指,我坚信AI会带来的积极影响远超其负面影响,但负面影响是不可避免的,其中一些并不显眼。举个例子,死于空气污染的人比核反应堆多得多。但大多数人更担心住在核反应堆旁边,而非煤电厂。我们的认知方式使得,虽然我们面临各种风险,但那些能成为电影高潮的风险对我们的影响却远大于那些长期且持续性的风险。

Lex Fridman(01:14:36)这就是为什么真相至关重要。我希望AI能帮我们洞察事情的真相,实现平衡,理解世界各种现象的真正风险和危险。在与Google、Meta、xAI及其他公司的竞争中,有哪些利弊?

Sam Altman(01:14:56)对于这个问题,我有一个相对明确的回答,或许以后我可以思考更多的细节,但优点似乎很明显,那就是竞争能带来更优质的产品、更多的创新,而且进程更快、成本更低,这些都是竞争的好处。但是,如果我们不谨慎,这可能会导致我担心的军备竞赛式的情况加剧。