Agent、机器人与制药，谁先被GPT-6 Astra改写？

回顾9月，AI领域接连传出重磅消息。

9月4日，OpenAI推出了GPT-6 Astra。这份发布报告完全没有提及机器人通用模型，但它却突然跃居机器人评测榜单首位，甚至导致一批机器人基准测试直接作废。有人半开玩笑地说：机器人领域等待多年的“GPT时刻”，竟然是由GPT自己带来的。

Meta Muse为每位用户配备了一台云端电脑，两周内便登顶美区App Store排行榜；竞争对手Instinct在一个月内估值从25亿美元飙升至100亿美元。个人Agent掀起新一轮烧钱获客大战，但它们能访问的网页正在一个接一个地被封锁。

在AI for Science方面，Claude仅用21小时就发现了一种结构类似CRISPR的新酶系统ART。AI圈对此感到振奋，因为AI开始从事科学发现了；生物圈的反应则相对平淡，大家倾向于先在实验室中验证再说。为什么会出现这种反差？

当模型进化到普通人难以感知其进步时，研究者的感受又是怎样的？本期《硅谷101》，我们邀请了三位分别专注于Agent、机器人和AI制药的研究者——Pokee.ai创始人兼CEO朱哲清，破壳机器人创始人、清华大学交叉信息研究院助理教授许华哲，以及华盛顿大学计算机学院助理教授王晟——一起探讨三件事：个人Agent商业化卡在哪里？机器人如何被Astra这样的底层模型冲击？AI制药的真正瓶颈是什么？

以下是这次对话内容的精选：

前沿科学家视角：GPT-6 Astra进化了什么？

泓君： Astra发布后，你们有没有使用过这个产品？或者说，我们来看网上的演示，大家觉得最让你惊艳的一个演示是什么？

许华哲： 因为我是做机器人的，我们测试了Astra在机器人任务上的很多能力。第一个发现是，它的适应能力非常强。比如给它一个特定的机器人本体，让它去做相应的事情，它很快会意识到这个机器人的运动速度较快，或者它的运动空间是怎样的。例如，当它撞到桌子时，它会说：“这个桌子蛮高的，那我是不是应该把手抬得更高一点？”这实际上是把CoT（思维链）这种反思过程的能力转化为实际动作的能力，这是过去许多机器人模型和大模型都不具备的。

另一个是它的自我更新、自我升级能力。因为它有这种反思能力，它可以反复做同一件事，每次都做得更好。这一点在网上也有展示：有人用Astra操作机器人机械臂画金门大桥，第一次画得比较差，但画完后它会思考如何改进，经过几轮迭代，就能画得非常逼真。

我们测试了很多其他任务，比如插花——一个经典的机器人任务。我们给它增加了一些难度：花茎被劈成两半，有点分叉。这时它会知道，因为分叉了，所以要捏住分叉，把它捏窄一点，再往里塞。这种能力还是比较令人惊艳的。

泓君： 它其实已经理解了一些物理世界操作的规范。

许华哲： 我觉得本质上还是理解3D，因为它从三维尺寸层面就能做出一些理解。但这种理解确实已经能帮助完成许多非动态的物理世界操作任务。

泓君： 我看到网上还有一些很有意思的演示，比如用Astra生成3D视频，速度非常快，渲染效果也很好。

许华哲： 这是Astra在机器人方面的另一个令人震惊的能力：给它几张图片，它能很快将图片仿真生成出来。学术圈可能称之为Real-to-Sim。过去这需要拍摄大量视频和照片，需要很多人手工标定和修改。但现在，你给Astra这样一个指令，它很快就能把整个实验室或办公室的环境复现出来。然后你可以用这个仿真来训练你的机器人，从而在仿真层面得到提升。

朱哲清： 我们是一家模型公司。Astra发布时，非常强调在后训练、模型开发等方面的迭代能力。实际试用后，并没有那么惊艳，但它在长程任务和迭代方面，确实比之前的版本有更稳定的提升。与原有模型相比，它能够对上下文以及之前完成的任务有更稳定的认知，不会出现太多幻觉。所以从我们的体验来看，还是不错的。

但可能存在几个问题：速度相对较慢，这可能与当前用量较高有关。同时，在更长的任务上，比如让它运行一个晚上，幻觉仍然会发生。所以它并没有从根本上解决这个问题，但总体来说提升了不少。

我有朋友同时测试了一些前端和设计任务。从前端审美和认知来看，我觉得有较大提升。这可能是在训练时，对设计和审美方向进行了特殊训练。

泓君： Bill，从模型对行业的影响来看，这次Astra的发布与当年Opus 4.6、4.7的发布相比，比如在编程能力进化方面，它是一个大的节点吗？

朱哲清： 单从编程来说，可能没那么大的节点。从4.5到4.6，当时我们的体感是几乎一个范式式的转变：原来只能依赖它做短程编程，改动几个文件，做一些简单的小项目；到4.6那次模型后，基本上你会感受到工具调用几乎不会出错，它能自主进行一些长程编程任务。

而现在Astra只是能做到更长的任务，幻觉能降得更低，审美变得更好。但它没有做到能解决一个以前完全解决不了的问题。

王晟： 我觉得是一个大的节点。我们现在已经全部从之前的Claude等系列模型切换到GPT-6 Astra，来做我们生物医学内部的任务。我主要做AI for Science，核心是AI在生物医学领域的应用。

我们用Astra有两个特别好用的地方：一个是Computer Use，另一个是一些长程任务。

在Computer Use方面，我们会用Astra来操作一些生物医学领域很多年前编写的软件。这些软件在领域内是默认要使用的，但它们其实都非常难用，界面设计得不好，还有很多术语，所以对跨领域的人来说，使用成本非常高。

但Astra的Computer Use功能，可以直接根据一些简单的提示，就能操作得比较好。而且我还可以跟它学习怎么用这个软件——毕竟在生物医学领域，很多人对AI工具的接受度比较低。Astra可能把这些软件在网上对应的教程、别人之前用过的用户日志、一些反馈全部以文字形式学进去了，所以它真的理解怎么用这些软件。

另一方面是长程任务。我们生物医学领域的任务比较复杂，有时会持续8到24小时，Astra会做得比较好。它比其他一些模型慢，但挺让我放心的，说明它可能会更深思熟虑一些。

我们现在一般切换着用：白天用一些反馈较快的模型，到了准备让模型运行一晚上时，就用Astra来设计一个较长的流程或提示。这也是它在AI for Science领域比较值得信赖的一点。

泓君： 我没有想到Computer Use这个功能在AI for Science领域能帮助到大家这么多。

王晟： Astra在发布时做了两个生物医学的演示。其中一个就是Computer Use演示，这个演示在我们圈子内出圈了，大家发现原来可以直接用Astra来操作一个生物医学工具。它当时操作的工具叫MultiQC，是一个常用的网页工具。我们开始用这个功能，发现它比想象中好用很多。其实Computer Use这个功能之前的模型也具备，只是大家没有开始真正思考怎么把它融入我们科研的流程中。

Computer Use回春：但商业化卡在了身份验证

泓君： Bill，你能用一句话解释一下什么是Computer Use吗？

朱哲清： Computer Use是通过模型对视觉的理解，来决定Agent下一步要在屏幕上点击哪个部分，或者输入哪些文字，以完成一系列任务。当它能串联几十个动作时，就能达到人类想要的一个最终目的。

泓君： 所以它与API的区别是，你不用给接口、不用给密码，它直接像人一样操作和使用电脑。

朱哲清： 就是它看到的是人类看到的屏幕，看到人类看到的UI，看到所有人类能看到的视觉和可交互界面，通过人类能使用的电脑输入输出设备来完成这些任务。

Astra宣传片中展示的Computer Use场景 图片来源：OpenAI

泓君： 我觉得Computer Use之前好像也有，为什么Astra的发布又重新把Computer Use带火了？

朱哲清： 感觉Computer Use现在比原来又火了一波。之前大家觉得所有工具都会开API，所有工具都会有Agent访问权限的接口，很多APP或系统都在做原生智能体的设置。

但最近，不管是Instinct还是Meta Muse，背后都接了浏览器。有一个比较大的问题是，很多第三方APP，比如亚马逊或一些购物APP、旅行APP，它们其实不愿意开放API。

我觉得这又回到了当年Manus的情况：Manus最开始做了Browser Use，后面很多其他公司也跟上，但大家发现这并不高效。大家都回到编程和API调用，现在好像有些东西避不开，又回到了Computer Use。所以我觉得最后可能是一个混合状态。

我有一个比较有意思的看法：因为我们目前专注于相对较小的模型，比如我们现在发布的模型大约都是30B左右的参数，可以在端侧和私有算力上运行。比如我有一台小的AI盒子，或一台AI PC，它就能跑这个模型。

未来如果这个Browser Use本身发生在你的机器上，而不是在云端，那就会改变Browser Use本身可能带来的一个瓶颈。因为现在的远程Browser Use都是通过商用机器，最多找一个像Bright Data或IP代理，假装是消费者用户，来绕过IP校验。像亚马逊、Expedia这些网站一般都说，如果是商用IP，我不会让你进去。

泓君： 商家会屏蔽一些AI机器人，不希望它们接入。

朱哲清： 奢侈品网站很早以前就会全部屏蔽掉。如果你用的是你自己家的网，就是你自己的IP，那就不会再被封锁。所以这有可能成为未来一个破局的趋势，而这件事可能会推动很多APP厂商改变它们的Browser Use机制，也就是说这个浏览器沙箱可能是在本地发生，而不是在云端发生。

泓君： 你这个观察非常有意思。最近非常火的一个面向消费者的应用是Meta Muse，它的定位是做一个个人AI助手，相当于给每个人做了一台云端的虚拟机，你的数据存在一个在云端属于你的存储里。根据你刚刚的理论，它其实还是商用IP。如果它未来商业化的话，很有可能会被商家卡住这个IP。

朱哲清： Meta Muse从背后的虚拟机设置来说，其实跟当时的Manus很像，它也主打Browser Use，因为它很多使用场景与旅行和购物有关。在这些用例下，你没法通过API调用来完成任务，基本上最后都得靠浏览器。当时Manus走了一模一样的路，结果被全部封锁了。所以Manus到后期，现在跟Genspark很像，都主打白领工作那一套。

你去看Claude Code、Claude Cowork、ChatGPT Work，最后都往白领工作效率这方面偏移，核心原因就是很多东西一开始能做，但很快就被巨头们全部封锁了。

泓君： 比如亚马逊现在就把Meta Muse屏蔽了。如果有更多网站加入进来，它能访问的网页和能操作的东西就越少。

朱哲清： 但它不可能把你电脑上的IP屏蔽掉，否则你自己也上不了亚马逊了。所以这可能是一个破局的机会。但我怀疑这件事会来回拉扯，在C端的Agent，目前可能还不是特别成熟。因为做Browser Use对模型的需求挺高的，很难在短期内拉出一个现象级的体量。

泓君： 那你会怎么看像Meta Muse长远的发展？

朱哲清： 我觉得这波消费者最后一定会落到软硬件结合的状态。我认为Meta如果能把可穿戴设备做很大，有可能有机会。为什么我觉得最后要落到软硬件结合，原因在于云端这件事不能代表这个用户本身，这也是为什么浏览器把它们完全封锁的原因——一旦换了个云端的虚拟机，它无法验证这个人就是用户本身。

我觉得用户的ID或使用Agent的那个用户的身份本身，会是这波面向消费者的关键。如果商家能确认这个Agent就代表这一个人去做这个操作，很多商家可能会愿意做这件事。

但现在如果用云端的虚拟机、云端的浏览器，它很可能没法验证这件事。商家会觉得我的流量入口被剥夺了。比如，我有一个用户，他本来就要访问我，他现在通过Agent还是访问我，那对我来说可能没问题。但如果说原本一个用户，现在搞了20个Agent，这20个Agent的消费能力跟原来一样，还不停地比价，不停地在我这边刷流量，把我这边的所有流量都弄乱了，那对我来说是得不偿失的。

所以我觉得软硬件结合可能是一个机会。如果这个硬件本身属于这个用户，他就可以直接确认这个Agent就是这个用户，是一个代表行为，我就会愿意把这个访问权限开给你。

泓君： 大家在面向企业的工作流中会用xAI的Grok Bot吗？

朱哲清： 我自己身边用Grok Bot的人更多是在尝鲜，因为它相对比较主动一点。但你用Codex或用Claude Code，其实都可以解决这些问题。真正把它接进工作流的，可能相对少一些。我自己身边很多真正在企业端工作的人，比如法律、医疗领域，还在纠结怎么逃出Microsoft Copilot的泥潭。甚至都不能自由使用Codex和Claude Code，就更别说要到Grok Bot这个级别了。所以我觉得整个行业现在分化非常大，走在前面的人什么都可以随便用，走在后面的人现在还在泥潭里挣扎。

Benchmark失灵：模型进步的方向，真的对吗？

泓君： 我最近跟比较前沿的模型研究员聊，听到一个很有意思的观点：他们认为现在在面向消费者和消费级的Agent上，Token的使用量其实花不了多少钱。现在真正最烧钱的地方，是OpenAI、Anthropic、DeepMind这几家公司在竞争的核心领域——AI for Science。就是那些未被解决、未被定义的科学问题，它们要去解那些数学题，或者需要跑像王教授这样的一些生物实验，这非常非常烧Token，而且是内部消耗量最大的一个方向。

比如，OpenAI解纳维-斯托克斯方程这一个问题，它内部调用了一个更强的模型，大概用了1万个子Agent，发了大约270万条信息，消耗了约1300亿输出的Token。第三方按零售价算了一下，这部分消耗大约在2200万美元。

因为现在整个模型的进化，对普通人的感知已经不大了。但对前沿科学家来说，他们对模型能力的提升，感知是非常大的。

OpenAI宣布解决了纳维–斯托克斯千禧年大奖难题，该解是一个涡旋。图片来源：OpenAI

朱哲清： 这里有点想问许教授和王教授。我自己主要做后训练，专注于小模型多一些，因为我们想做本地私有化的模型。我们能看到的，就是我们优化后，这个层次的模型与前沿模型的差距越来越小。

从AI for Science角度，或者说从机器人学角度，前沿模型在每一代迭代中，你们觉得会有多大的提升？

比如，我们从Opus 4.5到4.6的区别，对比4.8到Fable之间的区别，或者说5.6到Astra之间的区别，这个差距可比吗？

王晟： 我的观点是，在生物医学领域，它的AI for Science能力确实有较大提升。但这个提升主要来自它的编程能力——这种一般的编程查文献、做长程任务的能力，并不是它对生物医学知识能力的提升。有一些专门测生物医学知识层面的基准测试，Astra并没有提升。

我们现在实际使用时，其实很难使用Astra或Opus、Fable，因为它们对生物医学的任务防范得越来越严，都会拒绝回答，这是非常严重的问题。所以我们内部用的时候都是用Kimi K3或Muse Spark 1.3。当要用Astra时，都要用一些比较特殊的方式来跟Astra说，我这不是在做一个危险的任务，我只是在设计一个基准测试等等。所以实际这种大模型的使用体验，随着能力的增强，其实是越来越差的。

还有一个点，刚才Bill说得很有道理，我也认可：在各种已定义得很明确的AI for Science基准测试上，小模型确实可以和大模型的差距越来越小。但我个人觉得这些基准测试本身定义得就不是那么好，所以大家追赶的方向，包括大模型进步的方向，都可能不是完全正确的。

这些基准测试定义时，大家都会定义一个更好让AI模型去做的任务，比如有一个明确的生物数据集，要预测一个明确的问题。这和我们真正做药物发现其实差距非常大。本质上，这些现在的生物医学基准测试就是一个Kaggle这种数据科学的比赛，所以它就退化成一个机器学习工程基准中的机器学习问题。那Astra这种在编程能力上的提升，就会在基准测试上有很大进步。

许华哲： 我觉得从机器人学角度，Astra是一个飞跃式的提升。过去无论是Opus 4.5、4.6，还是到Fable的变化，都没有Astra这次给机器人学带来的变化大。因为过去的所有升级，在机器人学的测试上，几乎都没有什么太好的表现，定性上没有变化。

但Astra现在带来的变化是它整个定性有了变化，很多机器人学的基准测试失效了。像RoboDojo，大家相对认可的机器人学尤其是仿真的基准测试，Astra都成了第一名。无论它用了哪种数据，但它带来的这个能力，都是一个飞跃式的升级。

但是关于刚才说的小模型和大模型这个问题，我倒是觉得，长期来说我们一定需要一个小的、与Astra能力相当的模型。原因是机器人的任务有时间要求，需要及时响应，需要有高动态任务。比如我要抖一条毛巾，这种能力Astra做不了，因为它太慢了。它知道我要快动一下，但它只能写代码来做，如果让它直接输出动作是没法做的。在这种情况下，我们一定需要一个快决策的模型。只不过我们需要把现有Astra的CoT，或者它的推理能力，以及3D理解，要把它加进去。

机器人的GPT时刻，还差什么？

泓君： 所以你觉得未来机器人的方向会变成大模型负责规划、小模型负责实施控制这样的分层架构吗？

许华哲： 分层架构大家其实一直都还是比较认同的，只不过分层的这一刀到底切在哪里？怎么样的分层方式是大家一直有辩论的。比如原来大家普遍认为VLM（视觉语言模型）是做任务规划层。这个任务规划层大概就是：我跟你说我要吃西红柿炒蛋，那VLM规划的可能就是打开冰箱门、拿出西红柿、拿出鸡蛋等等。底下的小模型或者说具身模型，它会去执行打开冰箱门具体怎么做、打鸡蛋怎么做。

但是，Astra这次最大的一个变化是，它现在能做低层次的动作控制。相当于它给你的指令变成了“把手往右伸两厘米”或“把手放在冰箱门的把手上”，如果没有抓住的话，它会说“那你再往前靠一靠”……所以它相当于把这个层往下压了。

原来是大家边界很清晰的，但它现在说我能力非常强，除了慢以外，我可以往下压一点点。那底下的这个就更像是一个反射式的提线木偶。肯定有一些声音说，那是不是未来上层的这个模型可以无限往下压？压到最后是不是就变成一个完全端到端的VLM？Astra直接控制所有事情。

我个人的观点是，我觉得这还不是太合理。第一是速度问题：你在网上看到的Astra做控制都要用16倍速或24倍速才能看。第二，我觉得现在的Astra对物理还是缺乏理解，尤其是对人类来说叫直觉或直觉物理学的那部分。

我随手碰一个物体，它如果有水可能会洒，如果是玻璃可能会碎。这些事情Astra经过很多语言推理可能能理解，但如果希望它去做一个任务时立刻有这方面的理解，它可能效果还不够好。这个地方可能还是需要像世界模型或快速的模型，要做