关注投资家，⭐，您会收到最新推送

作者 | Steven

来源 | 潜望镜Lens

2024年8月，亚马逊以 “收购式招聘” 拿下Covariant核心团队与机器人基础模型（RFM），此举被认为将在未来数年内削减美国本土数十万仓储分拣人力，成为具身智能首次实现规模化商用、真正颠覆一个行业的标志性事件。

时隔一年多，前 Covariant AI 副总裁、主导全球软件、AI与机器人工程体系建设的慕巍正式离职，低调加盟中国具身数据领域的初创企业——枢途科技。

慕巍拥有清华大学计算机学士、硕士学位，以及美国北卡罗来纳州立大学计算机博士学位，先后供职于微软、Facebook、Google等全球顶尖科技公司。过去20年，他始终站在AI浪潮最前沿，亲历了行业每一次关键技术跃迁。

慕巍博士

精英人才的集结，标志着枢途科技在具身智能赛道进入全新阶段。 依托核心产品 SynaData 引擎，枢途科技实现了 2D 视频向毫米级精度 3D HOI 数据的飞跃，彻底解决了传统遥操作数据获取难、成本高的痛点。凭借“全球首例第三方具身模型跑通”的实战成绩，展现出极高的技术壁垒与行业地位。

本期，我们专访这位横跨AI全周期的行业老兵。从早年在心理学、认知科学与语言学中探寻人类智能本源，到如今大模型时代以十万亿级Token重构产业逻辑，慕巍用深入浅出的视角，完整拆解AI与具身机器人的过去、现在与未来。

20年前，没人叫“具身智能”

潜望镜Lens：您是什么时候进入AI这一行的？

慕巍：我其实从小就参与了国家计算机竞赛并入选了国家集训队，也是在基于统计学习的方法刚刚开始主导AI 发展的时候入的行，所以这辈子可能都在做这件事。我2004年在读PhD的时候，做的就是AI机器人相关的研究，我们那个时候就开始做认知科学和机器人的工具使用了。AI的几个时代我都经历过，然后分别在Microsoft、Facebook、Google，到后来的Covariant，基本上在每一个AI跃迁的时代，我都在最前沿的公司待过。

潜望镜Lens：当时的具身和现在讲的具身是一个意思吗？

慕巍：很早了。2000年前后，AI还没有进入今天以大规模深度学习和大模型为核心的阶段。当时更主流的技术路线，仍然是基于符号推理、规划、规则系统，以及一些统计学习方法。大家更多是从心理学、认知科学和语言学里去理解智能是怎么形成的——人是怎么成长、怎么理解外部世界、怎么学会和环境互动的。

Embodiment这个词，最早也是从语言学、认知科学这些脉络里来的。那时候中文里还没有特别固定的说法，更不会像今天这样被广泛翻译成“具身智能”。后来它突然变成了一个很热的概念。

我去Covariant的时候，我们更多讲的是通用AI，或者general AI model，也不会刻意使用embodiment这样的词。

潜望镜Lens：您基本经历了每一个AI技术跃迁的时代。对AI这件事，您最大的感受是什么？

慕巍：对于AI，在我看来它有很大的一个特色，人们对于问题的想象和对问题的解决过程是相当分离的。

潜望镜Lens：能举个例子吗？

慕巍：基于 AI 的产品设计可能在第一天就想象到这个问题的终极解决场景，但是十年之后，你发现这个产品还是在解决同样的问题。无人车就是一个特别典型的例子。我大概15年前，已经在硅谷做过无人车，各种全自主L4无人驾驶。今天，你发现这件事还是那样，本质没有变，只是解决那个问题的成功率中的9变得越来越多了。最开始可能解决90%的case，后来变成99%，再后来变成四个9，今天可能是六个9。

所以你从一开始想象有一个智能汽车可以完全替代你开车，到今天还在解决这个需求，发展路径是非常漫长的。

潜望镜Lens：所以机器人也一样吗？很早之前科幻电影就有机器人管家了。

慕巍：所以AI的一个特点就是，最开始你就能想象出，有一个人形机器人在你的生活当中帮你做任何事情，但解决这件事情的路径是非常漫长的，是一个行业的积累和沉淀的过程。

潜望镜Lens：机器人跟手机发展的逻辑不一样？

慕巍：完全不一样。手机是发明者定义产品，是产品经理引领用户智能手机可以怎么样被使用，因为在发明手机之前，你不知道一个智能手机可以做什么。但AI你可能想象得比我还多。

Covariant被亚马逊收购的背后

潜望镜Lens：Covariant是一个怎么样的公司？

慕巍：Covariant 是一个很务实的，或者说注重算法落地的公司。就是他的创始团队是Pieter Abbeel加上他的三个中国学生。最早的核心理念是用AI解决一切事情。他的理念非常坚定。把AI带进Robotics这个行业，本身就是他的个人风格——开山鼻祖型的人。所以你会发现硅谷这一边的做法和传统控制理论的做法，其实在Robotic里是两个流派。

潜望镜Lens：您当时加入Covariant，是感觉具身智能的爆发点到了吗？

慕巍：GPT出来之后，我觉得机器人是一个长期赛道。当时跟Peter Chen（Covariant CEO）聊，我说未来二十年至少是这样的规划。

Covariant真正落地的时候，是找到了仓储物品拣选这样的一个场景。本质上，大家认为产品的迭代是要在真实环境中逐步发展起来的。

潜望镜Lens：据说会帮亚马逊省几十万人的仓储/分拣岗位？

慕巍：我不能替他们说这个话，但是核心的点在于，这件事情的场景是真实存在的。

潜望镜Lens：当时为什么选择仓储？

慕巍：在我们看来，仓储是所有具身智能可能触达的领域里，比较中间的一个状态。仓储是一个可控的商业环境或者可控的工业环境。往左边走会走到工业，所有工业的元器件搬运都要走仓。但是往右边走又走到普通人的生活，你今天接触到的所有吃穿用度都是从仓里运过去的。在技术没有完全成熟的时候，这个场景里积累的数据会铺平道路，可以往左走，也可以往右走。

潜望镜Lens：当时这个场景，是不是算第一次让具身技术实现大规模商业应用，甚至彻底改变了一个行业？

慕巍：我觉得应该算。但是要回到那个点，我们到底怎么定义具身？如果一定是人形或者轮臂叫做具身的话，你现在很难说。因为现在这个场景是最 ready 的，但并不意味着进到仓库里头，就看到满满都是轮臂或者人型机器人在跑。

三条线凑齐，人形只是过渡

潜望镜Lens：那您怎么看机器人的终极形态？

慕巍：很多人在问为什么一定是人形机器人，其实有很多的原因。比如说采集人类数据最简单，比如说人形机器人在所有的场景是最通用的。我认为还有一个重要原因是今天没有找到完整的技术方案，或者把商业闭环完全打通。一旦场景打通了，机器人形态一定是分化的。

潜望镜Lens：分化成什么样？

慕巍：一定会变成在不同的场景，出现最适合这个场景的形态。工厂里一个形态，家里一个形态，咖啡店又是一个形态。最终人形肯定不是在所有场景都是最优解。

潜望镜Lens：那现在为什么都做成人形？

慕巍：因为没有找到完美的方案之前，先做一种最通用的技术方案。开发技术和采集数据最方便，想象空间最大。但这应该只是过渡阶段。

潜望镜Lens：既然人形不一定是具身智能的标志，那您觉得这一轮技术浪潮，哪几个核心技术算是具身的标志性技术？

慕巍：三个层面吧。

第一是大语言模型的成功。它铺平了大家对于Transformer-based模型可以带来多大想象力的上限。这也就是我后来从舟谱离开去做这件事情的原因——我一直相信这件事情在未来20年一定是一个最核心的生产力变革的事情。

第二是生成式模型的算法。不管是Diffusion、ACT还是Flow Matching，这些算法使得生成模型的形式和能力得到了很大的丰富。所以你真正能够看到，我用Human Demonstration，也就是所谓的遥操作去做一些视频，机器人也能很快从里面学到东西。

第三是Locomotion。比如ETH （苏黎世理工）、MIT的代表做的所谓的强化学习在环境当中的Locomotion这样的一个训练，从四足开始的机器人快速能够适应与地面的交互能力。今天大多数人形机器人跳舞，基本上就是基于这条线出来的。

潜望镜Lens：这三条线加起来，是不是就意味着“人形机器人”成了必然？

慕巍：对，这三条线给大家一个感觉：机器人的思考上限我也具备了，行动上限我也具备了，甚至拟人的能力也具备了，那为什么不做一个彻底的人形机器人？

加入枢途，他要求1+1>3

潜望镜Lens：为什么选枢途？一家成立才两年的公司。

慕巍：首先是人， 我与创始人团队结缘已久，2025年就有一些合作。大家对这件事情的认知是匹配和契合的。我带回的是工程化的经验和全球化的视野，他们提供的是对中国市场的深刻理解和爆发力极强的执行力。再加上一群敢打敢拼的年轻人，可以完美拼成一个能力拼图。

潜望镜Lens：您当时加入有什么预期？

慕巍：我说一定要达到“1+1>3”的效果，甚至大于2都不够满意。

潜望镜Lens：达到了吗？

慕巍：达到了。创始人对外部资源和商业的理解，跟我对技术驱动的理解，刚好完美配合。

采集容易，还原才是硬骨头

潜望镜Lens：枢途给自己的定位是什么？

慕巍：我们的目标不是“造机器人”，而是“让机器人好用”。一句话概括就是“让天下没有难用的机器人”，本质上枢途是一家机器人行业的赋能公司。

潜望镜Lens：为什么从数据切入？

慕巍：具身智能落地的最大瓶颈就是数据。帮助行业提供更好的应用落地的支撑是我们的愿景，正好我们在数据这方面有积累，有自己的能力，所以我们选择从数据这个定位切入。

潜望镜Lens：在数据领域，为什么选择2D的视频生成3D的数据这条路线？

慕巍：数据切入有很多复杂的选择。具身发展需要的的数据，其实大概就有三种数据形态：遥操作、仿真合成、人类视频。

遥操作是一个相对短期或者特定阶段的产物；仿真视频是一个偏补充性的数据形态，它更多的是要用仿真的形式模拟世界的物理规律，而这件事情今天其实有很多还没有完全打通；而人类行为视频在AI里头是最接近所谓的专家行为数据，实际上是最自然的，而且广泛存在这个世界。

所以采集人类真实的操作行为，在我们看来是一个长期的核心，它既有核心价值，也有长期意义。就不管技术怎么变，人类的操作行为，人类的这个专家行为是不变的。

潜望镜Lens：数据采集容易吗，和遥操作对比怎么样？

慕巍：采集这件事情在我们看来就是一个必选项。不过采集容易，还原却很难。戴上摄像头记录一下，成本很低。但怎么把视频中的三维信息、人体信息、被操作物体的信息还原出来，这才是难点。

当前面做的简单了，后面的事情就是自己的技术挑战。当你前面都做的很难了，那你可能后面东西容易一点，那就是另外一个路径了。

潜望镜Lens：所以我们为什么选择了前面很简单，后面很难的路线？

慕巍：因为前面这个东西我们认为是不变量。就是人类的操作行为，在一个十年的尺度上看，你现在怎么样收拾家，你大概十年之后还是怎么收拾家；你现在怎么拧螺丝，你未来还是怎么拧螺丝。

这样的操作行为，相对来说是一个不变量，那我只要真实采集到这个行为。我给自己的难点是我怎么样还原这个行为中代表的世界的规律。

这是我们给枢途的定位，在这样的一个广泛采集的数据体系当中，去还原它的3D信息、人类行动信息、被操作物体的信息，并且把这些东西带给机器人的企业，让他们能用起来。

潜望镜Lens：所以有一个说法是，遥操作是“机器人学习人类怎么操作机器人”。但是人类视频学习是“让机器人理解物理世界”。这个表述准确吗？

慕巍：我觉得这个说法是比较准确的。

遥操作这条路线过去发展很快，很大程度上是因为它借鉴了VLA的技术路线。VLA又建立在VLM，也就是视觉语言多模态大模型的基础上。VLM已经具备较强的通用视觉理解能力，再叠加遥操作数据做针对性后训练，机器人动作复刻的落地速度就会很快。

但问题在于，很多VLM的视觉能力主要来自互联网图文和视频数据，比如YouTube、抖音这类平台。这些数据很丰富，但本质上更多服务于内容理解和消费，并不是为了让机器人理解真实物理世界、理解人与环境的交互而设计的。

所以遥操作可以让机器人学习“人如何远程操控机器人完成动作”，但不等于机器人真正理解了真实任务的物理逻辑。它学到的更多是一套特定机器人本体上的操作轨迹，而不是人类在真实场景中如何完成工作。

这也决定了遥操作数据的局限性：一旦机器人换代，相机位置、手部结构、夹爪形态变化，过去的观测和动作数据就很难复用。因此它成本高、时效性强，也难以沉淀成长期通用的数据资产。

潜望镜Lens：所以采集人类专家数据是解决这一问题的方案吗？

慕巍：遥操作这种路径虽然前期简化，但后期会面临巨大难题。

在我看来，还有一个更关键的核心问题：依靠VLA或遥操作采集数据的操作人员，专长只在于远程操控机器人，而非真实场景的作业能力。工厂产线打包、拧螺丝，或是家庭家政、门店服务这类实际工作中的一线从业者并不懂遥操作；反过来，专职遥操人员，也没有真实落地场景的实操经验。

他们具备的只是操控机器人的技能，而非行业真实作业的专业能力。这会导致遥操作采集的数据存在根本性缺陷。

也正因如此，随着后续机器人控制能力逐步成熟，行业开始回溯问题根源，意识到早期视觉底座的偏差。最终数据获取回归本质思路：采集真实行业专家的实操视频、沉淀真实作业数据，以此训练适配物理世界、更贴合实际场景的机器人基础模型。

潜望镜Lens：2D视频会丢失很多物理世界的信息，3D还原过程需要补充哪些维度的数据?

整个流程需要串联2D检测、三维重建、动态相机矫正等多套算法，是一套高度工程化的复杂管线，绝非单一简单模块就能实现。

不仅如此，视觉还原完成后，还需接入仿真环境，校验动作的物理合理性与可行性。最后还要根据不同机器人本体差异，比如关节数量、夹爪结构不同，完成动作适配与映射，适配客户机型。

整体相当于搭建了一条完整的数据虚拟产线，环节长、链路复杂，每一环都要逐一攻克、打通串联，才能最终解决机器人实操的系统性问题。

潜望镜Lens：所以位置、动作这些是通过2D视频还原出来的，力、触觉一类的信息是通过仿真得出来？

慕巍：我们一方面依托仿真做动作还原，另一方面也推进真实场景的数据采集，整体技术布局比行业同行更进一步。

回归具身智能的本质：目前行业数据高度依赖视觉，只因视觉数据最容易获取、体量最大。但人类实际作业，大量依靠触觉、本体力觉感知，这部分关键数据在行业内长期缺失。

简单来说：视觉负责判断怎么做，触觉与力控才决定动作能否稳定落地、避免失误，核心就是力反馈与触觉感知。

潜望镜Lens：您是通过什么技术路线，来解决这一问题的？

慕巍：我们自研并搭建了触觉+力反馈专属数据采集链路，后续模型将融合视觉、触觉、力控多维度数据联合训练，能力会更进一步。

现阶段纯视觉采集方案，接触交互与力的反馈只能依靠仿真模拟；而真实物理场景中，需要通过触觉采集手套等硬件，捕捉实际接触、受力细节，才能更完整、真实地还原物理交互过程。

NVIDIA 生态合作伙伴

潜望镜Lens：目前行业内仿真大部分都是基于英伟达Omniverse吗？

慕巍：是。我们跟英伟达一直是有比较好的关系，包括今年的GTC，我们也是三个受邀talk之一。

潜望镜Lens：枢途科技作为英伟达官方非常认可的视频数据公司，后续会与英伟达有更深入的合作吗？比如推动视频数据形成事实性行业标准。

慕巍：我不确定它会不会成为一个英伟达承认的标准。但是我觉得我们今天在做这件事情的时候，实际上就在跟我们的战略伙伴一起搭建这样的一个标准。

因为数据这个行业也会面临这样的问题，就像我刚才说的。采集视频是非常简单的事情。其实难的是你怎么采集到高质量的视频，同时能够把视频当中的信息有效还原出来。这件事情是我们留给自己的挑战，也是我们认为枢途最适合来解决的原因。

行业混用数据，但人类视频才是根本

潜望镜Lens：目前下游客户对我们数据的反馈怎么样？

慕巍：其实早在去年合作客户的项目中，就已经验证过效果。引入我们的数据集后，模型涌现出不少预期之外的全新行为，机器人抓取与操作能力明显得到了拓展。

潜望镜Lens：目前行业内会混用数据吗？

慕巍：行业普遍会混用多类数据。现阶段具身智能训练，很难只依赖单一数据源，必然是多类数据融合。其中人类真实场景数据是核心主体，再搭配仿真数据做补充，辅以少量遥操作数据做中后训练的对齐和补足，形成混合数据集。

机器人对真实世界的泛化理解，正依靠这类多元融合数据构建通用能力基座。这一点和自动驾驶逻辑一致，不会单纯只用真实路采数据或纯仿真数据，而是兼收并蓄、组合使用。只是各家的数据配比、技术深耕方向各不相同。

潜望镜Lens：和行业内其他方案相比，目前你们在数据成本上有优势吗？

慕巍：这套技术整体复杂度极高，是一条超长工程链路。外行容易误以为只是简单摄像头录制，门槛低、成本小；但真正落地后会发现，整体投入和技术成本都很高。

我们依托自研算法、行业经验与规模化优势，在同等数据质量下，成本远低于同行。而新入局者缺少技术积累与规模效应，成本天然更高。

潜望镜Lens：随着行业大规模应用，数据成本会大幅度降低吗？

慕巍：算法迭代与规模化落地，会持续拉低基础成本。但该领域还有一个核心特征：采集环节力求简单真实，还原环节的技术天花板却极高。

单靠普通摄像头完整复刻真实物理世界，本身难度极大，还原精度没有明确上限。行业发展过程中，大家对细节还原、物理交互、动作精度的要求只会越来越严苛。就像拍照要还原每一片树叶细节一样，精度要求越高，成本下限就越高。因此，即便基础成本下降，随着还原标准持续升级，整体成本并不会无限走低。

潜望镜Lens：未来机器人行业，会像大模型一样，搞海量的数据训练吗？像OpenAI那种量级的数据来训练。

慕巍：必须承认，具身智能仍处在高速发展阶段，行业尚无统一、明确的终局定义。

人类的智能本身是分层的：最高层级是抽象推理、符号认知、长周期规划，这部分能力恰恰是当前大模型最擅长的，比如制定复杂长线任务、逻辑规划。

但现实矛盾很明显：高层级虚拟规划已经很成熟，可让机器人完成倒水这类基础物理操作却依旧很难。核心原因是，人脑底层的运动控制、本体感知、肢体协调等能力，还没被AI和现有软硬件有效攻克。

行业常以大脑、小脑、脑干做类比，对应不同技术赛道：分别负责高层认知、精细运动、基础本能控制。整体现状就是：越高阶的抽象能力，技术越成熟；越底层的物理交互、肢体操控、环境适应能力，反而短板最突出、缺口最大。

潜望镜Lens：除了数据业务，枢途目前还有更远期的战略规划吗？

慕巍：我们现阶段对外的核心输出是数据产品，但长期来看。核心定位是机器人具身落地的综合服务商。

潜望镜Lens：除了数据业务，还有哪些是可以深度服务本体厂商的？

慕巍：目前行业存在几个核心发展方向与瓶颈，都是需要我们和生态伙伴共同突破的：

首先，是数据维度，核心在于持续提升数据集的丰富度与多样性。

此外，灵巧手正成为下一代具身智能的核心赛道，相关产品正在快速涌现。过去行业长期聚焦机器人本体，手部技术一直是短板；而灵巧手不仅存在硬件难题，在运动控制、力觉触觉反馈、多自由度协同上仍有大量缺口。单只灵巧手可达22个自由度，远超机械臂的6至7个，在控制模型分工、动作技能库搭建上，我们已提前布局研发与合作，暂未对外发布。

具身技术从产品走向真实商业场景，会面临大量落地阻力与持续迭代需求。针对垂直场景落地痛点，我们也在规划联合方案与配套能力，择机落地。

整体来看，具身智能横跨硬件、软件、场景落地，复杂度远高于纯软件行业，很难由单一企业全链条闭环。因此我们坚持生态化定位：以数据服务为基础，联动灵巧手厂商共建技能服务，沉淀仓储等垂直场景落地经验，立足生态中间层，和产业链伙伴分工协作，共同推动具身机器人商业化落地。

潜望镜Lens：刚提到灵巧手，这会是我们接下来的一个重要方向吗？

慕巍：我觉得灵巧手会是一个很重要的方向。今天国内灵巧手企业基本上是雨后春笋般在发展，头部企业估值已经很高了，参与者也非常多。但从路径上看，大多数公司还是先从硬件突破。

潜望镜Lens：这和中美的思路有差别吗？

慕巍：有。一个比较典型的差异是，中国的公司更倾向于做硬件；美国的公司已经比较自觉地倾向于做软件，或者说用软件来驱动硬件。最后大家都会走向各自的闭环。

也正因为这样，我们判断，中国市场会越来越需要软件层、控制层和解决方案层的赋能者。我们更看重的，是这个生态位。

潜望镜Lens：所以枢途切入灵巧手，重点不是“造手”本身？

慕巍：今天大量企业是从“先把手造出来”的方式开始的，但这里会面临几个问题。怎么驱动、怎么控制、怎么真正被用起来。今天行业里一个很现实的问题是，很多企业可以把硬件做出来，但如果后面的驱动和应用跟不上，供给和需求就还是错配的。

我们也比较坚定地认为，手要真正做好，一定要有触觉，一定要有力反馈。而这一块在数据层面其实是长期缺失的。

潜望镜Lens：缺失的难点主要在哪？

慕巍：一方面是采集难，另一方面是不统一。现在触觉大概有五到六种主流方案，不同方案的信号形式、分辨率、信噪比都不一样，甚至适配在手上的位置都不一样。有些路线，比如视觉触觉，在采集上本身也不算特别友好。

所以你会发现，大家都在做触觉，但每一家、每一种路线，自己手里的数据其实都不多。这也是为什么我们觉得，这件事情在现在这个时间点特别重要。

潜望镜Lens：您准备怎么解决这些痛点？

慕巍：我们现在在和不同的上下游伙伴合作，一起推进触觉数据采集方案、标准和对齐方式的建设。我们的目标不是只服务某一种硬件路线，而是尽量形成一套更通用、可兼容的方法。

这样一来，原本分散、稀缺的数据就有机会被整合起来，支持更大规模、更高质量的模型训练。对我们来说，这件事的价值不只是补一块数据空白，而是帮助行业把灵巧手真正从“能造出来”推进到“能被用出来”。

潜望镜Lens：所以你会把它看成具身智能里非常关键的一环？

慕巍：我会。很多人都说，手这件事有点像具身智能皇冠上的明珠。手如果真的能用好了，很多能力才算真正开始打开。

后记

结束与慕巍博士的对话，脑海里反复浮现两个词：穿越周期与回归本质。

作为亲历AI四波浪潮、从符号主义走到大模型时代的行业老兵，他没有被技术喧嚣裹挟，反而用20年的沉淀，把具身智能的过去、现在与未来讲得通透——从20年前无人定义“具身”，到今天全球争抢机器人商业化，他始终清醒：AI的想象永远超前于落地，而真正的突破，从来不在概念里，而在漫长的工程积累与数据沉淀中。

亚马逊收购式招聘Covariant的轰动、仓储机器人颠覆行业的现实、人形机器人并非终极答案的判断、数据才是具身智能最大瓶颈的洞察……每一个观点都不迎合热点，却直指行业核心。

更打动我们的，是他选择回国加入初创的枢途科技，不是追逐风口，而是相信 “让天下没有难用的机器人” 的长期价值。从2D视频升维3D物理可信数据，到补齐触觉与力控的行业空白，再到成为NVIDIA唯一认可的视频数据公司，枢途走的是一条 “由深及广”、却最贴近物理世界本质的路。

这是一个属于实干者的时代。当资本与舆论热衷于概念狂欢，真正推动行业前进的，永远是那些愿意啃硬骨头、深耕基础设施、相信长期主义的人。