撰文| 王 潘
编辑| 吴先之
叉子的角度偏了。
机器人捏着它往筷子筒里送,连续尝试了几次,叉尖始终卡在筒沿。
这样的训练,稀松平常,可这次似乎有些不一样——它没有继续向下硬塞,也没有退回原点从头再来,而是将叉子靠在筒沿,轻轻借力,待角度转正,再重新抬起,让叉子落了进去。
整套动作没有表演性,甚至有些迟缓。
但围在旁边的研发人员看到的,却是另一件事——第一次失败后,机器人没有重复过去的路径,而是根据眼前的情况,临时想到了一种新的解法。
随后,旁边的碗被蹭了一下,水洒出来一点。机器人先是一愣,再停下手里的整理动作,去擦拭水渍。
可擦桌子是单独训练过的任务,在此前的训练场景里,没有人专门教过它:水洒了,要先停手。
黎曼动力机器人在厨房收纳任务的真机表现
一名同事跑来告诉刘扬:“这个模型,我感觉有一点泛化性了。”
他心里很清楚,这句话意味着什么。
过去三年,他带领的团队,曾创造过比这绚烂得多的世界,他们让人走进梵高的《星月夜》,亦让牛仔在西部小镇里,一路向前。
那或许才是人们想象中AI该有的样子,瑰丽、陌生,带着凭空造物的神性。相比之下,厨房里的叉子与水渍,难免有些琐碎。
可物理世界的智能,偏偏藏在这些琐碎里。
从生成一个虚拟世界,到驱动一台真实的机器人,这支团队蛰伏近三年。期间,他们也曾像那把卡在筒沿的叉子,尝试着不同的可能性,始终未崭露头角。脚下的路充满了坎坷,但在经历了一路的“过关斩将”后,他们终于开始兑现自己的野心。这背后,是一群顶尖技术信仰者的奋斗故事。
20人顶尖战队,搭起一个新世界
加入昆仑万维时,刘扬绝不会想到,自己最后会去做机器人。
彼时,Agent是整个AI世界的热点,公司内部的2050研究院选择跟上浪潮,孵化新方向。一通讨论下来,分出了两条线:一拨人做数字世界的Office Agent;另一拨人去做物理世界Agent,从世界模型做起。
后者被命名为Matrix,矩阵。
Matrix最初的设想颇为大胆:做一套持续生成、即时响应的仿真器,就像AlphaZero靠自我对弈提升棋力一样,他们希望Agent也能在模型创造的世界里探索、训练。
棋盘毕竟是封闭的,世界却没有边界,这意味着Matrix从成立之初,瞄准的就是当时几乎无人能给出完整答案的问题。
方向听上去很酷,可招人的时候,这条略显先锋的道路,往往需要花上一点时间让人理解和相信。
候选人聊完技术,总会把身体往椅背上一靠,问出一个问题:这个东西最后是做什么?
他没有回避这种不确定性,只是坦诚地告诉对方,Matrix要做世界模型,至于最后会成为训练仿真器、一款游戏,还是其他产品形态,现在还不能确定。但坦诚,没有帮他更快招到合适的人。
首先,昆仑万维对于招聘有着近乎苛刻的要求,绝对不会为了能够早点填上坑而放宽标准。其次,顶尖优秀人才对于将要去的公司也会非常挑剔,除非这家公司的追求符合自己的理想与追求。这是一次彼此都对对方有着极高要求的双向选择,其过程也注定不会顺利。
有的候选人会反复追问产品的出口,也有人担心,一条没有业务主线的探索,可能会在组织调整中消失。当时的Agent、视频模型、文生图都已有相对清晰的应用前景,相比之下,世界模型仍然是前路未明、挑战重重。
他许诺不了一个确定的终局,能提供的筹码亦不算多。开源和技术影响力,也许是其中较有分量的一笔。但有一点远比这些都重要得多,那就是团队可以提供顶尖人才真正最想要的东西,一个足够宏大的梦想和可以实现的路径。
毕竟,高薪和优渥的办公环境,对于普通人来讲很稀缺,对顶尖人才而言却只是标配。真正让他们难以拒绝的,是一个足够艰难,也足以承载其全部能力与野心的目标。
当时受到关注的Google Genie既不开放模型,公开的技术细节也有限。对做技术的人来说,如果能做出第一版开源的世界模型,与全球最顶尖公司同台竞技,并最终改变这个世界,这比赚到更多钱要让他们更兴奋一百倍不止。
刘扬告诉光子星球,团队中的很多人,就是冲着这件事来的。
而这件事最终得以顺利推进,离不开昆仑万维创始人周亚辉在背后发挥的巨大作用。据悉,当时周亚辉亲自派出集团高招组,去全球顶尖科技公司和高校寻找该方向上最顶级的人才,市场上资深的大牛几乎都被他们聊过一遍。
最终,有不少人是在周亚辉多次亲自出面,讲述公司在这件事上的终极目标和愿景后,才被说服加入的。毕竟,摆在他们面前的机会实在太多。
他们其实都清楚,眼前是一条没有成熟范式、充斥着不确定性的路。支撑他们的,是纯粹的技术信仰——相信这个方向,也相信自己有机会将它从无到有,带到世界面前。
因此,这轮招聘,亦是一轮苛刻的双向筛选。最后,刘扬聚拢了20人左右的顶尖团队,成员主要来自CV、视频模型、3D等相邻领域,还有两位从腾讯过来的游戏引擎工程师。来处不同,但都对前沿探索抱有相似的信念。
国内首家布局世界模型的团队,由此诞生。
不同背景的人,聚到一起,首先需要思考的,就是这个世界,究竟该从哪里开始。
从游戏切入世界模型,是当时最天才,也最顺理成章的决定。
对世界模型来说,游戏就是一个简化版的真实世界,既保留了重力、碰撞等物理规则,又足够干净,不必面对现实里无穷无尽的变量,还能随着用户操作而变化。
数据也不算难找。YouTube、B站上有海量的游戏实况,游戏引擎本身也能自动生成轨迹,采集成本、实验成本、试错风险都比真实世界低太多。
叠加昆仑万维自身的游戏基因,Matrix-Game模型,就这么拍板立了项。
最初,团队的目标很简单,即让用户能走进一个AI实时生成的世界,并且这个世界是“活”的,可扎进去才知道,实现这一切,需要攻克业界的重重难点。
第一道坎,是实时与交互。
传统视频模型,通常一次性生成一段完整视频,可交互世界不行,用户随时都会按下新的方向键,模型需要随时踩刹车,接收到新指令,再根据历史画面和新动作,继续生成新画面。
另一道坎,是记忆。
他们曾创造过一个类似西部小镇的场景,可人物沿着街道走一圈回到原点,却发现刚才路过的那栋木屋,消失了。模型只会预测下一段画面,并没有稳定的长时序记忆——拥有无穷无尽的下一帧,却没有一个可靠的过去。
就像乔治·马洛里说的,因为山在那里。这帮渴望改变世界的人,紧盯业界难题,硬着头皮往上冲。
据刘扬回忆,2025年5月,Matrix-Game 1.0发布时,是工业界首个开源的10B+空间智能大模型。
而在同Decart推出的Oasis、微软开源模型MineWorld的横向对比中,Matrix-Game(下图中“Ours”)在视觉质量、时间一致性、动作可控性与物理规则理解四项核心维度上,取得了全面领先。
双盲人评实验中,Matrix-Game与其他模型的成绩对比
只是,受限于当时整个行业仍处早期,模型能力与推理效率都远未成熟,即便已做到了全球领先,但距离真正“畅玩”,仍隔着一段路。
测试的同学按一下“向前”,大可起身去接杯水,因为就算回来,画面可能还没生成完;而制作一段一分钟的Demo,团队得提前花些时间,将画面一帧帧生成出来。
没人否认,那时的Matrix-Game,还只是个实验性质的尝试。但它至少证明了,这条路是通的。
此后的日子里,这支二十人的顶尖团队,每天围着这个主题转。他们没有商业化指标,却秉持着对技术的执念,一往无前,去跨过一道又一道横亘在前的坎。
捅破天花板,闯出一条大道
2025年8月,Matrix-Game 2.0的发布,直接掀掉了全球开源世界模型的天花板。
此前的半年里,团队围绕模型蒸馏、推理优化等方向持续攻坚,把单卡帧率拉到了25帧,接近实时交互的体验。这也是业内首个,在通用场景下实现实时长序列交互式生成的开源世界模型方案。
如果说,初代Matrix-Game证明了路线本身,那么2.0则第一次让世界模型,被更多人所看见。
从这一版开始,Matrix-Game才算真正有了一个世界模型该有的模样。
Matrix-Game 2.0上线前,团队天天都会泡在里面玩。刘扬喜欢把世界名画当首帧输入进去,比如梵高的《星月夜》,然后往前走,模型便会沿着原有的笔触、色彩与空间关系,继续渲染出它“想象”中这幅画背后的3D世界。
Matrix-Game 2.0生成的《星月夜》场景
这或许是世界模型最迷人的一面——过去,人们只能站在画框之外凝视一幅画;到了Matrix-Game 2.0,人可以试着走进去,看看那片从未存在、却又仿佛本该存在的星空,究竟会延伸到哪里。
开源之后,热闹从内部,蔓延到了世界各地。
由于模型支持消费级显卡,社交媒体上,很快掀起了一阵关于Matrix-Game 2.0的狂欢。有人输入插画,有人输入电影截图,也有人用自己的生活照当起点,千奇百怪的首帧,长出了千奇百怪的世界。
这些视频,像一封封回信,让这支长期靠着信念前行的团队,听见了来自外部的回响。
更具分量的认可,来自同行。
DiT作者、纽约大学助理教授谢赛宁团队曾主动发来邮件,与团队交流模型细节。而谢赛宁团队后来发布的多人世界模型Solaris,亦引用并沿用了Matrix-Game 2.0的开源技术方案。
刘扬告诉光子星球,被引用这事,他自己也是刷推特时才知道的。
他刷推特有个习惯,但凡和世界模型沾边的项目,都要点进去扫一眼。Solaris发布那天,他也是随手点进去的,滑到项目简介的第二段第一行,手指忽然停了。
那里写着自己团队的名字。这个顶尖团队的战斗力,在这一刻得到了具象化的体现。
消息传回工区,大家都非常兴奋,激动地聊起了技术细节。
周亚辉知晓后,也很高兴。早期世界模型玩家稀少,领先有时会带来另一种不安,即究竟是模型足够好,还是赛道里暂时没有足够强的对手。可当一个世界头部团队愿意顺着Matrix的方案继续向前,这颗悬着的心,就落下来一半。
那段时间,更多积极的回声接连传来,头部团队的引用、创业团队的部署、AI游戏公司的商业授权问询、用户的喜爱,这些东西凑在一起,让这支团队,找到了一块踏实的落脚点。
模型几乎每天在进步,可越是这样,有一个问题越是挥之不去——他们创造出的这个世界,究竟要承载什么?
“当时我们已经能让用户走进一个实时生成的世界,但它还不是游戏。它没有角色关系,没有剧情,也没有真正的消费场景。”刘扬坦言。
好比一座刚建好,却没人住的空城,街道完整,建筑林立,每一扇门背后都有无限可能,但城市里没有居民,没有故事,也没有人与人之间的关系。
换言之,其本质上是个Navigation-based的探索空间,不管是谁,走得久了都会忍不住问自己一句:然后呢?
是啊,然后呢?
这三个字,像一根细小的刺,扎进了Matrix最热闹的时刻——世界模型的下一帧,越来越清晰,可这支始终走在行业最前端的团队,前方却仍然不够清晰。
走入“无人深空”,大概是所有的前沿探索,最磨人与最迷人的地方——走在后面的人面对的是问题,而走在最前面的人,还得决定什么才是问题。
对于普通人来讲,遇到挑战通常会焦虑、无助、迷茫,甚至选择逃避。但是对于这个由顶尖人才组成的战斗力拉满的团队,他们遇到挑战时有的只是兴奋,他们是一群天生就喜欢啃硬骨头的人。
既然没有现成的路,那就只能由他们自己走出来。
团队开了很多次会讨论方向的问题,以及下一版该往里加什么。
白板上很快写满了答案。有人提议像《神庙逃亡》那样,加入金币和积分系统;有人希望加入隐藏奖励,探索到某个位置后拿到奖品;也有人建议加入NPC,像早期《仙剑奇侠传》一样,站在路边给玩家继续探索的提示。
这些想法,技术上都能实现,但所有人都心知肚明,这些不过是feature,就算叠加一百个功能,也无法彻底改变世界模型的智能上限,有悖于初衷。
一通讨论下来,前路大致有三条。
第一条,等。
等AI原生游戏整体生态起来,等更多团队把NPC、剧情、玩法等拼图补齐后,Matrix作为底层引擎,自然能兑现价值。但没人知道这一等,是一年还是三年;也不知道等到那天,技术路线会不会已经变了模样。
第二条,自己做游戏。
但这也意味着,一个纯模型团队要突然转型成游戏公司——策划、美术、数值、运营,每一块都要从头做起。而游戏行业的残酷性摆在那里,他们可以创造一个世界,却未必懂得如何经营一个世界。
第三条,是重新回到技术原点,寻找世界模型更大的归宿。
这条路最难,甚至可能比未知更未知,但也只有这条路,配得上这群人的追求与Matrix成立那天的野心。
要干,就干一票大的
一支顶级团队的转向,既不会突然拍板,亦很少始于某个确切的时间点。
尽管转折发生在2025年秋天,但事实上,更早之前,Matrix就已试着证明它不只属于虚拟世界。
2025年上半年,团队给模型投喂了一批截然不同的数据。
他们找到众包数据合作商,用iPhone采了几千小时的第一视角视频——普通人拿着手机,在街道上走、在楼道里走、在房间里走,保留手部与身体动作,再将这些数据混入原有训练集。
结果出乎所有人的预料。
离开熟悉的游戏画面后,模型依旧能维持空间关系,并生成真实场景的交互探索,人往前走,墙角跟着退;推开一扇门,门后是新的房间。
换言之,模型偷偷从虚拟世界,溜进了现实。
后来,团队看到了一篇世界动作模型方向的论文。而这篇论文里谈到的空间理解、物理规律、动作条件生成、长时序记忆、未来状态预测等模块,大家实在是太熟悉了。
一年多来,团队一直有个模糊的猜想,即能预测下一帧画面,理论上就能反推中间发生了什么动作。但猜想始终是猜想,游戏世界模型和机器人模型,毕竟是两个圈子的东西,中间隔着一层看不见的墙。
而这篇论文,或者说彼时机器人赛道兴起的世界动作模型路线,把这堵墙凿穿了。
“我们当时就发现,这和我们过去搭的框架,基本上收敛到一起了。”
两条起点完全不同的路,通向的原来是同一个终点。更狠的是,不是他们追上了风口,是风口自己追上了他们。
方向清晰了,但刘扬没有急着拍板,而是陆续下单了好几种人形机器人、机械臂与灵巧手,亲自去验证。
9月,宇树G1搬进了天工七楼工区。
现实世界,给这支模型团队的第一条反馈,是投诉。
双足踩在水泥地上的砰砰声,隔着楼板往下传,周围的同事摘下耳机确认了一遍,又戴上,还是听得见,反手就是一个举报。
把机器人搬到楼下的院子里测试,可开窗还是听得见。无奈的他,最后在附近产业园租了一间单独的实验室,才算将机器人安顿下来。
黎曼动力机器人在积木堆叠、衣物折叠等场景的真机表现
这样的曲折故事,在他们这段打怪升级的经历里,可能连都困扰算不上,顶多只是一个小小的插曲。
相比噪声,当时的他更担心士气。
在他看来,团队里二十多个人几乎全是模型背景,没人懂硬件。突然转向,意味着得有人站出来救急,学操控、硬件调参,甚至是搬运机器人本身,总归脱离了本职工作。
可实际情况,却出乎他的预料。
新的实验室租下来之后,很多同事不再待在自己工位上了,模型训完就往机器人实验室跑,有时一泡就是一整天。
没有人要求他们这样做。
反馈的差异,固然是一方面原因。此前,世界模型的反馈略显模糊,有时候除了硬性指标,很难说清模型到底进步了多少;机器人不一样,昨天抓不住的杯子,今天抓住了,这种来自现实世界的正反馈既陌生,又强烈。
更深层的驱动,还是来自对这件事的着迷。
那段时间,几乎每个成员都在接触过去不会做、甚至从未想过会做的事情,有人恶补机械知识,有人卷起袖子将机器人搬上搬下,没人把这些视为负担。
那段时间,模型学习着,如何从虚拟世界进入现实,这支团队也经历着相似的变化。
模型的泛化,是离开熟悉的数据后,仍然能够抓住底层规律;人的泛化,则是离开熟悉的岗位后,依然能够围绕新的技术、新的领域,继续成长。
因此,被训练的不只是模型,他们自身亦在成为一支更强的团队。
而凭着这股干劲,团队起初对这条路的难度、行业现状、技术适配性的疑问,很快便有了明确答案。
尽管刘扬依然相信,未来会有人做出完全由模型生成的游戏,但对当时的团队而言,两条路线并行,很可能任何一条都走不通。因此,第一轮实验跑通之后,团队内部的意见迅速统一——要干就干一票大的,全员转向机器人模型。
2025年底,世界动作模型路线爆发时,团队内部已经完全不讨论“该不该转”这个问题。不少人后来跟他说,哪怕再做一百次选择,依然会做同样的决定。
探索的日子,算是熬出头了。
从那以后,问题不再是“应该去哪里”。路已经选定,剩下的,只剩如何成功实现。
冲击100万小时,大力出奇迹
进展,比所有人预想的都快。
2026年,这支团队有了新的名字——黎曼动力。从这家公司的名字里,我们也能看到创始团队的追求。
“黎曼”,在全球数学界和物理学界绝对是一个响当当的名字,很多人也会因他联想到黎曼几何、黎曼空间,这是AI时代颇为重要的一组概念。一方面,高维空间、流形、度量,都是现代模型训练最基础的东西;另一方面,他们也希望未来自己的机器人,能在自己建模的复杂空间里面完成思考、决策。
仅仅几个月后,WAIC 2026现场,黎曼动力的世界动作模型Riemann-1.0,首秀即登顶。
Riemann-1.0
机器人圈公认最难的“家务大考”RoboCasa-365,它以62.6%的成绩拿下SOTA,比此前纪录高出8.4个百分点——而榜单上大多数模型,还在50%以下徘徊。
同时,Riemann-1.0还拿下了RoboTwin 2.0的SOTA;而在有序积木堆叠、柔性布料折叠等四类家务真机评测中,其平均成功率高达85%,领先最强开源对手整整15个百分点。
RoboCasa-365表现对比
这支跨界而来的团队,第一次正式出手,就摸到了行业天花板。
尽管现在看来,这不过是寥寥几行数字,但只有亲历过这段往事的人才知道,数字背后藏着多少反共识的判断,以及多少看不出变化、却始终不能停下的日夜。
刘扬告诉光子星球,这支团队从一开始,就没有沿着行业惯常的逻辑去解题。
这与勇气无关,也谈不上刻意挑战共识,而是组织基因、底色的差异。天才的本色,以及不同的来时路,让他们得以站在另一种视角下,看到不同的解题路径。
他和团队中的多数核心成员,都是坚定的Scaling信徒。
早期Transformer也曾因逻辑、记忆与数学缺陷遭到大量质疑,后来行业发现,许多看似需要复杂模块解决的问题,会在规模扩大后逐渐缓解。因此,尽管现阶段机器人圈新架构层出不穷,但在他看来,现在行业整体的数据量,并不足以验证架构的优劣。
因此,他做了一个反共识的选择——不急着拼架构,先堆够100万小时的有效训练数据,大力出奇迹。
找遍全网,达标的训练数据有限,团队便自己定义采集标准、任务分类、场景要求,并拉着熟悉的数据供应商,从零搭建数据基建。
数据的选择上,黎曼动力也走了一条颇具想象力的路,即用裸手视频打底,UMI、外骨骼数据做骨架,真机、仿真轨迹做校准。
Riemann-1.0的数据基建、训练框架、模型性能总览
在行业过往的认知里,纯裸手的第一人称视频,只有画面、没有额外传感数据,训练价值很低,也很少有厂商购买,以至于数据商最初收到相关需求时,一度怀疑他们是骗子。
但训练结果,推翻了所谓的共识——用纯视觉的人类第一视角数据做预训练,模型的泛化能力、动作流畅度提升非常显著。
截至目前,Riemann-1.0已经吞下了23.2万小时的训练数据,其中绝大多数是人类的第一视角视频。登顶SOTA是结果,文章开头那把借力转正的叉子,亦是结果。
落地场景的选择,同样反共识——反的是行业里“先赚稳钱”的惯性。
据MarketsandMarkets测算,全球具身智能市场规模将从2025年的44.4亿美元增至2030年的230.6亿美元,年复合增速39%;其中“大脑”作为增速最快的细分赛道,增速高出整体12个百分点。
面对不断膨胀的蛋糕,绝大多数玩家的第一选择都是工厂,以此讲述自己的落地故事。今年上半年,刘扬也专门去浙江工厂考察过一圈,回来后,他承认这是门好生意,却始终提不起劲。
对此,他告诉光子星球,黎曼动力内部一直有个“暴论”,即机器人大脑模型的智能边界,其实在C端。
这个判断,一定程度上来自大模型的进化规律。Claude早期已经展现出代码能力,但只有进入Cursor、Devin等面向普通开发者的真实环境,接受大量任务与反馈后,其代码能力才继续被推向更高水平。
机器人或许也一样,越标准化的场景,越不需要通用智能。而工厂的重复场景,更多考验精度、力控和稳定性等维度,属于“小脑”的活,很难拓宽“大脑”的边界。相比之下,只有将机器人扔进高度多样、充满意外的环境里,其才会被逼着成长。
如前述所言,团队曾面临一次选择——如果当时留在原地、为虚拟世界添加功能,或许能做出一个玩法更丰富的世界,却未必会有今天的黎曼动力。
如今,站在同样的岔路口前,他们做出了与当初一样的选择——完全没想过“保下限”,只想着“搏上限”,义无反顾地踏上更具挑战,却能真正改变世界的那条路。这背后,是周亚辉对这一方向的笃定。
这条路,通向C端的“终极考场”——家庭。为了摸清现阶段机器人能解决哪些真实问题,周亚辉曾亲自去往一线调研。几轮调研下来,他们决定先从日本的养老院、酒店等场景切入,撬动“部署—数据—模型—新场景”的正向循环。
但不论如何,所有反共识的认知,最终都要回到真实世界里,去验证、生长。好在,现在他们的每一步,都踩在了实地上,并有着广阔的前景。
从Matrix到黎曼动力,刘扬的团队,终究走到了产业前台。
WAIC Riemann-1.0发布现场图
过去,做完一个版本,他只需坐下来同团队讨论下一个版本的方向。而现在,则要考虑融资、品牌、竞争定位、商业计划,六个月、一年、三年、五年分别走到哪里。面对手中需要拍板的事情陡增,多数人可能会抓狂,但是对他而言,挑战越多,反而越兴奋。
对于行业未来,他的判断是,2027年底到2028年初,世界模型可能会迎来接近GPT-3的时刻,之后技术路线收敛,一部分玩家被淘汰,机器人API市场形成。整个行业的商业模式,则可能从卖硬件转向卖服务与软件,步入Token经济时代。
基于稳居全球SOTA的Matrix-Game,以及Riemann-1.0已然验证的模型硬实力,他给黎曼动力定下了长期目标——在世界模型、“大脑”模型、API市场三大核心赛道,全部跻身全球前五。
从一个模型的重量,到一台机器人的重量,再到一家公司的重量,团队承载的梦想也正在变大。毕竟从一开始,他们就主动选择了一条更难而正确的路,而目前的喜人进展已经证明,这支团队确实拥有将远大抱负变成现实的顶尖战斗力。
就像那把终于落进筒里的叉子,曾经漂浮无措的迂回与试探,不过只是冰山露出水面的一角。更深处涌动的,是这群人试图撬动一个时代的终极野望。
微信号|TMTweb
公众号|光子星球
别忘了扫码关注我们!