具身智能(一):物理世界中的智能闭环
大语言模型已经能够处理文本、代码和数字工具,但当任务变成“把桌上的红色杯子放进左边托盘”时,智能面对的便不再只是信息。机器人还需要感知环境、估计状态、规划并执行动作,再根据物理反馈持续纠错。这正是具身智能的核心:让智能依托具体身体,在环境中形成观察、决策、行动和反馈的闭环。
作为具身智能系列第一篇文章,本文暂不深入运动学、控制算法和 VLA 的模型细节,而是先建立整体认知:具身智能是什么、技术路线如何演进、现代系统怎样连接 Observation、State 与 Action,以及执行闭环和学习闭环如何协同工作。最后,本文还将结合截至 2026 年的行业进展,讨论下一阶段的竞争重点与技术趋势。
从数字智能到具身智能
理解具身智能的起点,是看清智能进入物理世界后,如何从标准接口中的信息处理,转变为受到感知噪声、物理规律和安全约束的连续决策问题。
从数字世界进入物理世界,难点在哪里
数字智能与物理智能的区别,不在于是否能够“行动”,而在于行动发生在怎样的环境中。数字 Agent 可以点击网页、执行代码或调用 API,但这些动作通常通过预先定义的接口完成,输入输出和失败状态相对明确。
物理环境却没有统一接口,杯子也不会返回“抓偏了 3 厘米”的错误码。机器人只能根据视觉、本体感知、触觉和力反馈推断发生了什么,并且每次动作都会改变环境,影响后续观察与决策。
| 对比维度 | 数字智能 | 物理智能 |
|---|---|---|
| 输入 | 经过编码的信息和标准接口 | 带有噪声、延迟与遮挡的传感器信号 |
| 状态 | 上下文通常可以显式提供 | 环境只能被部分观察,需要持续估计 |
| 输出 | 文本、图片或工具调用 | 技能、轨迹、位置、速度或力矩 |
| 反馈 | API 结果、用户评价和离线指标 | 位移、接触、碰撞、滑落和任务结果 |
| 约束 | 计算资源、权限和接口规则 | 还要满足可达性、动力学、实时性和安全要求 |
| 失败成本 | 通常可以重试或回滚 | 可能损坏物体、设备,甚至伤害人 |
这些差异带来了四个核心难点:
- 语义落地(Grounding):将语言概念对应到真实物体、空间位置、可执行动作和成功条件。
- 部分可观测:根据有限且带有噪声的传感器信号,持续估计环境与机器人的状态。
- 物理可执行性:让动作同时满足可达性、碰撞、接触、摩擦和动力学约束。
- 实时反馈与安全:在环境变化或执行偏差出现时及时纠错,并控制动作风险。
以“拿起杯子”为例,一条简单指令需要经过完整的物理链路:

这条链路不是一次性执行的。机械臂移动会改变摄像头视角,夹爪接触会改变杯子的位置,外部干扰也可能让原有计划失效。机器人必须在行动过程中不断观察结果、更新判断并调整动作。
因此,从数字智能走向物理智能,不只是把模型输出从文本换成动作,而是把一次性的 input -> output 推理,转变为持续运行的“感知、决策、行动、反馈”闭环。一个动作不仅要合理,还必须能够执行、可以验证,并在失败后得到纠正。
什么是具身智能
“具身智能”没有统一定义。在认知科学中,它强调认知由大脑、身体与环境共同产生;在机器人和 AI 领域,它通常指智能体依托具体身体感知环境、执行动作,并根据反馈调整行为。
- 具身智能是在物理或模拟环境中,通过“感知、决策、行动、反馈”闭环完成任务,并具备一定适应与泛化能力的智能系统。
它的核心不在于机器人采用何种外形,而在于身体、环境与任务是否通过反馈形成闭环:身体决定能感知什么、执行什么,环境提供物理约束与反馈,任务则组织行为并推动持续纠错。
机器人、人形机器人与 VLA 是什么关系
这几个概念经常同时出现,但分别描述了机器人系统的不同层面:
- 机器人(Robot):它是一类具有感知、计算和执行能力的物理系统。工业机械臂、移动机器人、四足机器人和无人车都属于机器人,其行为既可以由固定程序控制,也可以具有较强自主性。
- 人形机器人(Humanoid Robot):它是一种本体形态,其身体结构和运动方式参考人类。人形设计有利于使用人类工具、适应已有环境,但外形像人并不意味着具备更高智能。
- 具身智能(Embodied AI):描述的是一种智能能力,智能体依托身体感知环境、执行动作,并根据反馈不断调整行为。它既可以运行在人形机器人上,也可以应用于机械臂、移动机器人或四足机器人。
- VLA(Vision-Language-Action):它是一类连接视觉、语言和动作的模型。它可以根据图像与任务指令生成机器人动作或动作片段,但只是具身系统中的一个核心组件。
因此,具身智能不等于人形机器人,VLA 也不等于完整的机器人系统。传统工业机械臂同样具有身体和反馈控制,现代具身 AI 则进一步强调开放环境感知、任务理解、学习、泛化和自主纠错。完整系统还需要传感器、状态估计、运动规划、实时控制、安全机制与部署基础设施共同配合。
具身智能的技术演进
具身智能并不是大模型出现后突然诞生的新方向,而是机器人学与控制、人工智能、机器学习三条技术路线长期汇合的结果:机器人学解决身体如何稳定运动,人工智能研究表示、推理与规划,机器学习则让感知和策略逐渐从数据中获得泛化能力。
这段历史也不是新技术依次替代旧技术。符号规划、模块化系统、反馈控制和学习策略至今仍然并存。真正发生变化的是系统边界:哪些能力由人显式编写,哪些交给模型学习,哪些模块可以融合,哪些环节仍然需要确定性约束。

经典机器人:从符号规划到模块化系统
早期人工智能倾向于把智能理解为“表示加推理”:系统先将环境转换成符号世界,再通过逻辑、搜索和规划生成行动步骤。
SRI 在 1966 至 1972 年研发的 Shakey 是这一时期的代表。它将摄像头、距离感知、世界表示、任务规划和移动执行连接起来,建立了一个影响深远的机器人框架:
1 | 感知环境 -> 建立世界模型 -> 任务规划 -> 执行动作 |
这条路线具有明确的状态和决策过程,但也依赖准确的环境模型。真实世界很难被完整地转换成符号,感知误差会进入世界模型,环境一旦发生变化,原有计划也可能迅速失效。
20 世纪 80 年代,Rodney Brooks 提出了另一种思路。Subsumption Architecture 将避障、移动和探索等行为组织成不同层次,让低层行为能够直接响应环境。他在 Intelligence without Representation 中进一步强调,智能也可以从身体与环境的实时交互中产生,不必总以完整的中央世界模型为前提。
与此同时,运动学、动力学、SLAM、运动规划和反馈控制逐渐成熟,形成了经典的模块化技术栈:
1 | 感知 -> 状态估计 -> 任务规划 -> 运动规划 -> 反馈控制 |
这种架构可解释、可调试,也容易加入碰撞约束和安全规则,今天仍然是大量机器人产品的基础。它的局限在于,系统依赖人工定义模块、规则和接口,面对开放环境时往往缺乏泛化能力。
机器人学习:从人工设计到数据驱动
进入 2010 年代,深度学习显著提升了图像识别、目标检测和视觉表示能力,机器人系统中的部分链路开始由“人工设计规则”转向“从数据中学习”。
其中,模仿学习让机器人从人类示范中学习动作,强化学习通过环境反馈优化策略,物理仿真则提供了成本更低的训练和测试环境,并推动 Sim2Real 技术的发展。
机器人控制由此出现了一条新的路线:
1 | 观察与任务目标 -> 学习策略 -> 动作或轨迹 |
相比手工规则,学习策略更适合处理像素输入、柔性物体和复杂接触等难以明确建模的问题,但也带来了两个根本限制:
- 数据成本高:机器人轨迹需要真实设备、场景和运行时间,失败还可能损坏物体或硬件。
- 分布偏移明显:策略依赖训练数据,物体、光照、相机位置或机器人本体发生变化,都可能导致性能下降。
因此,数据驱动并没有让经典机器人技术消失。现实系统通常采用混合架构:模型负责高维感知和复杂动作生成,运动规划、反馈控制与安全机制负责保证动作能够稳定执行。
具身基础模型:从单任务策略到跨本体泛化
2021 年以后,视觉语言模型和大语言模型开始将互联网规模的知识引入机器人,研究重点也从“学习一个技能”逐渐转向“训练能够处理多任务的通用策略”。这一阶段的代表性工作包括:
- SayCan 使用语言模型提出高层技能,再通过 Affordance(可供性)判断技能在当前状态下是否可执行;
- RT-1 根据图像和任务指令预测离散化的动作 token,展示了单个模型控制真实机器人完成多种任务的能力;
- PaLM-E 将视觉和连续传感信息接入语言模型,重点增强具身推理与任务理解,而不是直接替代底层控制器;
- RT-2 将机器人动作表示为视觉语言模型可以预测的 token,推动了 Vision-Language-Action(VLA)路线的发展;
- Open X-Embodiment 汇集不同机构、任务和机器人本体的数据,推动策略从单一本体训练走向跨本体预训练。
2024 年以后,研究进一步转向通用机器人策略。Octo 使用 Transformer Diffusion Policy 生成连续动作片段,OpenVLA 将动作离散化为 token 并进行自回归预测,π0 则通过 Flow Matching 生成连续、高频动作。三者都希望利用多任务、多机器人数据提升泛化能力,但代表了不同的动作建模路线:离散 token 便于复用视觉语言模型的序列生成能力,Diffusion 和 Flow Matching 则直接建模连续动作分布,更自然地表达平滑轨迹和多种可行行为。整个演进过程可以概括为:

这条路线扩大了机器人的知识范围和任务边界,但并没有消除物理世界的约束。基础模型主要增强了机器人的任务理解、知识迁移和动作生成能力,但并没有消除物理世界的约束。接下来真正的难题,是让这些动作可执行、可验证、可恢复,并能够长时间稳定运行。
现代具身系统如何工作
现代具身系统通常不是由单个模型独立完成所有工作,而是让不同模块在不同时间尺度上协作:高层理解目标并拆解任务,中层根据观察生成动作,底层负责将动作稳定、安全地执行到机器人本体。
分层协作:从任务理解到安全执行

一个具身系统通常可以分为四个层次:
| 层次 | 解决的问题 | 常见方法 |
|---|---|---|
| 感知与状态表示 | 环境中有什么,机器人处于什么状态 | 视觉模型、位姿估计、跟踪、滤波、多模态表示 |
| 推理与任务规划 | 任务目标是什么,接下来应该做什么 | 规则、搜索、任务规划、VLM/LLM、记忆与工具调用 |
| 策略与动作生成 | 根据当前状态,下一段动作如何产生 | 行为克隆、强化学习、VLA、Diffusion/Flow Policy |
| 执行与安全 | 动作如何准确、及时且安全地落到硬件 | 运动规划、轨迹优化、反馈控制、碰撞约束和急停 |
这种分层不是固定模板。经典系统会显式划分感知、规划与控制模块,VLA 则可能将感知、任务理解和动作生成融合进同一个模型。有的 VLA 直接输出末端动作片段,有的系统只让大模型选择已有技能,再交给传统规划器和控制器执行。
因此,“端到端”并不意味着一个大模型直接控制所有电机,而是减少部分人工定义的中间接口。实际系统仍要处理不同时间尺度、硬件约束和安全边界。
Observation、State 与 Action
为了理解机器人的执行闭环,可以先抓住 Observation、State 和 Action 三个核心对象。它们分别描述机器人观察到了什么、环境处于什么状态,以及机器人接下来执行什么动作。
- Observation(观察):机器人实际获得的传感器信号,例如 RGB-D 图像、触觉、关节角度、夹爪状态和历史动作。这些信息通常存在噪声、延迟、遮挡和不同步。
- State(状态):机器人与环境在当前时刻的任务相关状态,例如物体位姿、机器人姿态、接触关系和抓取是否稳定。真实状态通常无法被完整观察,只能根据传感器信号进行估计,或编码在模型的隐表示中。
- Action(动作):机器人对环境施加的决策,可以是
pick(red_cup)这样的高层技能,也可以是末端位姿增量、关节目标、力矩或一段连续动作。
如果用 $g$ 表示任务目标,$o_{\leq t}$ 表示截至时刻 $t$ 的观察历史,那么策略可以简化为:
- $at = \pi{\theta}(o_{\leq t}, g)$
其中,$\pi_\theta$ 表示机器人策略。它根据任务目标和观察历史生成动作 $a_t$;动作改变环境状态,机器人获得新的观察,再继续下一步决策。
由于机器人通常无法直接获得完整状态,只能在有限信息下边行动、边观察、边修正,这类问题通常被建模为部分可观测决策过程。以“把红色杯子放进左边托盘”为例:
| 对象 | 任务中的具体内容 |
|---|---|
| Goal | 红色杯子最终稳定留在左边托盘 |
| Observation | 相机画面、关节位置、夹爪状态和力传感器读数 |
| State | 杯子与托盘位姿、机械臂状态、抓取是否稳定 |
| Action | 末端位姿增量、夹爪开合或一段连续动作 |
| Feedback | 动作后的新观察、任务是否成功、奖励信号或人工干预 |
这里的 Feedback 描述的是动作执行后返回系统的信息。它既可以是新的视觉、触觉和力传感器观察,也可以包含任务结果、奖励或人工评价。机器人利用这些反馈判断是否继续执行、调整动作或重新规划。
无论系统内部采用显式状态、隐表示还是端到端模型,Observation、State、Action 以及它们之间的反馈关系都不会消失,变化的只是这些信息由哪些模块表示和处理。
执行与学习:具身智能的两个闭环
机器人偶尔成功一次,并不意味着系统已经可用。它既要在执行过程中根据环境反馈修正动作,也要从多次真实运行中总结经验、更新策略。这分别对应两个不同时间尺度的闭环:执行闭环负责完成当前任务,学习闭环负责提升下一版能力。

执行闭环:根据反馈完成当前任务
执行闭环发生在一次任务内部,通常以毫秒到秒级持续运行:
1 | 观察环境 -> 估计状态 -> 生成动作 -> 控制执行 -> 获取新观察 |
例如,机器人抓取杯子时,如果视觉或力传感器发现杯子正在滑落,就需要降低速度、调整夹爪或者重新抓取。动作改变环境,新的环境状态又会产生新的观察,机器人据此继续决策。
没有反馈修正,机器人只能按照预设轨迹开环执行。一旦物体位置、接触状态或外部环境发生变化,后续动作就可能连续出错。
学习闭环:从真实经验更新策略
学习闭环发生在多次任务之间。一次完整交互会形成一条 Episode,其中包含任务目标、观察序列、执行动作、最终结果、失败位置、人工干预和恢复过程。
这些数据经过清洗、标注和质量评估后,用于训练或后训练新的策略。候选策略还需要通过离线指标、仿真任务和真机 Rollout 评测,确认能力确实提升且没有引入明显回退,才能重新部署。
| 闭环 | 时间尺度 | 解决的问题 | 核心输出 |
|---|---|---|---|
| 执行闭环 | 毫秒到秒 | 当前动作出现偏差时如何及时纠正 | 下一步动作或恢复行为 |
| 学习闭环 | Episode、小时或版本周期 | 如何从历史经验中提升整体能力 | 经过评测的新策略版本 |
学习闭环也不等于简单地收集更多数据。大量重复的成功轨迹只能覆盖模型已经掌握的能力,真正有价值的往往是失败、人工接管和恢复数据,因为它们能够暴露策略边界,说明机器人“在哪里不会、为什么失败、应该怎样修正”。
因此,两个闭环解决的是不同问题:执行闭环根据当前反馈持续纠偏,学习闭环则跨越多次任务更新策略能力。
从演示到可靠工作
前面四章分别介绍了具身智能的背景、技术演进、系统结构以及执行与学习两个闭环。沿着这条主线,判断具身智能是否真正可用,不能只看机器人能否完成一次演示,还要看它能否适应环境变化、处理执行失败,并从真实经验中持续提升能力。
当前进展:通用能力开始形成
截至 2026 年,具身智能正在从单任务策略走向多任务、跨场景和跨本体的通用策略。这些前沿系统通常在各自的任务范围和评测设置中表现较好,但面对陌生物体、复杂接触、长程任务或意外干扰时,成功率仍可能明显下降。
与此同时,系统也开始采用分层架构。Gemini Robotics 1.5 与 Robotics-ER 1.6 分别探索动作生成与高层具身推理;π*0.6 开始利用真机 Rollout、人工纠正和强化学习改进策略;NVIDIA Isaac GR00T 1.7 则将数据采集、仿真、训练、评测和部署连接成更完整的工具链。
但这些进展并不意味着通用机器人已经实现。当前系统在熟悉任务和受控场景中表现较好,一旦面对陌生物体、复杂接触、长程任务或意外干扰,成功率仍可能明显下降。
未来的技术趋势
根据当前公开进展,具身智能正在从“能够完成一次任务”,走向“能够跨场景适配、处理执行失败并持续学习”。下一阶段的竞争重点将不再局限于模型规模,而会扩展到数据、泛化、长程任务、评测和系统工程:
| 技术趋势 | 核心变化 | 关键方向 |
|---|---|---|
| 从离线示范走向数据闭环 | 不再只收集成功示范,而是利用失败、干预和恢复数据改进策略 | 多源数据配比、遥操作、仿真数据、人在回路和后训练 |
| 从单任务走向跨场景泛化 | 同一策略适应不同任务、环境和机器人本体 | 跨本体预训练、统一动作表示、少样本适配和场景后训练 |
| 从单个模型走向分层系统 | 高层模型负责推理与规划,VLA 生成动作,控制器保证实时执行与安全 | 分层规划、记忆、成功检测、重新规划和失败恢复 |
| 从动作预测走向世界建模 | 不仅生成动作,还要预测动作可能带来的环境变化 | 世界模型、规模化仿真、Sim2Real 和真机闭环评测 |
| 从单次成功走向长期可靠 | 评价重点从演示效果转向持续工作能力 | 任务成功率、人工干预率、恢复能力、连续运行时间和安全约束 |
整体技术路线可以概括为:

基于这些趋势可以判断,短期竞争重点将更多集中在高质量数据闭环、目标场景后训练和真机可靠性;进一步的突破则可能来自跨本体泛化、长程自主、世界模型,以及从部署经验中安全地持续学习。
因此,具身智能下一阶段的竞争,不只是让机器人能够生成动作,而是让它在真实世界中稳定完成任务,并把执行过程中产生的经验持续转化为新的能力。回到全文,身体决定感知和行动边界,环境提供物理反馈,执行闭环完成当前任务,学习闭环提升未来能力。最终的判断标准仍然是,机器人能否长期、稳定、安全地把事情做成。
