Microduck：智能体辅助训练，仿真验证

1. 从提示词到赛道规划

NVIDIA以Microduck为例，介绍了一个包含六个阶段的工作流。该流程在本地开发中心RTX Spark上准备计划，完成训练后再回到本地验证。

Hermes和NVIDIA Nemotron 3.5 Bolt将提示词转化为涵盖任务、所用资源、交付成果和执行顺序的计划。它们还会确定赛道布局、障碍物尺寸、通道宽度和移动路径。

原文提供了启动任务时可用的提示词示例。

Build and test a simulated Microduck obstacle course with navigation and locomotion challenges. Make a photorealistic concept image and have Astra build and test it.
...
Workflow
Use Hermes and Nemotron 3.5 Bolt for preparation and Astra for asset creation and simulation.

规划阶段会查阅机器人文档和代码仓库，整理其能力、相关资源及需要进一步确认的内容。随后从赛道概念图中筛选可复用的资产，并记录被裁切或遮挡的部分。Hermes将计划、图像、资产清单和参考资料打包，交给Astra执行。

2. 智能体制作资产并搭建仿真场景

Astra通过云端图像编辑，提高清晰度不足、从概念图中裁出的低分辨率参考素材的清晰度。它会对照原图，检查轮廓、体现物体外缘的形状、比例、颜色和特征是否保留。图像中无法确认的尺寸和隐藏面，则记录为建模假设，即对资料缺失部分作出的推定。

基本形状和可编辑结构用FreeCAD制作，细节形状和材质用Blender补充。这两个程序均在本地以编程方式运行，即通过代码自动执行任务。成果会保存为可编辑模型和仿真资产，并经过预览和输出检查。

也可以选择利用现有资产。据公司介绍，免费开放的SimReady Central Library收录了超过2,000个仿真用3D资产。

搭建赛道时，会利用Isaac Sim的渲染功能，即将场景信息转换为屏幕图像的处理，以及传感器功能和计算物体运动、碰撞的Newton物理引擎。设定机器人机体、连接并转动机体部位的关节，以及将电力转化为运动的执行器之间的关系后，仿真系统便可计算运动与平衡。智能体可以协助完成这些设置。

3. 在并行环境中训练行走策略

策略是将机器人观测转化为动作的规则。Isaac Lab在云端同时运行多个仿真，收集用于改进同一策略的经验。开发者通过设定机器人能观测什么、执行哪些动作，以及如何为成功行为给予奖励来实现任务，奖励是引导行为符合目标的评分。仿真中跌倒或碰撞的结果也会用于策略更新，即依据经验重新调整行为规则。

本案例以Isaac Lab的Microduck示例环境中预先训练的移动策略为起点。通过追加训练，让机器人穿过曲面坡道，即坡面弯曲的通行结构，以及其他障碍物。观测内容包括头部摄像头获取的距离信息，即摄像头与物体之间的间距，以及机器人状态信息。

据公司介绍，这次追加训练在NVIDIA RTX PRO 6000 Blackwell Workstation Edition GPU上使用了4,096个并行环境。这是同时收集多个机器人尝试结果并用于策略更新的案例。

4. 在本地验证策略，为转向实体机器人做准备

训练完成的策略会在本地RTX Spark的Isaac Sim中评估。开发者检查机器人是否能感知障碍并调整动作、完成赛道，同时记录跌倒、碰撞和停滞的情况。结合策略运行视频和记录，可找出环境或训练设置中需要改进的地方。

在应用到实体机器人前，可调整仿真，使其更贴近现实运动。Isaac Lab的Better Actuator Models对指令延迟、从指令传递到执行器响应所需的时间、执行器的微小间隙、换向时的运动空隙，以及电机电压下降引起的驱动响应进行建模。根据实测值设定参数，并采用域随机化，在合理范围内改变物理条件和观测噪声，可训练策略应对仿真与现实环境的差异。

NVIDIA还展示了在实体Microduck上运行训练所得行走策略的画面。实体机器人测试中发现的差异，会反馈到下一轮仿真和训练中。

原文未提供这次追加训练运行的成功率和训练时间，实体硬件部署的详细步骤也不在其讨论范围内。

5. 减少准备工作，加强验证

智能体辅助赛道规划和资产制作，加上可利用现成资产，有助于减轻环境搭建负担。相应地，人需要重点审查图像中无法确认的建模假设、资产适用性及仿真结果。由于流程在本地准备与验证之间接入云端训练，开发者需要统筹规划资产验收和训练环境运维。

NVIDIA的方法将机器人训练准备工作自动化，同时把验证仿真与实体机器人之间的差距纳入开发流程。