让机器人的双手具有触觉得多难？近期，由著名计算机学者李飞飞参与的一项研究引发关注：设计的T-Rex触觉响应灵巧操作技术突破了视觉训练的瓶颈，让机器人的灵巧手拥有了触觉感知能力，甚至可以盲摸麻将。
此前的机器人训练采用的是VLA（视觉-语言-行动）模型，对于要求进行大量精细操作的灵巧手而言，视觉训练并不适用，需要加入触觉感知这一数据模态。但是，灵巧手触觉数据采集面临着成本极高、视觉与触觉信号频率不匹配、触觉时序特征难以被有效解码的痛点。
因此，T-Rex创新推出混合专家架构（Mixture-of-Transformer-Experts），为触觉开辟独立高速传输通路，实现多模态信号异步协同处理。该架构分工明确，“视觉语言专家”（Latent Expert）预判场景全局变化，“动作专家”（Action Expert）规划低频整体动作，“触觉专家”（Tactile Expert）负责毫秒级高频细节精修。同时，其独创的级联流匹配机制，在扩散去噪黄金节点拆分流程，兼顾模型预训练先验与触觉实时修正能力。
实测数据显示，在12项真实世界灵巧操作任务中，T-Rex平均作业成功率达65%，较顶级纯视觉基线模型提升30个百分点，其中翻书页、开锁等精细任务优势尤为突出，盲摸麻将并识别成功率也达到了65%。
据悉，T-Rex采用三段式训练策略，打通了机器人视觉认知到触觉实操的技术鸿沟。
文、视频｜记者 李钢