优理奇联合多所高校发布UniTac，一种统一跨传感器触觉理解与生成架构。该模型让机器人在接触前预测触觉状态，为VLA提供先验，提升抓取柔性易损物体的成功率。适用于具身智能研发与精细操作场景。
Tags:
henry 发自 凹非寺
量子位 | 公众号 QbitAI
机器人，也开始拥有“触觉想象力”了。
过去一年，随着具身基础模型的快速发展，机器人已经能完成不少轮廓清晰、位置明确的操作任务。
可一旦涉及柔性物体、易损物体或密集接触，机器人往往就开始力不从“脑”。
△AI生成
无论是捏起一颗葡萄而不将它捏破，还是抓住一只纸杯而不让它变形，视觉只能帮助机器人找到目标，想要完成任务，机器人还需要人类与物体交互时不可或缺的触觉感知。
也正因为如此，现在也有越来越多团队开始将触觉作为建构机器人大脑的重要模态。比如，UniTouch、AnyTouch尝试统一不同传感器的触觉表征，FuSe、Tactile-VLA把触觉送进通用策略与VLA，近期的TacImag则开始探索让机器人仅凭视觉和本体感觉“想象”触觉；NVIDIA也推出TacSL等视觉触觉仿真工具，加速触觉策略从仿真走向真机。
但这些路线仍各有边界：传感器异构让数据难以互通，触觉理解、生成与动作应用也往往分散在不同模型中。
最近，UniX AI（优理奇机器人）联合浙江大学、麻省理工、牛津、耶鲁以及上海交通大学，发布最新科研成果UniTac，提出一套统一的跨传感器触觉理解与生成架构，并进一步接入VLA，为机器人补上了“触觉想象力”。
（该工作已被ECCV 2026接收）
简单来说，UniTac让机器人获得了一种未触先感的能力，可以让机器人像人一样，在真正碰到物体之前，先“想象”出它摸起来是什么感觉，再决定怎么下手。
比如，面对一个软杯，机器人会先预测它受力后的形变，再决定从哪里接触、该用多大力。
对比来看，在未融合UniTac的情况下，VLA就会将纸杯捏扁。
这意味着，对于机器人来说，触觉第一次从碰到以后才知道”，变成了碰到之前就能预测。
而这背后，也对应着具身智能正在补上的一块重要能力：触觉。
机器人为什么需要学会“未触先感”？
如果把过去几年机器人基础模型的发展，看作一个不断把AI锚定到真实世界（grounding）的过程，那么我们大致可以将其分为三层。
△AI生成
VLM（视觉-语言模型）完成的是第一层grounding：把抽象的语言概念对应到现实世界，让机器人知道眼前看到的是什么；
VLA（视觉-语言-动作模型）再往前一步，把视觉语义和语言指令锚定到动作（轨迹），让机器人知道在任务场景时应该规划怎样的轨迹。
可当动作真正落地到物理世界时，往往还差着第三层grounding——
机器人必须知道，应该怎样完成这次接触。
因为对于机器人来说，“抓取”只是一个动作标签，但现实里的每一次接触，却完全不同。
抓起一块毛巾，需要判断哪里更容易捏住，毛巾的材质、大小、形状、表面粗糙程度都会导致机器人抓错或抓取失败；
例如，在未接入UniTac时，VLA就无法抓起下图所示的橙色毛巾。
也就是说，真正决定机器人操作成功与否的，不只是轨迹，而是接触过程本身。而这，正是当前VLA模型面对柔性物体、易损物体和接触密集型任务时的短板：
动作生成缺少对接触过程的预判与理解。
完全依赖视觉，机器人很容易对外观相似的物体采用同一套操作策略。而且如果等到接触发生后再根据触觉反馈修正，纸杯可能已经瘪了，薯片也可能已经碎了。
所以，如果机器人能够在真正碰到之前，就已经知道未来的触觉状态，那么第一次接触，就会变得安全得多。
为了实现这一点，UniTac先从大规模、多传感器数据中学习统一的触觉表征，再根据视觉信息预测潜在触觉状态，把触觉从“接触后的反馈”前移成“接触前的先验”，并送入VLA。
值得一提的是，这并没有取代接触后的实时反馈，而是在第一次下手之前，让机器人先预判这次接触可能带来的物理后果。
比如，在同样面对两块看起来差不多的毛巾时，基于UniTac的基础模型，就能提前预判毛巾的质感、颜色，从而规划、完成毛巾的单层抓取动作。
接下来，我们具体来看UniTac是怎么做到的。
跨传感器的理解与生成
为了让触觉进入基础模型，UniTac先处理了最难统一的数据问题。
触觉图像虽然看起来很像RGB图像，但产生方式却完全不同。
以GelSight、DIGIT、Duragel等视觉式触觉传感器为例，它们本质上是通过相机记录凝胶受压后的形变。
所以，一张触觉图像里通常混着两类信息：一类来自物体，包括硬度、粗糙度、纹理和接触形变；另一类来自传感器，包括光照、凝胶状态、Marker布局和相机参数。
这意味着，同一个物体，换一种触觉传感器，得到的数据可能完全不同。模型如果分不清哪些变化来自物体、哪些来自传感器，就很难实现跨设备泛化。
与此同时，过去的触觉模型大多建立在单一传感器或小规模数据集上。
比如PHYSICLEAR只有482段触觉视频，而整个社区其实已经公开了超过40万段触觉视频、160万帧数据。
这就是说，真正的问题并不是没有数据，而是这些数据长期分散在不同传感器、不同数据集和不同任务中，无法被统一利用。
为解决这些问题，UniTac把触觉理解和触觉生成放进同一个多模态框架，统一吸收来自不同传感器的数据。
具体来说，UniTac将触觉拆分成两个部分：物理属性和传感器配置。
前者描述物体在接触中呈现出的硬度、粗糙度和纹理等属性；后者刻画传感器的光照、凝胶状态、Marker布局和相机参数等配置。
而UniTac的整体架构，就围绕这两方面展开。
在理解端，模型同时学习物体属性描述和传感器识别。前一个任务让模型理解表面属性，后一个任务让模型辨认信号来自哪种设备。
这里之所以增加传感器识别，并非单纯多做一道题，它迫使模型区分，哪些变化来自物体，哪些变化来自传感器。
从下图我们可以看到，面对不同传感器采集的触觉视频，UniTac已经能够围绕硬度、粗糙度和纹理，生成与接触材料相符的描述，并能完成属性比较、物体匹配和极值选择等推理任务。
在生成端，UniTac则分两步训练。
模型先训练触觉解码器，学习重建真实触觉信号；再用Sensor-Aware DiT Projector，将MLLM的语义输出对齐到触觉latent空间，并加入对应的传感器token。
生成触觉时，UniTac还改掉了普通生成模型常用的“无条件分支”。
原因很简单，研究发现触觉其实不存在真正的无条件状态。任何一段触觉信号，都由某个具体传感器产生。
因此，UniTac先给定目标传感器未接触物体时的状态，再生成接触发生后，由物体属性带来的变化。
最后，实验结果进一步表明，UniTac并非只在某项指标上实现单点领先，而是在触觉理解与触觉生成两端都展现出优势。
在触觉理解方面，UniTac-7B在PHYSICLEAR-Test上以66.51分领先Octopi等触觉理解模型，以及BLIP3o等统一模型。
具体的，在属性—物体匹配任务中，UniTac-7B取得64.61分，这说明它不仅能识别软硬、粗糙度等物理属性，还能进一步判断触觉来自哪类物体。
在触觉生成方面，UniTac同样表现优异。
面对Digit、GelSight、GelSight Mini和Duragel四类传感器，UniTac的平均SSIM和PSNR分别达到0.836和19.93，均取得最佳结果。
正是这种稳定的跨传感器生成能力，让它可以进一步为VLA提供触觉先验，帮助机器人判断该怎样更安全地接触目标。
深耕触觉路线
最后，让我们再把视角拉回到UniTac背后的团队，优理奇机器人（UniX AI）。
这家全栈式具身智能公司由00后耶鲁博士杨丰瑜，于2024年4月创立于苏州。
在UniTac论文中，杨丰瑜担任共同一作，延续其在视触觉方向的技术路线。
另一位共同一作Jiahang Tu来自浙江大学，研究集中在计算机视觉与生成模型；
通讯作者Hanbin Zhao现任浙江大学助理教授，长期从事机器学习、计算机视觉和生成模型研究；来自UniX AI的Zhi Tao，则侧重真机算法与系统落地。
此外，论文作者还包括牛津大学的Chenyang Ma、MIT的Xihang Yu、耶鲁大学的Ziyao Zeng与Alex Wong，上海交通大学的Shaokai Wu等多位研究者，研究背景覆盖触觉表征、生成模型、VLA和真机操作。
把时间线往前拉，优理奇围绕触觉展开的路线已经相当清晰。
从Touch and Go采集真实世界的视触觉数据，到UniTouch统一多传感器表征，再到TaRF把视觉与触觉对齐到三维空间，团队始终在推进同一件事：让机器人从看见物体，走向理解物体该如何被接触。
最新的UniTac则把这条路线继续推向基础模型，将触觉理解、生成和跨传感器迁移纳入统一架构，并把预测到的触觉状态接入到像VLA这样的机器人基础模型上。
这一步也延续了优理奇一贯的场景驱动思路。
从其产品与技术演进来看，团队关心的不只是机器人“能不能干活”，还包括能否把活干好、干得更稳定高效。与其针对每个场景微调，不如从真实任务的痛点出发，持续补齐感知、控制与系统能力。
因此，当行业集中攻关VLA和世界模型时，优理奇选择补上的是机器人进入物理世界时绕不开的接触层。
UniTac的意义，正是把不同场景中的接触问题，沉淀为一种可以跨传感器复用、也能参与动作决策的基础能力。
在未来，随着视觉、触觉、力觉与动作模型进一步融合，机器人有望在家庭护理、精细装配、服务操作和康养陪护等场景中，完成更安全、更柔顺的接触操作。
参考链接[1]https://arxiv.org/abs/2606.31451
一键三连「点赞」「转发」「小心心」
欢迎在评论区留下你的想法！
— 完 —
🌟 点亮星标 🌟
没有评论:
发表评论