FEATURED ARTICLE / 01

硬件、数据到模型:Sharpa如何系统性推进灵巧操作

READ
DEEPER
硬件、数据到模型:Sharpa如何系统性推进灵巧操作 行业资讯 / 2026

8868体育关注到以下体育动态:

编辑|Panda、Youli 过去一年,具身智能的数据路线在快速转向。

遥操作数据贵、慢、难以规模化,越来越多的团队开始把目光投向 人类视频。

英伟达等团队的 EgoScale 用 20854 小时第一视角人类视频预训练机器人策略,拟合出一条对数线性曲线;

HumanScale 等工作更进一步,认为在同等数据量下,第一视角视频作为预训练数据可优于真机遥操作数据。

使用人类数据预训练的 Scaling 行为,arXiv:2602.

16710 对于夹爪抓取,这条路线的逻辑相对顺畅。

但当执行器换成一只有二十多个自由度的灵巧手,问题变得复杂起来,因为视频会记录手是怎么动的,却不会记录用了多大的力。

而对于拧瓶盖、插接头、削苹果这类需要精细操作的任务来说,成败恰恰取决于接触发生之后的几毫米运动。

Sharpa Wave 灵巧手 灵巧操作的数据难题,本质上是 接触 的难题。

围绕这个问题,专注灵巧操作的机器人公司 Sharpa 明确了 三条探索主线: 软硬件协同设计将以机器人为中心的数据采集转移到以人为中心的数据采集 解耦「运动」与「交互」,把接触交给高频、带触觉的底层控制 以触觉为锚,学习跨机器人本体的通用操作表征 沿着这几大方向,Sharpa 的硬件平台也成为众多前沿研究的重要载体。

过去一段时间,谷歌、英伟达等团队基于 Sharpa 硬件开展了一系列具身智能实验与前沿探索。

比如,前两天谷歌最新发布的 Gemini 4 Argon,展示案例中的机器人丢沙包实验,用到的正是 Sharpa 的灵巧手。

与此同时,Sharpa 与香港大学、加州大学伯克利分校、清华大学、上海交通大学等团队展开合作,共同推进灵巧操作领域的数据采集、模型学习与跨本体泛化研究。

about image

机器之心近日与 Sharpa 学术负责人张凯峰 进行了交流,试图理清这些工作在回答什么问题,以及它们如何拼成一幅完整图景。

一只苹果,难住了 VLA 先看一个具体任务:用两只灵巧手削一个苹果。

这个任务里,一只手要握住苹果并持续转动,另一只手控制削皮器,沿着苹果表面推进。

苹果的曲率在变,果皮的厚度在变,持握的力度和削皮的角度都要随之调整。

两只手做的不是对称动作,一只手负责「稳」和「转」,另一只手负责「削」,彼此还要配合节奏。

MoDE-VLA 论文中的双手削苹果序列图 在 Sharpa 与上海交通大学、上海人工智能实验室等机构合作的 MoDE-VLA 论文中,研究者把这个任务交给了 π0 这一主流 VLA 模型作为基线。

结果成功率 0%,削皮完成度只有 8%。

论文标题:Towards Human-Like Manipulation through RL-Augmented Teleoperation and Mixture-of-Dexterous-Experts VLA 论文地址:https://arxiv.

org/pdf/2603.

08122 这并不意外。

这篇论文在开篇就指出,VLA 模型在使用平行夹爪的抓取放置任务上已经相当成熟,但面对接触丰富、需要双手协同和手内操作的灵巧任务时,能力明显不足。

问题出在哪里?

是模型不够大,数据不够多,还是别的什么?

要回答这个问题,首先要讲清楚灵巧手和夹爪究竟有什么不同。

在张凯峰看来,二者的区别不只是自由度的多少。

他说:「传统的机械臂和夹爪,把所有的操作问题简化成了 运动学 上可以解决的问题。

而灵巧手有 动力学 的问题。

」夹爪的动作空间基本只有开和合,只要把它移动到正确的位置、在正确的时刻闭合,任务就大体完成了。

灵巧手则要调用抓、拉、拧、捏等各种底层的原子技能(motion primitive),张凯峰估计人手的这类技能接近几十种。

这意味着,灵巧操作不能只靠「看准位置再执行」。

力的大小、接触的状态、物体在手中的滑动,都会实时影响下一步动作。

在硬件层面,高自由度、带触觉的灵巧手已经逐渐成熟。

张凯峰认为, 硬件之后的最大瓶颈在于数据,「尤其是类人的这种灵巧操作的数据」。

而灵巧操作数据之所以难,恰恰是因为它需要包含接触信息。

两种数据,一个两难 目前,灵巧操作数据主要有两种来源。

第一种是 遥操作(teleoperation): 人通过视觉设备或外骨骼远程控制机器人完成任务,记录下机器人自身的动作。

过去几年,学术界提出了 AnyTeleop、Open-TeleVision、Bunny-VisionPro、HOMIE 等一系列遥操作系统,在沉浸感和易用性上不断改进。

这类数据与机器人本体对应,可直接用于训练。

视频链接:https://mp.

weixin.

qq.

com/s/wDRJgJArppWbAWm1QmzwNQ MoDE-VLA 论文中的双手削苹果遥操作 demo 但遥操作有一个难以绕开的问题:操作员感受不到机器人的接触。

「操作员很难获得高保真的

更多体坛动态,关注8868体育。

PREVIOUS 核心无缘争冠冲刺,韦世豪停赛,蓉城进攻面临严峻考验 NEXT 俄罗斯军官斯图普尼科夫投诚乌克兰,帮助消灭300俄军!
返回资讯列表
SHARE THIS ARTICLE

觉得内容有用?

分享给需要了解这项内容的朋友。

MORE FROM THE DESK

热点新闻

男子酒后从餐馆楼梯摔下身亡,家属向餐馆、聚餐者索赔33万余元,法院:男子主责,餐馆和宴席主人、同饮者承担部分责任

男子酒后从餐馆楼梯摔下身亡,家属向餐馆、聚餐者索赔33万余元,法院:男子主责,餐馆和宴席主人、同饮者承担部分责任

好友小聚、把酒言欢本是生活乐事,但若不加节制、疏于照护,乐事便可能酿成意外。近日,湖北十堰市张湾区人民法院审结一起生命权纠纷案。 陈某在某餐馆组织乔迁酒宴,顾某受邀参加。就餐期间,顾某与同桌李某、张某共同饮酒,三人共饮白酒近两瓶。聚餐结束后,顾某独自离开,下楼时在餐馆楼梯中段踏空摔下,致头部受伤,经送医抢救无效死亡。 顾某家属诉至法院,要求某餐馆、陈某、李某、张某赔偿各项损失共计33万余元。 法院

17射0球!拉什福德二进宫仍未开张,卡里克还在等他爆发

17射0球!拉什福德二进宫仍未开张,卡里克还在等他爆发

拉什福德 二度效力曼联,迟迟未能进球,背后有多重因素。多家媒体披露,一处未公开的伤病一直在拖累这名边锋。 拉什福德从后门离开曼联,又从同一扇暗门回到老特拉福德。没有隆重仪式,没有俱乐部声明,也没有俗套的社媒官宣视频。 这名青训毕业生之所以回到儿时俱乐部,主要是因为他未能如愿完成自己公开渴望的巴萨永久转会。 他低调完成了第二次曼联首秀,并在对阵伊普斯维奇时第一次成为球迷助威歌的主角。但在此之后,几乎

核心无缘争冠冲刺,韦世豪停赛,蓉城进攻面临严峻考验

核心无缘争冠冲刺,韦世豪停赛,蓉城进攻面临严峻考验

时间回溯至 8 月 29 日,中超赛场成都蓉城战胜辽宁铁人,赛后现场氛围热烈,韦世豪拿着喇叭面向看台球迷放出豪言,期待下一场较量就可以将联赛冠军带回成都。彼时蓉城在积分榜上手握巨大优势,距离队史首座中超冠军看上去近在咫尺,这番表态也点燃了大批球迷的期待。 但谁也没有料到,接下来的赛程走势完全偏离预想。在这次公开喊话过后,蓉城开启了一段艰难的赛程,连续三场正式比赛只拿到 1 平 2 负的战绩,一次又

库页岛的"三绝不":绝不属于中国、绝不像俄罗斯、绝不承认过去

库页岛的"三绝不":绝不属于中国、绝不像俄罗斯、绝不承认过去

1890年7月,一个咳血的俄国男人踏上了库页岛。他叫契诃夫,三十岁,肺结核晚期,本该躺在莫斯科的沙发上写小说。可他偏偏坐火车、换马车、搭轮船,横跨西伯利亚一万一千公里,只为看一眼这座被沙皇当作垃圾场的荒岛。 三个月,走遍全岛,记录下近万名囚犯的姓名和故事。而在他之前的两千年里,这片七万六千平方公里的中国领土上——比台湾地区大整整一倍——没有任何一位中国的著名官员、文人、旅行家踏上过。 一个都没有。

华为麒麟芯片命名规则曝光 麒麟9025新机或月底亮相

华为麒麟芯片命名规则曝光 麒麟9025新机或月底亮相

【CNMO科技消息】10月19日,根据博主@白泽观山海 的爆料,华为麒麟芯片命名规则逐渐规范,例如“麒麟9020➡麒麟9025➡麒麟9030➡麒麟9030 Pro➡麒麟9035➡麒麟9050➡麒麟9050 Pro”。同时,该博主明确指出,“带5的半代升级”是其命名规律的核心,其中“麒麟9025是麒麟9020的超频版,麒麟9035是麒麟9030 Pro的超频版”。此外,博主还透露麒麟9025预计将搭