两分钟看懂
录完的每条遥操作示范,甄数逐条判成合格、存疑、作废,写清原因和出问题的时间段
具身智能模型靠大量遥操作示范训练。问题示范混进训练集,会拖累训练出的策略;人工逐条看,成本随采集量一起涨。甄数先筛一遍,质检员只复看存疑的。
30 个公开数据集,笔记本电脑 CPU 上 8 分半钟查完;其中 18 个是插拔、开关、阀门这类电气和工业操作。
体检结果
作废的 69 条全是不到 1 秒的示范,看关节数据就能核实;存疑的交给人复看。还查出 3 份数据集的元数据编号重复。
第一个落地场景:电力设施里机器人动手的操作
配电室已经在试用远程遥操作分合闸,每一步人确认后机器人才执行;这类作业每天都在产生示范数据。甄数先做配电房和变电站开关室的插拔、分合闸、旋阀门、按按钮。
所有数字都来自公开数据上的离线评测,项目还没有客户和试点。明细见“方法与成绩”。
电气操作示例
7 份公开的电气和工业操作示范,甄数的报告打开就能看
都是 Hugging Face 上公开的 LeRobot 数据集,只用关节规则,参数没有调整。点一份,下面打开完整报告。
体检我的数据
把数据拖进来,甄数在你的浏览器里查,文件不上传
支持 LeRobot v3 数据集打成的 zip(含 meta/ 和 data/,不需要视频),以及 robomimic、RoboMIND 的 HDF5 文件。只跑关节规则;视频评判要显卡,不在网页里。
数据不出你的电脑。甄数的程序和运行环境都在本页面里,第一次打开要下载约 30 MB,之后浏览器会缓存。
引擎
方法与成绩
先定评测再写规则:阈值只在开发数据上定,所有比例写出分母
客观硬规则
读数缺失、时间戳倒退、示范过短:命中一条就作废
同任务对比的关节规则
停顿过长、空录、没做完、多余动作、二次抓取、动作不流畅;和同一任务的那批示范比,不用固定阈值
零样本视频评判
Robometer-4B、TOPReward 查指令不符和物体掉落;要显卡,网页里不跑
保守的判定融合
硬规则命中,或 3 个独立来源中有 2 个指向同一处问题,才判作废;其余有发现的判存疑
robomimic:甄数标出的比例,按操作员水平分
每档 100 条真人示范(Square、Can 两个任务各 300 条)。示范都完成了任务,差在动作质量,所以只判存疑。参数没改,第一次跑。
北京人形真质检标签(RoboMIND)
二次抓取的参数在 RoboVAD 上定,没在 RoboMIND 上调。常用的 3 个平顺度指标在这批标签上不比瞎猜好,没用上。
还不能说的
- 还没测过:用甄数筛过的数据训出的策略是不是更好。robomimic 上的下游实验已经备好,复赛前出结果。
- 体检里存疑的 1,690 条没有标签可核,还没抽查。
- 视频模型会误报:叠得太正、手臂遮挡都会骗过它们。
- 动作质量只抓到一部分:北京人形标签上“动作不流畅”只检出 14%。
- 电力设施的示范数据我们还没有,公开的电力操作数据集也没找到。
评测记录和复现命令都在代码仓库:github.com/hoongyu/assay
关于
Origo(知源)团队,4 人,都在柏林工业大学读硕士
这是什么
甄数(Assay)是具身智能遥操作示范数据的自动质检软件,代码以 Apache-2.0 开源。这个网页是演示原型:甄数的 Python 程序通过 Pyodide 在你的浏览器里运行,和命令行版是同一份代码。
授权和出处
- 甄数和本网页:Apache-2.0
- Pyodide 运行环境:MPL-2.0;numpy、pandas、h5py:BSD;pyarrow:Apache-2.0
- 样例数据 lerobot/svla_so100_stacking:Apache-2.0
- 7 份示例报告由 Hugging Face 上的公开数据集生成,授权为 Apache-2.0 或 MIT,网页里只放报告,不放原始数据