Open-source robot project / ROS 2 Jazzy

从一句话,
到送到手边。

我对 XLeRobot 稍加改造,做了一个会听指令、去桌边取物、再送到人面前的 Demo。现在把实现和配套工具整理出来,欢迎参考,也欢迎抄作业。

实现 · 标定 · 工具 · 公开数据与权重
由项目 URDF 渲染的双轮改装 XLeRobot:双臂、云台头部和移动底盘REFERENCE BUILD / TWO WHEELS
项目 URDF 可视化,非实拍;真实机器人见下方视频。
1 台双轮改装 XLeRobot 参考硬件
2 条路线混合 ACT / 显式几何抓取
5 个入口安装、诊断、标定、ACT、运行
30 条示教黄色胶棒数据与 ACT 权重公开
01 / See it work

先看它跑起来。

一句语音指令,或一次网页操作,触发完整取物递送流程。以下是实际机器人与操作界面的视频。

  1. 01定位
  2. 02导航 / 贴桌
  3. 03目标感知
  4. 04抓取与验证
  5. 05寻人
  6. 06接近
  7. 07语音反馈
  8. 08递送
02 / Two grasp routes

换抓取后端,
不用换一套 Demo。

ACT 是主展示路线,centroid 与 GPD 是同级可选的几何后端。三者共用机器人运行栈、标定和任务接口。

同一套机器人基础语音 / 网页入口导航与标定坐标系MoveIt 与本地执行
ROUTE A / HYBRID LEARNING 主 Demo

混合 ACT 抓取

先用视觉定位物体,规划到预抓取位置,再让 ACT 根据腕部图像和关节状态完成局部接触阶段。

  1. RGB-D 粗目标
  2. MoveIt 预抓取
  3. ACT chunks
  4. 本地执行
ACT 学的是局部抓取,不是整段导航与递送。默认后端为 act,Demo 默认物品为羽毛球。
ROUTE B / EXPLICIT GEOMETRY

传统几何顶抓

VLM 找到目标,SAM 2 分割物体,RGB-D 精炼物体与桌面。选择质心顶抓,或使用 GPD 排序后的候选。

  1. VLM + SAM 2
  2. RGB-D 点云
  3. centroid / gpd
  4. MoveIt 执行
GPD 在 GPU 主机的 Ubuntu / WSL2 上运行。失败会明确返回,不静默换成 centroid;目前范围是顶抓,不是通用 6-DoF 抓取。

远程 GPU 提供感知与策略推理,本体执行运动。查看后端实现与运行方式 ↗

03 / Calibration first

把标定,做成能用的工具。

不只给一份配置,还提供采集网页、求解、质量报告、可打印标靶和离线 replay。让自己的机器人有自己的标定。

项目 URDF 的相机与机械臂局部可视化
URDF 可视化 · 关注舵机零位、头部相机与右臂之间的关系。
servo → head-camera → right-handeye
base 可独立测量
→ grasp-alignment → activate → render
  1. 01

    舵机:整组采集,不逐个关节切换

    双从臂与头部按组记录零位和行程,网页显示实时位置与覆盖范围,支持暂停和继续。

    从臂与头部流程已通过真机验收
  2. 02

    头部相机:放好板,自动扫姿态

    网页预览整块 4×4 AprilTag 板,确认后自动转头、等待稳定、采样、求解并保存草稿。

    自动采集与求解已完成真机实验
  3. 03

    右臂手眼:拟合之后,再独立验证

    夹爪固定 Tag 23。20 个姿态拟合并冻结参数,再用 6 个不同姿态验证;网页分别展示残差与逐姿态误差。

    软件流程已通过 · 真机验收待完成

另提供底盘实测与抓取对齐步骤。标定先保存为草稿,完整 bundle 需显式激活。拟合残差、独立视觉/FK 一致性与夹爪实际精度是不同的验证;后续实测精度仍待验收。

04 / Tools included

Demo 之外,工具也给你。

建自己的地图,收自己的示教数据,也可以直接下载公开权重。每个工具都围绕复现这台机器人展开。

Demo 网页控制台的离线界面预览,非实时机器人状态

Demo 控制台

选择物品和抓取后端,查看相机、任务进度与执行日志;也支持语音下发任务。

完整 Demo 使用说明 ↗
建图与地点管理工具的离线界面预览

建图与地点

网页摇杆遥控,查看地图,保存地图与桌边等命名地点,配置自己的运行场地。

建图工具使用说明 ↗
ACT 数采工具的离线界面预览

ACT 数据采集与训练

主从臂示教、录制与拒绝样本,接上转换、训练和评估流程。End 结束录制后仍可遥操归位。

采集 → 转换 → 训练 ↗

以上为实际前端的离线布局截图,不表示机器人在线或完成了任务。工具页面目前使用中文。

tools/setupRobot / GPU 源码安装
tools/doctor依赖、配置与服务诊断
tools/calibrate采集、求解、激活、回滚与 replay
tools/act采集、转换、训练、评估与下载
tools/runGPU 服务、建图、抓取后端与完整 Demo
05 / Make it yours

想复现?从这里开始。

范围很明确:当前双轮改装 XLeRobot。先对齐参考硬件和环境,再配置自己的设备、标定和场地。

一台机器人,两台计算机。

参考本体
双轮改装 XLeRobot · 双 SO-101 风格机械臂 · 云台头部
感知与音频
D455、右腕 USB 相机、LD06 风格雷达、麦克风与扬声器
Robot 主机
Ubuntu 24.04 x86_64 · ROS 2 Jazzy
GPU 主机
NVIDIA Ubuntu / WSL2;已使用 RTX 3080 + Ubuntu 24.04 WSL2 验证
视觉语言模型
LM Studio + Qwen3-VL-4B
BOM、接线与改装说明 ↗

使用公开 ACT 权重无需先采集训练;只有收集自己的数据时才需要右 Leader 示教臂。

先读文档,再跑自己的场景。

git clone --recurse-submodules https://github.com/xujiayuxian-png/xlerobot_home_service_demo.git

  1. 配置 Robot / GPU 并安装依赖。
  2. 运行 doctor,完成标定与场地建图。
  3. 启动共享 Demo,按需选择抓取后端。

本页是项目介绍,不连接机器人。真实运动需要显式 --hardware;地图、设备标定和本机配置不随仓库分发。

06 / Data & weights

不止代码,数据与权重也公开。

从已训练好的策略开始,或用配套工具采集你自己的示教。大文件托管在 Hugging Face,主仓保留版本与下载校验信息。

lissajous / xlerobot-glue-stick-grasp-30

30 条黄色胶棒示教

公开用于当前 ACT checkpoint 训练的黄色胶棒抓取示教数据。

查看 Hugging Face 数据集 ↗
DATASET / CC BY 4.0
lissajous / xlerobot-act-local-grasp-v1

ACT 局部抓取权重

以腕部 RGB 和六关节状态作为输入,输出由机器人本地执行的动作片段。

查看模型卡与下载权重 ↗
WEIGHTS / APACHE-2.0

训练数据仅包含 30 条黄色胶棒示教。羽毛球和其他物体属于定性泛化展示,不代表未经统计的成功率或通用抓取能力。第三方模型保留各自许可,人员检测器为显式 AGPL 可选项。

Build / Share / Iterate

欢迎抄作业,也欢迎一起改进。

我是徐佳宇 / 徐头头。这个项目记录了我对 XLeRobot 的改装和家庭服务 Demo 实践。如果你在复现、标定或抓取中遇到问题,欢迎带上现象和日志来交流。

小红书:徐头头 · LISSAGOGOGO(展开二维码)徐头头的小红书个人主页二维码,账号 LISSAGOGOGO