ARTICLE DETAIL

资讯详情

深耕网站视觉设计与运营推广的一线实战洞察。

VLA 机器人策略 5 步跑通:openpi 从克隆到首次推理

VLA 机器人策略 5 步跑通:openpi 从克隆到首次推理 VLA 机器人策略 5 步跑通openpi 从克隆到首次推理【免费下载链接】openpi项目地址: https://gitcode.com/GitHub_Trending/op/openpi它替你解决了什么训练一个机器人策略算力贵、数据门槛高部署链路还长哪一环都能卡住你几周。Physical Intelligence 开源的 openpi 把预训练 VLA 模型、微调脚手架和推理代码一次打包给你。所有基础检查点都在 10,000 小时以上的机器人数据上预训练过首次运行会自动下载并缓存到本地~/.cache/openpi。你既能直接推理也可以拿到自己的数据上微调。如果你只想在现成模型上做 few-shot 微调往下看就够。两类模型速览项目里主打两类模型区别在于它们怎么说话给机器人维度π₀π₀-FAST模型范式流式扩散自回归预训练数据10,000 小时同左典型用途多任务基础策略轻量快速推理选型建议只做演示、教学选 FAST追求动作流畅度选 π₀。数据流本身不复杂相机图像加语言指令进模型模型吐出一串动作再发给机器人执行。整条链路就三个角色数据、模型、动作。除了基础模型仓库还发布了一批针对 DROID、ALOHA 等平台微调过的专家检查点部分能在新场景里 0-shot 直接跑先拿来试水再决定要不要微调检查点适用平台能干什么π₀-FAST-DROIDDROID桌面简单操作新场景 0-shotπ₀-DROIDDROID推理更快语言跟随稍弱π₀-ALOHA-towelALOHA0-shot 折叠各种毛巾π₀-ALOHA-tupperwareALOHA打开饭盒取食π₀.₅-LIBEROLIBERO 仿真仿真基准上成绩领先从零到跑通核心操作区确认环境底线先确认机器有底子再动手装东西。Ubuntu 22.04 加一块 NVIDIA GPU推理 8GB 显存起步LoRA 微调到 22.5GB全参微调直接上 A100、H100 这一档。拉取代码openpi 快速上手先把整个仓库拉下来第三方机器人代码在子模块里记得带上。git clone --recurse-submodules https://gitcode.com/GitHub_Trending/op/openpi.git git submodule update --init --recursive第二条是给已经克隆过仓库的别漏掉。安装依赖openpi 安装用 uv 一把装好 Python 环境两行命令收工。GIT_LFS_SKIP_SMUDGE1 uv sync GIT_LFS_SKIP_SMUDGE1 uv pip install -e .GIT_LFS_SKIP_SMUDGE1会在安装时跳过 LFS 大文件LeRobot 依赖才能顺利拉下来。系统环境乱掉的话直接切 Docker 方案看docs/docker.md。验证环境可用确认包能加载、依赖齐全。uv run python -c import openpi, openpi_client; print(ok)没报错并打印 ok这一段就算跑通。两个高频场景加载预训练模型做 VLA 模型推理场景 A手上没有机器人也能先把链路跑起来examples/simple_client目录里有个脚本会发一个随机观测做推理适合第一次验证。pi0_fast_droid是目前开箱即用的配置改个 prompt 就能跑from openpi.training import config as _config from openpi.policies import policy_config from openpi.shared import download config _config.get_config(pi0_fast_droid) ckpt download.maybe_download(gs://openpi-assets/checkpoints/pi0_fast_droid) policy policy_config.create_trained_policy(config, ckpt) example {observation/exterior_image_1_left: ..., prompt: pick up the fork} policy.infer(example)[actions]注意 example dict 的 key 必须对齐 LeRobot 数据集字段图像和动作空间才会对得上。用自己的数据做 π₀ 微调场景 B不贴训练脚本三步走就能完成转数据把数据转成 LeRobot 格式照着examples/libero/convert_libero_data_to_lerobot.py改一个转换脚本即可。关键配置是LeRobotLiberoDataConfig定义原始数据怎么进训练。跑训练复制一个现成的TrainConfig改掉数据路径和超参执行uv run scripts/train.py加你的 config 名。关键项是weight_loader决定加载哪份预训练权重。起服务训练完跑uv run scripts/serve_policy.py服务监听 8000 端口关键项是--policy.dir指向你要用的那轮 checkpoint。下一步往哪走给别的机器人平台微调仓库里 DROID、ALOHA、UR5 各有可跑的示例参考 examples/droid/README_train.md。用 WebSocket 部署远程推理模型放算力强的服务器机器人端只发观测、收动作参考 docs/remote_inference.md。接入 LeRobot 数据集工具链数据转换、norm stats 都齐了之后微调就剩改配置参考 scripts/compute_norm_stats.py。跑通上面的流程后把数据换成你自己的任务基本就是一个可用的策略原型。【免费下载链接】openpi项目地址: https://gitcode.com/GitHub_Trending/op/openpi创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考
返回列表