本周主要完成了 SmolVLA 在 macOS 本机环境下的基础复现工作。目前已经成功跑通最基本的 smoke test,验证了本机环境配置、依赖安装、模型加载和基础运行流程。
由于当前缺少真实机械臂、相机和相关机器人硬件设备,因此暂时无法进行完整的实机控制实验,也无法验证真实机器人场景下的动作执行效果。当前完成的验证主要集中在:
- SmolVLA 环境配置;
- 基础模型加载;
- 最小运行链路测试;
- smoke test 运行结果确认。
这一部分工作目前可以说明本机基础环境已经打通,但还不能代表完整机器人任务已经复现。
在跑通 smoke test 的基础上,本周也对 SmolVLA 的整体思路和创新点进行了初步了解。
目前的理解是,SmolVLA 主要面向视觉-语言-动作任务,将视觉输入、语言指令和机器人动作预测结合到统一模型框架中。相比更大规模的 VLA 模型,SmolVLA 更强调轻量化、本地可运行性和低资源部署能力,适合作为具身智能方向的入门复现和代码理解对象。
当前重点关注的内容包括:
- VLA 模型的基本输入输出形式;
- 视觉、语言和动作之间的建模关系;
- SmolVLA 的轻量化设计思路;
- 本地复现时对硬件环境的依赖和限制。
本周还在本机初步跑通了 StarryOS。目前主要完成了环境配置和基础启动验证,说明本地运行链路已经初步打通。
不过由于 StarryOS 是刚刚跑起来,目前还没有展开系统性的测试工作,也还没有对具体功能模块、测试用例和潜在问题进行完整整理。后续需要进一步补充测试记录和问题分析。
本周大致向李老师了解了轮足式双臂机器人的整体情况,也初步明确了后续实习可能涉及的目标方向。
目前理解是,后续实习目标大概率会围绕具身智能系统中的“大脑”功能模块进行完善,也就是在机器人已有硬件平台和底层控制基础上,进一步补充上层智能决策、任务理解、动作规划或 VLA 相关能力。
当前整体目标可能是:在驱动和底层运行环境逐步补齐之后,先让轮足式双臂机器人整体系统能够跑通,再进一步考虑上层具身智能模块的完善和实验验证。
虽然 SmolVLA 已经在 macOS 本机跑通了最基础的 smoke test,但由于目前缺少机械臂、相机、标定环境和真实机器人执行平台,因此还不能进行完整的实机复现实验。
当前结果只能说明基础代码链路和模型加载流程可以运行,后续如果要进一步验证 SmolVLA 的实际效果,可能需要依赖:
- 真实机械臂平台;
- 仿真环境;
- 离线机器人数据集;
- 已有 demo 或 benchmark。
根据目前了解,轮足式双臂机器人方向的后续工作可能不只是上层模型开发,还需要先解决底层驱动、运行环境和系统联调问题。
因此现阶段可能需要先明确:
- 当前机器人平台已有的驱动完成情况;
- 哪些硬件模块还不能正常运行;
- 是否已有可复用的底层控制接口;
- 上层具身智能模块最终需要对接哪些 API;
- 系统跑通的最低目标是什么。
只有在驱动和基础控制链路补齐之后,后续针对具身智能“大脑”模块的开发才比较容易展开。
StarryOS 目前只是本机初步跑通,还没有开始系统测试。后续需要进一步确认测试入口、测试命令、已有测试用例和可验证功能模块,否则目前只能算是完成了基础启动验证。
下周计划继续阅读和整理 SmolVLA 的核心代码结构,重点关注:
- 模型输入输出格式;
- 数据处理流程;
- 推理脚本;
- smoke test 的具体调用链;
- 视觉、语言和动作预测之间的连接方式。
目标是从“能跑通”进一步推进到“能解释清楚每一步在做什么”。
由于目前缺少真实机械臂,后续计划尝试确认是否可以通过其他方式继续验证 SmolVLA,例如:
- 是否有官方 demo;
- 是否支持仿真环境;
- 是否可以使用离线数据集测试;
- 是否可以只验证模型前向推理和动作输出格式;
- 是否有不依赖真实硬件的最小测试流程。
StarryOS 方面,下周计划从基础测试开始,逐步整理:
- 启动流程;
- 测试命令;
- 已有测试用例;
- 运行结果;
- 报错信息;
- 后续可以改进或参与的模块。
下周还需要继续结合李老师提供的信息,进一步明确轮足式双臂机器人的具体任务边界。
重点需要确认:
- 当前驱动还缺哪些部分;
- 机器人系统跑通的最低标准是什么;
- 具身智能“大脑”模块具体指哪些功能;
- 后续是否需要接入 VLA、任务规划、动作规划或多模态理解模块;
- 短期目标是环境跑通、驱动补齐,还是上层模型验证。
阶段性目标可以先定为:在现有平台基础上,优先补齐驱动和基础运行链路,使机器人系统能够完成最小闭环运行;之后再进一步完善具身智能上层模块。