Skip to content

54dK3n/K3_VLM

Folders and files

NameName
Last commit message
Last commit date

Latest commit

 

History

2 Commits
 
 

Repository files navigation

K3_VLM

20260712—第二次训练营线上实习例会周报

一、本周工作进展

1. SmolVLA 本机 Smoke Test 跑通

本周主要完成了 SmolVLA 在 macOS 本机环境下的基础复现工作。目前已经成功跑通最基本的 smoke test,验证了本机环境配置、依赖安装、模型加载和基础运行流程。

由于当前缺少真实机械臂、相机和相关机器人硬件设备,因此暂时无法进行完整的实机控制实验,也无法验证真实机器人场景下的动作执行效果。当前完成的验证主要集中在:

  • SmolVLA 环境配置;
  • 基础模型加载;
  • 最小运行链路测试;
  • smoke test 运行结果确认。

这一部分工作目前可以说明本机基础环境已经打通,但还不能代表完整机器人任务已经复现。

2. SmolVLA 思想与创新点初步调研

在跑通 smoke test 的基础上,本周也对 SmolVLA 的整体思路和创新点进行了初步了解。

目前的理解是,SmolVLA 主要面向视觉-语言-动作任务,将视觉输入、语言指令和机器人动作预测结合到统一模型框架中。相比更大规模的 VLA 模型,SmolVLA 更强调轻量化、本地可运行性和低资源部署能力,适合作为具身智能方向的入门复现和代码理解对象。

当前重点关注的内容包括:

  • VLA 模型的基本输入输出形式;
  • 视觉、语言和动作之间的建模关系;
  • SmolVLA 的轻量化设计思路;
  • 本地复现时对硬件环境的依赖和限制。

3. StarryOS 本机初步跑通

本周还在本机初步跑通了 StarryOS。目前主要完成了环境配置和基础启动验证,说明本地运行链路已经初步打通。

不过由于 StarryOS 是刚刚跑起来,目前还没有展开系统性的测试工作,也还没有对具体功能模块、测试用例和潜在问题进行完整整理。后续需要进一步补充测试记录和问题分析。

4. 轮足式双臂机器人方向初步了解

本周大致向李老师了解了轮足式双臂机器人的整体情况,也初步明确了后续实习可能涉及的目标方向。

目前理解是,后续实习目标大概率会围绕具身智能系统中的“大脑”功能模块进行完善,也就是在机器人已有硬件平台和底层控制基础上,进一步补充上层智能决策、任务理解、动作规划或 VLA 相关能力。

当前整体目标可能是:在驱动和底层运行环境逐步补齐之后,先让轮足式双臂机器人整体系统能够跑通,再进一步考虑上层具身智能模块的完善和实验验证。

二、目前存在的问题与限制

1. SmolVLA 缺少真实硬件验证环境

虽然 SmolVLA 已经在 macOS 本机跑通了最基础的 smoke test,但由于目前缺少机械臂、相机、标定环境和真实机器人执行平台,因此还不能进行完整的实机复现实验。

当前结果只能说明基础代码链路和模型加载流程可以运行,后续如果要进一步验证 SmolVLA 的实际效果,可能需要依赖:

  • 真实机械臂平台;
  • 仿真环境;
  • 离线机器人数据集;
  • 已有 demo 或 benchmark。

2. 轮足式双臂机器人驱动和底层环境仍需补齐

根据目前了解,轮足式双臂机器人方向的后续工作可能不只是上层模型开发,还需要先解决底层驱动、运行环境和系统联调问题。

因此现阶段可能需要先明确:

  • 当前机器人平台已有的驱动完成情况;
  • 哪些硬件模块还不能正常运行;
  • 是否已有可复用的底层控制接口;
  • 上层具身智能模块最终需要对接哪些 API;
  • 系统跑通的最低目标是什么。

只有在驱动和基础控制链路补齐之后,后续针对具身智能“大脑”模块的开发才比较容易展开。

3. StarryOS 测试尚未系统展开

StarryOS 目前只是本机初步跑通,还没有开始系统测试。后续需要进一步确认测试入口、测试命令、已有测试用例和可验证功能模块,否则目前只能算是完成了基础启动验证。

三、下周工作计划

1. 继续整理 SmolVLA 代码结构

下周计划继续阅读和整理 SmolVLA 的核心代码结构,重点关注:

  • 模型输入输出格式;
  • 数据处理流程;
  • 推理脚本;
  • smoke test 的具体调用链;
  • 视觉、语言和动作预测之间的连接方式。

目标是从“能跑通”进一步推进到“能解释清楚每一步在做什么”。

2. 查找 SmolVLA 的进一步验证方式

由于目前缺少真实机械臂,后续计划尝试确认是否可以通过其他方式继续验证 SmolVLA,例如:

  • 是否有官方 demo;
  • 是否支持仿真环境;
  • 是否可以使用离线数据集测试;
  • 是否可以只验证模型前向推理和动作输出格式;
  • 是否有不依赖真实硬件的最小测试流程。

3. 展开 StarryOS 基础测试

StarryOS 方面,下周计划从基础测试开始,逐步整理:

  • 启动流程;
  • 测试命令;
  • 已有测试用例;
  • 运行结果;
  • 报错信息;
  • 后续可以改进或参与的模块。

4. 进一步明确轮足式双臂机器人实习目标

下周还需要继续结合李老师提供的信息,进一步明确轮足式双臂机器人的具体任务边界。

重点需要确认:

  • 当前驱动还缺哪些部分;
  • 机器人系统跑通的最低标准是什么;
  • 具身智能“大脑”模块具体指哪些功能;
  • 后续是否需要接入 VLA、任务规划、动作规划或多模态理解模块;
  • 短期目标是环境跑通、驱动补齐,还是上层模型验证。

阶段性目标可以先定为:在现有平台基础上,优先补齐驱动和基础运行链路,使机器人系统能够完成最小闭环运行;之后再进一步完善具身智能上层模块。

About

No description, website, or topics provided.

Resources

Stars

0 stars

Watchers

0 watching

Forks

Releases

No releases published

Packages

 
 
 

Contributors