赵 航

本地部署AI多模态机器人系统

时间：2024.03

项目简介

从零到一设计并实现机器人大脑系统，实现多模态视觉 (LLaVA, Qwen2.5-VL) 与语音 (STT/TTS) 模型在本地PC的高效运行与深度集成。该系统使机器人能够在完全离线的情况下，完成复杂的视觉环境理解、自然语言交互及动作指令生成与执行，达成端到端AI调用流程秒级响应。 B站 7000+播放 & 1600+互动

主要工作与技术实现

• 本地AI大模型部署与集成:
  • 在本地PC部署LLaVA/Qwen2.5-VL视觉大模型（VLM），集成STT/TTS模型语音引擎（sherpa-onnx），实现机器人的“看”、“听”、“说”。
• ROS系统设计与开发:
  • 搭建机器人端与PC端分布式通信架构。
  • 开发ROS节点处理音频/图像数据流，参照模型API调用示例，设计实现图像数据到VLM的输入以及处理结果的获取。
• 核心交互逻辑与控制流:
  • 设计创建自定义ROS Service，将STT识别的文本作为Prompt，结合VLM对图像的分析，生成包含场景描述和机器人动作指令 (如前进、后退、转向) 的JSON格式化结果。
• 语音反馈生成与传输:
  • 解析VLM返回的JSON数据，提取场景描述文本，调用本地TTS模型将描述文本转换为音频，将生成的音频编码并通过ROS Topic发送回机器人端。
  • 在机器人端实现订阅、解码并通过扬声器播放接收到的音频。
• 动作指令执行:
  • 设计创建自定义ROS Action，将VLM返回的机器人动作指令发送至Action Server进行处理。
  • 利用Action机制管理异步任务执行，确保机器人完成当前动作后，VLM再进行下一步的感知与决策。

关键技能与收获

• AI大模型本地化部署及API使用
• 精进ROS相关Nodes, Topics, Services, Actions
• 机器人感知与交互系统设计(视觉、语音)
• 系统集成与调试
• 独立项目设计/开发与问题解决能力

基于Isaac Sim的机器人遥操作仿真

时间：2024.03

项目简介

主导设计并独立实现基于Isaac Sim的仿真平台，成功构建Xbox手柄对阿克曼转向机器人及Franka机械臂的实时、精确控制链路，实现了轮式机器人流畅转向与多自由度机械臂末端精细操控(模拟抓取/放置)。

主要工作与技术实现

• 仿真环境搭建与机器人建模 (Isaac Sim & URDF):
  • 使用SolidWorks设计阿克曼机器人模型，并通过sw_urdf_exporter插件导出为URDF格式，在URDF模型中添加了悬架结构以实现前轮转向。
  • 将URDF模型导入 Isaac Sim 场景 (Stage)，精细配置了环境物理属性。
• ROS 集成与仿真控制 (Isaac Sim OmniGraph & ROS Bridge):
  • 利用Isaac Sim内置的OmniGraph可视化编程工具，为机器人（底盘和机械臂）创建控制逻辑图。
  • 配置并使用了Isaac Sim的 ROS1 Bridge 功能，使仿真环境能够订阅ROS网络中的控制指令话题 (AckermannDriveStamped, JointState) 来驱动机器人关节运动。
• 阿克曼转向移动机器人遥操作 (ROS & Ackermann Control):
  • 编写 ROS 节点 (C++) 订阅Xbox手柄的 /joy 话题，实时获取摇杆和按键状态。
  • 将手柄输入映射为标准的 AckermannDriveStamped 消息，并通过Topic发布，从而控制Isaac Sim中阿克曼底盘的线速度和转向角。
• 机械臂遥操作与运动学控制 (ROS, MoveIt & IK):
  • 使用 MoveIt Setup Assistant 基于Franka机械臂的URDF模型，快速生成了运动规划和控制所需的moveit_config功能包。
  • 编写 ROS节点 (C++)，将手柄输入转换为机械臂末端执行器 (End-Effector) 在笛卡尔空间下的目标速度 (Twist 消息)。
  • 集成MoveIt (MoveGroupInterface) 库，利用其运动学求解器进行逆运动学 (IK) 计算，将笛卡尔空间的目标速度实时解算为各关节的目标状态 (JointState 消息)。
  • 将计算得到的 JointState 消息通过 ROS Topic 发布，驱动Isaac Sim中的Franka机械臂关节运动，实现精确的末端遥操作。

关键技能与收获

• NVIDIA Isaac Sim
• OmniGraph
• URDF Import
• ROS Bridge
• MoveIt
• 机器人建模
• 独立项目设计实施与调试能力

基于激光雷达与视觉融合的智能机器人环境感知研究

时间：2020.09 - 2023.04

项目简介

针对移动机器人自主导航需求，开发了一种基于2D激光雷达与RGB-D深度相机的高效多传感器融合SLAM及障碍物检测方法，旨在为机器人提供鲁棒且经济高效的环境理解能力，以支持其自主导航等任务。

主要工作与技术实现

• 机器人平台设计与搭建:
  • 基于阿克曼底盘运动模型，设计机器人整体方案，并选型、集成关键传感器，包括2D激光雷达和RGB-D深度相机，搭建了用于研究和实验的实体机器人平台。
  • 使用SolidWorks完成机器人三维装配体设计，并导出为URDF模型，以供接下来进行仿真模拟。
• 改进RTAB-map SLAM算法:
  • 在ROS框架下，将RGB-D点云投影为二维激光扫描，通过tf发布的相机到激光雷达坐标转化关系，将RGB-D点云二维投影转换到2D激光雷达坐标系平面，实现与LiDAR数据的无缝集成。
  • 使用ekf_localization_node节点，利用扩展卡尔曼滤波器（EKF）融合IMU和里程计数据，输出/odom和/base_link坐标系之间的变换，以及提供鲁棒且高精度的滤波里程计。
  • 将RGB-D深度相机与2D激光雷达融合后的点云数据和EKF节点提供的里程计信息，传入RTAB-Map算法节点，生成融合后的二维栅格地图以及三维点云地图，以供执行导航任务。
• 仿真实验与实车部署:
  • 利用Gazebo构建仿真环境并通过Rviz可视化验证改进RTAB-Map算法的有效性，成功进行仿真建图实验
  • 在实体机器人平台上，完成深度相机的内参标定、激光雷达与深度相机的外参标定以及传感器间的时间同步，为传感器数据精确融合奠定基础。
  • 将改进融合算法移植部署至实体机器人，经过实际环境场景的检验，验证了融合建图方案的精度与鲁棒性显著提升，成功实现Sim2Real。
• 融合感知与障碍物检测/跟踪:
  • 基于obstacle_detector功能包进行深度改进开发，采用基于密度的聚类方法对2D激光雷达与深度相机点云数据进行分组，并创建障碍物的几何表示，显著增强障碍物检测能力。
  • 集成了卡尔曼滤波对检测到的障碍物进行动态状态（位置、速度、加速度）估计和跟踪。
  • 融合后对障碍物的位置检测相比于单传感器检测，在X和Y方向的绝对误差降低了约60%。

主要研究成果 (发表论文)

• Obstacle detection for intelligent robots based on the fusion of 2D lidar and depth camera[J]. International Journal of Hydromechatronics. Scopus/Web of Science-ESCI
• Research and implementation of intelligent robot SLAM based on fusion of 2D LiDAR and depth camera[J]. International Journal of Intelligent Machines and Robotics. Google Scholar

关键技能与收获

• C++/Python (ROS 开发)
• Gazebo/Rviz仿真
• 多传感器融合
• SLAM (RTAB-Map)
• 障碍物检测与跟踪
• 相机内参/外参标定
• 机器人建模（URDF/Xacro/SolidWorks）

骨科手术机器人

时间：2022.07 - 2022.10 (实习 @ 澳特拉斯（北京）科技有限公司 )

项目简介

参与全膝置换术(TKA)骨科手术机器人的研发 获“优秀实习生”

主要工作与技术实现

• 机器人系统标定:
  • 负责UR5机械臂与NDI光学定位装置之间的手-眼标定(Hand-Eye Calibration)。应用机器人运动学原理，求解机械臂基坐标系到NDI跟踪器坐标系的转换矩阵。
• 实时目标追踪与控制:
  • 编写算法计算工具中心点 (TCP)与目标点间的实时相对位姿偏差，通过Socket通信将解算的目标位姿发送给机械臂控制器，驱动机械臂进行高精度、实时的跟随运动。
  • 实现了UR5机械臂末端工具对目标点（模拟患者部位）的连续、闭环追踪功能。
• 术前配准算法实现:
  • 负责术前配准模块的关键算法开发。深入研究并掌握了迭代最近点 (Iterative Closest Point, ICP) 算法原理。
  • 编写点云配准程序，成功实现了NDI采集的物理点集与三维医学影像点集之间的粗配准与精配准，准确计算出两者间的坐标系转换关系，应用于机械臂三维医学图像间的坐标转换。
• 语音控制系统开发:
  • 基于SpeechBox语音识别引擎，使用 C++ 开发了机器人的远程语音控制系统。实现了语音指令的解析与机器人运动控制的联动，支持通过语音命令启停机器人，并进行前进、后退、左右、上下等方向的毫米级精度移动控制。

关键技能与收获

• C++软件开发
• 机械臂手眼标定
• 机械臂运动控制
• 坐标变换
• 机器人运动学
• 语音控制开发