教育背景
- 研究方向:具身智能(机器人操作、主动感知、强化学习)、3D 点云自监督学习与生成
- 以一作身份在 TNNLS、AAAI、IJCAI、ICME、ICASSP 等发表 6 篇论文(4 篇 Oral)
- 授权专利:一种机器人操纵铰接物体的方法和系统
- 奖学金:学业奖学金、五粮液优秀学生奖学金
工作经历
专注 VLA 模型研发及其与强化学习、世界模型的结合,并搭建分布式训练基础设施支撑算法快速迭代与落地。
算法
- 将价值模型与 VLA 合并至同一训练流,实现基于真机 recap rollout 的强化学习训练,首次在星尘 S1 机器人上完成叠衣服等柔性物体操作任务并完成内部演示。正在推进世界模型(ctrl_world)与该强化学习联合方案的端到端打通,探索以世界模型生成合成数据驱动策略优化的新技术路线。
- 快慢双系统全身操作模型 DuoCore-FS 共同一作及核心开发者,参与架构设计、真机部署与论文撰写,实现 30 Hz 动作生成(较同等规模 VLA 快 3 倍)。
- 实现训练时 Real-Time Chunking(RTC),显著提升 action chunk 间平滑性,大幅降低控制侧轨迹平滑处理量,动作跟踪更精确。
- 复现并集成多个主流 VLA 模型(π0、π0.5、π0.6*、RDT-2、WALL-X、MEM、VLA-Adapter 等)、WM(ctrl_world)与 WAM(lingbot-va),基于 Qwen3VL 与 Rynnec 添加 Flow Matching 动作头构建两个自研 VLA,在一定数据量下达到 π0 同等效果,且灵活支持输入分辨率。
- 探索 4,000+ 小时异构数据训练范式,预训练+微调策略使成功率提升 60%、收敛加速 30%;采用双臂相对坐标系实现 ±10 cm 高度泛化;基于全量数据微调 π0.5 作为团队统一 checkpoint。
- 提出 VLA 与目标检测联合训练方案,以检测作为辅助任务提升对未见物体的泛化能力(成功率提升 40%),在内部 711 零售场景中验证落地。
- 参与星尘智能 0426 DuoCore 系统对外 Demo 演示的模型训练与测试,首次在 S0 本体上成功部署并跑通 VLA。
AI 基础设施
- 独立搭建公司统一机器人模型分布式训练框架,基于 DeepSpeed ZeRO 实现多机多卡训练,集成 bf16 混合精度、梯度检查点与 FlashAttention 2;支持 LeRobot 数据格式与 LoRA 微调,提供 WebSocket 推理服务,显著加快模型迭代效率,支撑金马等多个 POC 项目快速交付。
- 为公司机器人数据集制定统一格式规范,优化 LeRobot 数据管线中的 norm 计算与数据读取转换流程,norm 计算提速 30 倍,显著提升训练数据准备效率。
- 收集、清洗并标准化 4,000+ 小时异构机器人数据,统一不同机型间的动作坐标系。
荣誉
- 五星绩效(最高评级);卓越贡献伙伴;Astribot Navigator
科研经历
- AHEGC(TNNLS 2024, JCR Q1):结合后见之明经验回放与目标约束好奇心模块,通过目标相似度自适应调整奖励权重,在 Gymnasium-Robotics 上收敛速度与成功率较基线提升 1.5 倍。
- Active Visual Learning(ICASSP 2025):提出融合强化学习与 PointNet++/Transformer 的主动视觉学习方法,通过滑动窗口整合历史信息与决斗网络奖励机制促进多样探索,在 R3ED 数据集上显著提升目标检测准确性与效率。
- MARS(IJCAI 2024 Oral):提出了 MARS 框架,用于精确感知关节物体的参数。该框架通过多模态融合模块利用多尺度 RGB 特征增强点云特征,并结合基于强化学习的主动感知策略,自主优化观察视角。在 PartNet-Mobility 数据集的实验中,MARS 在关节参数估计精度上(方向:1.58°、位置:0.03m、状态:3.74)超越了当前最先进的方法。
- GMAP(AAAI 2025 Oral):提出了 GMAP 方法,旨在系统地整合从命令到感知和操纵的整个过程。GMAP 通过预训练编码器进行精确的部件级分割、识别物体关节的几何和运动参数,以及评估点级操作建议来确定机器人的交互姿势。最后,通过结合命令、关节参数和交互点,动态计算机器人的执行轨迹。
- Point-UMAE(ICASSP 2025 Oral):Point-UMAE 基于 Unet 结构,旨在增强点云中局部细节和全局语义的捕获。采用不对称的编码器-解码器架构和自顶向下的细粒度掩蔽策略,以提高多尺度一致性。
- Point-MGE(ICME 2025 Oral):Point-MGE 深度融合 3D 点云的表示学习和生成学习。该框架首先使用向量量化变分自编码器(VQVAE)重建 3D 形状的神经场表示,从而学习点云补丁的离散语义特征。然后,设计了一个滑动掩蔽比例来平滑从表示学习到生成学习的过渡。
论文发表
- Teqiang Zou*, Hongliang Zeng*, et al. "Asynchronous Fast-Slow Vision-Language-Action Policies for Whole-Body Robotic Manipulation." arXiv preprint, 2025. (共同一作)
- Hongliang Zeng, Ping Zhang, et al. "Masked Generative Extractor for Synergistic Representation and 3D Generation of Point Clouds." ICME, 2025. (Oral)
- Hongliang Zeng, Ping Zhang, et al. "GMAP: Generalized Manipulation of Articulated Objects in Robotic Using Pre-trained Model." AAAI, 2025. (Oral)
- Hongliang Zeng, Ping Zhang, et al. "Point-UMAE: Unet-like Masked Autoencoders for Point Cloud Self-supervised Learning." ICASSP, 2025. (Oral)
- Hongliang Zeng, Ping Zhang, et al. "Active Visual Learning for Robots with Dueling Deep Q-Networks and Transformer Encoders." ICASSP, 2025.
- Hongliang Zeng, Ping Zhang, et al. "MARS: Multimodal Active Robotic Sensing for Articulated Characterization." IJCAI, 2024. (Oral)
- Hongliang Zeng, Ping Zhang, et al. "AHEGC: Adaptive Hindsight Experience Replay With Goal-Amended Curiosity Module for Robot Control." TNNLS, 2024. (JCR Q1, IF: 10.4)
- Jiahua Wang, Ping Zhang, Hongliang Zeng, et al. "FAEMTrack: Feature-Augmented Embedding and Cross-Drone Fusion for Single Object Tracking." IEEE Internet of Things Journal, 2025.
- Tingyu Ye, Ping Zhang, Hongliang Zeng, et al. "Multi-objective Neural Architecture Search Combining Binary Artificial Bee Colony Algorithm for Dynamic Hand Gesture Recognition." Expert Systems with Applications, 2025.
- Tingyu Ye, Ping Zhang, Hui Wang, Hongliang Zeng, et al. "Reinforcement Learning-Driven Dual Neighborhood Structure Artificial Bee Colony Algorithm for Continuous Optimization Problem." Applied Soft Computing, 2024.
技术技能
Lang & ToolsPython, Bash, Git, Docker, Linux, LeRobot, WebSocket
Training InfraPyTorch, DeepSpeed (ZeRO), FlashAttention 2, LoRA, bf16 Mixed Precision
Robot LearningVLA, Reinforcement Learning, World Model
AI ToolsClaude Code, Cursor, MCP, Agentic Workflow