- 2021-07 ~ 至今
- XX智能(多模态大模型公司,员工800+)
- 高级多模态算法工程师 / 理解小组负责人
任职信息: 下属 5人
视觉语言模型对齐: 主导公司主力视觉语言模型的对齐全流程(视觉编码器预训练 → 图文对齐 → 指令微调),带 5 人小组负责数据、训练和评测
把原来"接个 CLIP 再拼个 LLM"的粗放做法,升级成"视觉编码器 + 投影对齐 + 多任务指令微调"的分阶段体系,图文问答和图文理解能独立迭代
多模态预训练与数据: 主导多模态预训练数据的清洗和配比方案(图文对匹配度过滤、长尾概念补充、指令数据配比),支撑亿级图文对的训练
建了公司的多模态数据流水线,把图文/视频数据从采集到可训练的周期从周级缩短到天级
理解效果与评测: 建了图文理解、跨模态检索、视频理解的多维评测体系(准确率、Recall、分类别 badcase,自动 + 人工),支撑各方向并行迭代
任期内主力 VLM 在内部图文理解评测的综合得分进入第一梯队,图文问答准确率相对提升约 15%
下游落地: 推动 VLM 在跨模态检索和内容审核两个场景落地,检索相关性和审核机器召回率都拿到显著正向,人工成本下降
团队: 带 5 人理解小组,负责数据标注规范、训练评审和新人培养,培养出能独立负责子方向(检索/视频理解)的同学
- 2018-07 ~ 2021-06
- YY科技(互联网,员工3000+)
- 算法工程师 → 高级算法工程师
视觉与多模态: 从图像分类和检测做起,独立负责内容审核和标签系统的视觉模型,支撑 千万级日均图片的自动分类和审核,机器审核覆盖率达 85%+
主导了图文检索模型的 3 次核心迭代(从 CNN+词袋 到 CLIP 预训练微调),检索 Recall@10 相对提升约 20%
工程与评测: 搭建了多模态模型的离线评测流水线(Recall/mAP/分类别指标 + 自动化报告),支撑 4 个方向的并行迭代
主导了图文检索服务的在线化(基于 FAISS 向量索引 + 模型蒸馏),检索延迟从 120ms 降到 30ms,日均服务 百万级请求