本科：同济大学 软件工程，GPA 3.8/4.0

研究方向：大模型偏好对齐与强化学习，1 篇 CCF-B 类会议论文（学生一作）

主修课程：深度学习、自然语言处理、强化学习、最优化

在对齐团队，参与通用对话模型的偏好对齐（RLHF/DPO）迭代

负责偏好数据的构造与质量控制：设计了多模型多温度采样 + 规则过滤 + 人工/模型双重打分的流程，产出约 8 万对偏好数据，把标注不一致率明显压下来

训练并迭代了一个奖励模型（RM），把 RM 在偏好判别上的准确率做到内部可用水平，并用它做了拒绝采样微调

主导了一轮 DPO 迭代，模型在内部对话质量评测上相对基线的胜率从约 48% 提到 61%，同时通过约束把复读和啰嗦的问题压下来

参与指令微调（SFT）的数据研究，做了指令多样性和难度配比的消融

负责评测集搭建，把指令跟随和安全的评测流程做成了可复用脚本

一个关于偏好数据构造对 DPO 稳定性影响的方法，负责设计、实验和写作

给某大模型对齐训练库提交过被合入的 PR（补充了一个 DPO 变体的实现和示例）

课程里用 TRL 完整跑过 SFT → RM → PPO 的 RLHF 全流程（7B 模型），并对比了 PPO / DPO / GRPO 的效果与稳定性