训练稳定性： 独立负责一个 34B 稠密模型预训练的稳定性，针对反复出现的 loss spike，定位到是少量脏样本 + 学习率偏高叠加，用数据侧过滤 + 梯度裁剪 + 学习率重调的组合把 spike 频率从平均每天数次降到基本不再出现

落地了断点续训和坏 batch 自动跳过机制，把因异常中断导致的算力浪费明显减少，千卡训练的有效利用率提上来了

吞吐与并行优化： 主导了这个模型的并行策略调优（张量并行 + 流水并行 + 序列并行的组合），配合 FlashAttention 和激活重计算的取舍，把训练 MFU 从约 38% 提升到 52%，同样算力下训练周期明显缩短

排查并修复了流水并行下的一个 bubble 偏大问题，调整了 micro-batch 切分

预训练数据： 负责过一版预训练语料的去重和配比升级，处理了 万亿(T)级 token，把重复数据和低质网页比例压下来，配比调整后中文和代码的下游评测都有正向

长上下文： 参与把基座的上下文长度从 4K 扩到 32K，做了 RoPE 外推 + 长文本数据的续训，长文本任务的效果达标且短文本能力基本无损

参与 NLP 基础模型的分布式训练，负责 64 卡集群的训练任务调度与故障恢复，集群有效利用率从 70% 提升至 85%

优化数据加载管道，通过预取与混合精度训练将单 epoch 训练时间缩短约 25%

协助完成千亿 token 级别预训练语料的去重与清洗流程，处理了 500GB+ 原始文本数据