- 个人简历
- 努力超越自己,每天进步一点点
- 姓 名: 逗号简历
- 年 龄: 24
- 性 别: 女
- 籍 贯: 北京
- 现居地: 北京
- 工作年限: 在校实习
- 电 话: 176-0000-0071
- 邮 箱: suxiaotong@email.com

- 2023 ~ 2026
- 北京航空航天大学
- 人工智能(硕士)
学业状态: 在读
本科:北京航空航天大学 计算机科学与技术,GPA 3.7/4.0
研究方向:自然语言处理与大模型评估,在做一篇关于评测集去污染的小论文
主修课程:机器学习、深度学习、自然语言处理、概率统计
人工智能硕士研二在读,大模型评估方向,在研评测集去污染小论文一篇。实习期间负责数学推理评测集整理与清洗,收集改写约 800 道题目并做去污染核对,剔除疑似泄露约 5%。基于 LLM-as-judge 搭建自动评分脚本,通过细化 rubric 与打分示例将 judge 与人工一致率从约 72% 调到 85%,并完成 3 个内部模型版本横向对比。
- 2024-07 ~ 2025-01
- XX(大模型公司,员工1000+)
- 大模型评测实习生
在基础模型评测组,参与中文能力和数学推理两个方向的评测工作
负责数学推理评测集的整理和清洗,收集、改写了约 800 道题目,做了一轮去污染核对(用 n-gram 重叠检查题目有没有可能进过训练集),去掉了疑似泄露的约 5%
用 LLM-as-judge 搭了一套自动评分脚本,按预先定好的 rubric 给模型答案打分;我抽了 200 条自己人工标注做对照,把 judge 和人工的一致率从最初的约 72% 调到了 85%(主要是把 rubric 写细、加了打分示例)
跑了 3 个内部模型版本的横向对比,产出了一张能力维度的对比表,帮团队定位到当时的模型在多步推理上明显偏弱
学着做了错误归因:把答错的题按错误类型(计算错、步骤漏、题意理解错)分了类,发现"计算错"占了近一半
- 评测集去污染小论文(在写)
负责实验部分,对比了几种检测测试数据泄露的方法
- 课程项目
用 Python 复现了一个开源评测框架(lm-eval-harness 思路)的核心流程,在公开数据集上跑通了几个 benchmark
- 课程项目与竞赛 3
长期在实验室帮忙做数据标注和标注规范的整理,对"标准怎么定才不歧义"有体感
大模型评估:评测集构建、去污染、rubric 设计、LLM-as-judge、错误归因
可信度:judge 与人工一致性核对、数据标注、评分标准校准
编程:Python(熟练)、大模型 API 调用与 prompt 调试
基础:ML/DL 与 NLP 基础扎实、概率统计
区分度:评估模型能力本身,不是软件功能测试
英语:CET-6,能读英文论文和评测相关文档