大模型数据工程师简历参考

大模型数据工程师是人工智能产业链中连接数据与模型的关键角色，主要负责为大模型训练、微调、评测和RAG应用提供高质量的数据支持。该岗位服务于算法团队、产品团队和业务部门，确保数据可用、可控、可追溯。

适合有数据工程、数据仓库或ETL开发经验，对机器学习和大模型技术有浓厚兴趣，并希望向AI数据方向转型的社招求职者。

大模型数据工程师的核心职责是设计和维护数据处理流水线，包括数据采集、清洗、去重、脱敏、切分、入库和质检等环节。需要确保数据质量满足模型训练和评测的要求，并持续优化流水线效率。

典型工作流程包括：与算法团队确认数据需求，设计处理规则，使用Spark或Python进行批量处理，通过Airflow调度任务，并建立数据血缘和版本管理机制。

• 构建自动化数据管道，支持日均数十万条文本处理
• 设计数据质量校验规则，如重复率检测、PII识别、低质样本过滤
• 维护数据血缘和样本抽检表，确保数据可追溯
• 与标注团队协作，制定标注规范和质检标准

大模型数据工程师经常参与以下业务场景：企业知识库的RAG语料治理、客服对话数据的清洗与标注、模型评测集的构建与维护，以及多轮对话和工具调用数据的生成与处理。

项目类型包括数据治理专项、评测集共建、数据流水线优化等，通常需要跨团队协作，并解决数据质量、版本冲突、召回噪声等实际问题。

该岗位要求扎实的数据工程基础，熟练掌握Python、SQL、Spark、Airflow等工具，并了解大模型数据的特点，如数据多样性、噪声处理、隐私合规等。

此外，熟悉向量数据库、Prompt回放、数据增强等技术，以及数据质量评估方法，能够有效提升数据对模型效果的支撑。

• 数据处理：Python、SQL、Spark、Airflow
• 质量治理：规则校验、去重、脱敏、低质过滤
• 工具应用：向量数据库、Prompt回放、Claude Code/Codex辅助脚本
• 协作能力：与算法、产品、标注团队高效沟通

招聘方通常关注候选人的数据工程实战经验，尤其是处理大规模文本数据的能力，以及是否理解大模型训练和评测对数据的要求。

同时，跨团队协作能力、问题解决能力和对数据质量的执着也是重要考量。具有数仓开发、ETL调度或数据治理经验者优先。

下面整理了大模型数据工程师岗位求职中常见的搜索问题，方便快速了解职责、业务场景、技能要求和面试关注点。

大模型数据工程师需要熟练运用多种数据工具和平台，包括数据处理框架、调度系统、向量数据库等，以支撑高效的数据流水线。

常用工具包括Spark、Airflow、Hive、Kafka等，以及向量数据库如Milvus、FAISS，用于RAG场景的检索优化。

随着大模型技术的快速发展，高质量数据成为模型效果的关键，大模型数据工程师的角色日益重要。职业发展方向包括数据专家、AI产品经理或算法工程师。

行业趋势上，数据合成、自动化标注和端到端数据流水线成为热点，掌握这些技术将提升竞争力。