AIGC内容安全算法工程师简历参考

AIGC内容安全算法工程师是互联网平台中负责内容风控的关键角色，主要针对AI生成内容（文本、图片、语音等）进行风险识别与防控，确保平台内容符合法律法规和社区规范。

适合具备NLP或多模态算法背景、熟悉大模型安全、对内容安全有热情、能平衡业务体验与安全风险的算法工程师。

该岗位的核心职责包括构建和维护风险标签体系、开发内容审核模型、设计红队评测样本、优化策略融合，以及推动模型上线和迭代。

典型工作流程包括：风险样本采集与标注、模型训练与评测、策略制定与灰度实验、线上监控与告警、以及跨部门协作（审核、安全、产品、后端）。

• 构建多级风险标签体系，覆盖涉政、涉黄、暴恐等类别
• 开发文本分类、多模态审核模型，识别Prompt注入、越狱等攻击
• 设计红队样本库和自动化评测流水线，提升模型上线效率
• 融合规则与模型策略，优化误杀率与召回率平衡
• 协同审核团队，建立人工复核闭环和样本回流机制

在AIGC内容安全领域，算法工程师常面临以下业务场景：

1. 平台用户生成内容（UGC）和AI生成内容（AIGC）的风险识别；2. 针对新型攻击手法（如提示注入、越狱）的防御；3. 多模态内容（图文、视频）的审核；4. 模型上线前的安全回归测试。

• 构建红队样本库，覆盖Prompt注入、越狱、隐晦表达等攻击
• 设计自动化评测流水线，结合LLM判分和人工复核
• 开发语义相似度和对抗样本检测模块，提升未知攻击识别率
• 组织跨部门红队演练，修复高危漏洞

该岗位要求扎实的算法基础和工程能力，同时需要了解内容安全领域的专业知识。

关键技术包括：NLP（文本分类、意图识别）、多模态理解、Transformer架构、LLM安全评测、RAG、向量检索、弱监督标注、规则引擎、灰度实验等。

• 熟悉Transformer、BERT、GPT等模型，掌握微调和部署
• 了解Prompt注入、越狱攻击等AIGC安全风险及防御方法
• 掌握样本治理、数据清洗和评测集构建方法
• 具备策略融合、规则引擎和灰度实验的实战经验
• 熟悉Python、TensorFlow/PyTorch，了解模型服务化部署

招聘方通常关注候选人的算法功底、内容安全领域经验、工程落地能力以及跨团队协作能力。

任职要求一般包括：计算机相关专业背景，3年以上NLP或内容安全算法经验，熟悉大模型安全，有大规模内容审核系统落地经验者优先。

• 具备NLP或多模态算法基础，熟悉常见模型和框架
• 有内容安全或风控算法经验，了解风险标签体系和审核流程
• 能独立完成模型训练、评测和上线，具备策略调优能力
• 良好的沟通能力，能与审核、产品、后端等团队协作

下面整理了AIGC内容安全算法工程师岗位求职中常见的搜索问题，方便快速了解职责、业务场景、技能要求和面试关注点。

AIGC内容安全算法工程师常用的工具和平台包括：模型训练框架（PyTorch、TensorFlow）、NLP库（Hugging Face Transformers）、向量数据库（如FAISS）、规则引擎（如Drools）、监控系统（如Prometheus、Grafana）以及实验管理平台（如MLflow）。

熟悉这些工具能提升模型开发、评测和部署的效率。

• 使用Hugging Face Transformers进行模型微调和推理
• 利用向量检索技术实现相似样本召回和对抗样本检测
• 通过规则引擎配置策略，实现规则与模型融合
• 使用监控工具跟踪线上模型效果和风险指标

随着AIGC技术的快速发展，内容安全成为平台合规和用户体验的重要保障，该岗位需求持续增长。

未来发展方向包括：多模态内容安全、大模型安全评测、联邦学习与隐私保护、以及AI治理与合规。

算法工程师可向技术专家或安全架构师方向发展，也可转向AI产品安全设计或政策研究。