后训练 · 全链路 Owner2025.05 - 2025.09
“玄知”密码大模型
Qwen2.5-72BLLaMA-FactoryverlGRPO / RLVRDeepSpeed ZeRO-3vLLM
概述
全球首个密码学大模型，主导 CPT→SFT→DPO→GRPO 完整后训练流水线，CryptoBench 上综合性能超越 GPT-4o 8.8%。
问题
通用大模型在密码算法、协议、工程三大方向术语密集、推理严谨的场景下表现薄弱，且缺乏可信的领域评测基准。
方案
基于 Qwen2.5-72B 做领域适配：多源语料 CPT（~5B tokens）+ self-instruct 指令与偏好数据（SFT/DPO）+ 可验证奖励的 GRPO 在线强化，并自建 2K 道 CryptoBench 做难度分层评测。
影响
- 自建 CryptoBench 上综合性能超越 GPT-4o 达 8.8%，通用能力（C-Eval / MMLU）基本无退化。
- 沉淀可复用的领域后训练全链路与可信评测标准，线上服务三大密码学方向。
后训练流水线
CPT（多源语料清洗/去重/replay 防遗忘）→ SFT（loss mask + packing）→ DPO（拒绝采样偏好对）→ GRPO（可验证奖励 RLVR，8×H100，verl）。
关键技术
关键洞察 · 沉默组
GRPO 中全对/全错的题组内 reward 方差为 0、优势为 0，对梯度零贡献；按难度筛题只留中等难度题，与评测出题的区分度原理一致。