Giles Thomas在个人博客发布“Why do OpenAI’s GPT-2 weights beat mine? Part four: digging into dropout”。文章分析OpenAI GPT-2预训练权重在指令微调测试中优于自训练模型的原因,聚焦dropout在微调阶段的作用:修正OpenAI模型微调配置中的dropout设置,比较模型原生dropout与强制开关的影响,并通过LLM评判脚本量化得分差异。系列此前三篇已排除过训练等因素,此篇进一步指向微调正则化差异。
信源:https://www.gilesthomas.com/2026/08/why-do-openai-gpt2-weights-beat-mine-4-ift-dropout
