开发者从零完成113M参数地震LLM训练

jiazhe868在GitHub发布nanogpt-seis项目,从空白代码库完整复现113M参数decoder-only模型训练全流程。该模型采用GQA+RoPE架构,在2×NVIDIA A30上用地震论文、预印本、维基及FineWeb-Edu混合语料(约823M tokens)训练约6.5小时,上下文长度4096。项目提供数据爬取、清洗、分词、训练与流式推理全部开源代码与检查点,专为教学设计,强调每阶段可复现与可测量指标。模型在通用文本流畅度上较纯领域基线提升35%,适合作为后续SFT起点。
信源:https://github.com/jiazhe868/nanogpt-seis

📤 分享这篇文章

𝕏 X 分享in LinkedIn

点击”分享微信好友”→ 长按图片发到微信