NetraRuntime开源AMDGCN内核优化LLM推理

NetraRuntime在GitHub发布netra-kernel项目,提供手写AMDGCN汇编内核,针对gfx950(MI350X)和gfx1151架构,支持FP8/MXFP4量化下的Qwen等模型解码、预填充、MoE及注意力操作。内核采用固定合约AOT编译,集成SGLang运行时桥接,专注高吞吐生产推理路径。

该项目将TensorRT式引擎构建流程引入原生AMD GPU内核,降低对通用框架依赖。行业看点:开源AMD推理内核加速ROCm生态成熟,助力AMD在LLM推理硬件竞争中提升实用性。

信源:https://github.com/NetraRuntime/netra-kernel

📤 分享这篇文章

𝕏 X 分享in LinkedIn

点击”分享微信好友”→ 长按图片发到微信