NetraRuntime在GitHub发布netra-kernel项目,提供手写AMDGCN汇编内核,针对gfx950(MI350X)和gfx1151架构,支持FP8/MXFP4量化下的Qwen等模型解码、预填充、MoE及注意力操作。内核采用固定合约AOT编译,集成SGLang运行时桥接,专注高吞吐生产推理路径。
该项目将TensorRT式引擎构建流程引入原生AMD GPU内核,降低对通用框架依赖。行业看点:开源AMD推理内核加速ROCm生态成熟,助力AMD在LLM推理硬件竞争中提升实用性。
信源:https://github.com/NetraRuntime/netra-kernel
