谷歌研究今日发布新方法，将多令牌预测（MTP）以冻结方式 retrofit 到已部署的 Gemini Nano v3 模型上。该技术通过附加轻量 MTP 头、零拷贝架构利用主模型 KV 缓存，实现无需单独 drafter 即可加速推理。已在 Pixel 9/10 系列落地，通知摘要和校对等功能生成速度提升 50% 以上、内存节省约 130MB，且输出与原模型完全一致。
信源:https://research.google/blog/accelerating-gemini-nano-models-on-pixel-with-frozen-multi-token-prediction/