Cloudflare于10月26日披露,Workers AI上的GLM-5.3模型在8月27日至9月9日间出现跨请求KV缓存泄露,共155条回复混入其他客户请求的数据,均发生在超过68.1万token的超长提示上。
原因是两处问题叠加:模型上下文窗口配置为约105万token,但预填充GPU的缓存池只容纳68.1万;推理引擎SGLang在预填充与解码分离模式下处理超长请求时未报错,解码节点读取了残留的旧缓存。研究员Gadi Evron于9月8日报告后,Cloudflare在宣布事故40分钟内下线模型,9月9日修复恢复,称未发现蓄意利用,其他模型未受影响。
信源:https://blog.cloudflare.com/kv-cache-exposure-remediation/
