Cerebras发布技术解析，展示如何在WSE-3T晶圆上部署Kimi K3等3万亿参数模型。该模型含69个线性注意力层和24个密集层，采用4位权重量化。单块WSE-3T晶圆具备44GB片上内存，线性层每晶圆可容纳2个，密集层每晶圆容纳1个以预留KV缓存空间。整体部署需35块晶圆处理线性层、24块处理密集层，共59块晶圆，可实现每秒1000-2000+ Token推理速度。
信源:https://www.cerebras.ai/blog/how-we-deploy-trillion-parameter-frontier-models-on-cerebras