AWS推出多节点Ray LLM深度学习容器，支持在亚马逊EKS上将一个大型语言模型部署到两个GPU节点。部署采用独立预填充节点与解码节点，通过单一OpenAI兼容端点对外服务。该容器已预置完整推理堆栈，包含CUDA库等GPU组件，用户直接配置部署即可，无需自行搭建和调试依赖链。此容器面向张量并行、流水线并行、数据并行以及预填充解码分离等多节点推理场景。
信源:https://aws.amazon.com/blogs/machine-learning/run-multi-node-inference-workloads-using-ray-llm-deep-learning-containers/