英伟达Mission Control 2.5将自主恢复引擎扩展至NVIDIA Run:ai管理的Kubernetes工作负载。该引擎采用三层控制循环：Kubernetes调度器放置工作负载，自主作业恢复服务根据作业上下文分类故障，自主硬件恢复服务隔离并诊断故障基础设施。硬件故障发生时，作业恢复服务重启或重新调度工作负载，硬件恢复服务同时隔离节点并运行诊断。短暂软件错误仅触发作业重试，不会启动硬件修复。硬件恢复服务还能提前检测性能下降，将风险节点移出调度池。
信源:https://developer.nvidia.com/blog/how-nvidia-mission-control-2-5-brings-autonomous-recovery-to-kubernetes/