Hugging Face 推出 HF Jobs 新功能,支持用户通过单条命令在平台基础设施上启动 vLLM 服务器并运行 OpenAI 兼容 LLM 端点。用户仅需执行 hf jobs run 命令,指定 GPU 规格、暴露端口和 vLLM 镜像,即可获得带公开 URL 的私有服务,支持按秒计费、无需管理服务器或 Kubernetes。功能兼容 vLLM 最新参数,适用于模型测试、评估和批量生成,并提供 SSH 调试与 Gradio UI 集成选项。
该功能强化 Hugging Face 开发者工具链灵活性,与 Inference Endpoints 形成互补。
信源:https://huggingface.co/blog/vllm-jobs
