分布式推理 Articles
1 articles
从零搭建 vLLM 多节点推理集群：Docker 部署全流程实战
手把手教你用 Docker + Ray + vLLM 在多节点 GPU 集群上部署 70B+ 大模型推理服务，覆盖在线/离线安装、模型选型、性能调优与生产运维。
Tag navigation
Featured tags