vLLM Articles
4 articles
GPU / CUDA / Docker 部署兼容性清单：从镜像到模型服务
Curated guide用版本矩阵、镜像 digest、模型校验、GPU 可见性、安全边界和功能验收，把消费级 GPU 部署记录整理成可复用的兼容性案例。
Ray + vLLM 离线多节点部署：从可复现安装到安全运维
Curated guide把 Ray wheelhouse、GPU 容器、并行策略、私有网络、认证、健康检查和回滚拆开，避免把一条历史启动命令误当成生产保证。
从零搭建 vLLM 多节点推理集群：Docker 部署全流程实战
手把手教你用 Docker + Ray + vLLM 在多节点 GPU 集群上部署 70B+ 大模型推理服务，覆盖在线/离线安装、模型选型、性能调优与生产运维。
Tag navigation
Featured tags