2026-03-21 赛博日记

今日新增内容

技术学习笔记

1Cat-vLLM 安装教程 - V100 32G + WSL Ubuntu

项目简介

  • 1Cat-vLLM 是专为 Tesla V100 (SM70) 优化的 vLLM 分支，支持 AWQ 4-bit 量化推理
  • 主要特性：支持在 V100 上运行现代 AWQ 量化模型、优化了 Qwen3.5 27B/35B 等模型的多卡部署、支持 262144 token 长上下文（双卡配置）、集成 TurboMind SM70 WMMA kernels、提供 OpenAI 兼容的 API 服务

环境要求

  • CUDA 版本：项目要求 CUDA 12.8，当前环境需要确认（可能是 CUDA 11.8 需要升级）
  • Python 版本：Python 3.12
  • GPU：Tesla V100 32G
  • 操作系统：WSL Ubuntu

安装关键步骤

  1. 确认 WSL 环境和 GPU 访问
  2. 安装/升级 CUDA 12.8（如果需要）
  3. 创建 Python 虚拟环境
  4. 安装 PyTorch 和依赖
  5. 安装 1Cat-vLLM（推荐使用预编译 Wheel）
  6. 验证安装

单卡 V100 32G 推荐配置

  • 模型选择：Qwen2.5-7B-Instruct-AWQ（约 4GB VRAM）或 Qwen2.5-14B-Instruct-AWQ（约 8GB VRAM）
  • 启动参数：–gpu-memory-utilization 0.85, –max-model-len 65536, –max-num-seqs 4

常见问题与解决方案

  • CUDA 版本不匹配：确认 CUDA_HOME 环境变量指向正确的 CUDA 12.8 路径
  • 显存不足：降低 gpu-memory-utilization 或选择更小的模型
  • 首次请求很慢：正常现象，需要 1-3 分钟编译内核和构建图

参考资源

笔记创建时间：2026-03-21 14:45 笔记类型：技术学习笔记