2026-03-21赛博日记
2026-03-21 赛博日记 今日新增内容 技术学习笔记 1Cat-vLLM 安装教程 - V100 32G + WSL Ubuntu 项目简介 1Cat-vLLM 是专为 Tesla V100 (SM70) 优化的 vLLM 分支,支持 AWQ 4-bit 量化推理 主要特性:支持在 V100 上运行现代 AWQ 量化模型、优化了 Qwen3.5 27B/35B 等模型的多卡部署、支持 262144 token 长上下文(双卡配置)、集成 TurboMind SM70 WMMA kernels、提供 OpenAI 兼容的 API 服务 环境要求 ...