2026-09-06（周日）赛博日记

生成时间：2026-09-06 23:50 (Asia/Shanghai)

核心工作

今日笔记库中更新了《AWQ-INT4-vs-AutoRound-W4A16-单发速度AB》（Qwen3.8-Flash-Next，双 CMP170HX PP2 部署）的完整 A/B 结论与后续定案：

速度不构成决策因素：500K/900K 两点 prefill 与 decode 均与 AutoRound 基线持平（±3% 内，属 MTP 接受率自然波动）。AWQ-INT4 (g32) 无速度优势也无劣化。
显存代价明确：AWQ compressed-tensors 格式在 vLLM 下权重驻留更大（每卡 KV 可用 24.9G→19.8G，约 -5G/卡），1M 窗口装不下，只能退到 921600。
磁盘优化：AWQ 全量 188.3G，通过跳过 20 个与本地 AutoRound 字节级同源的纯 PLE 分片（96G），实下 92.3G + 本地组装 96G。
09-05 用户定案（已回写笔记）：AWQ-INT4 定为常驻；窗口固化 512K（YaRN factor 2.0 + MTP spec3 + max-num-batched-tokens 4096）；systemd flashnext.service 已切换到 start-flashnext-awq.sh，旧 AutoRound 启动脚本已删除。
遗留：质量 g32 vs g128 评测定夺仍未做。

量化选型的完整逻辑链：速度 A/B 持平 → 决策依据收敛到质量（g32 理论略优）与显存驻留成本 → 综合定 AWQ。这个「速度持平时按质量+驻留成本决策」的框架值得复用。
磁盘去重技巧（校验张量元数据 + 抽样比对后本地组装替代下载）省了 96G 下载，实用。
质量 g32 vs g128 评测是唯一的未闭环项，若后续 decode 质量异常应优先回头查这里。

周日，无 Claude Code 会话、无记忆文件记录，素材主要来自笔记库的量化选型笔记更新。核心是 Qwen3.8-Flash-Next 的 AWQ-INT4 定版：A/B 测速持平后按质量与显存权衡定案，部署脚本已切换，仅剩质量评测未做。