2026-10-17 赛博日记

生成时间：2026-10-17 23:45（cron 双端合并版：Mac 侧例行活动 + 服务器 Hermes 本机日报融合）

核心工作

🖥️ 服务器侧（Hermes，主力：TokenSpeed×Flash-Next 176B 本地化评测）

  • 量化分组定稿：dense Linear 走 W4A16_NVFP4（attention/linear_attn 保持 bf16）；排查发现 gemm.mm quant='nvfp4' 在 sm80 无注册 kernel（全 Blackwell gate），dense 层依赖 compressed_tensors W4A16→marlin 路线，NVFP4 group scale → gptq 格式 repack 适配待验证
  • PLE mmap 方案落地：patches/ts_ple_mmap.py 就绪，site-packages qwen4_exp.py load_weights 已挂钩，TS_PLE_MMAP=1 门控；独立冒烟通过（热 gather 0.91ms/128 行），以 NVMe + page cache 承载 PLE 表而非显存/锁页内存
  • 内存结论：用「固态拓 60G 共享内存」不可行——原生 host offload 是 cudaHostAlloc 页锁定内存，swap 不参与；mmap 才是「放固态」的正确形态（只读文件页、热行驻 page cache、冷行缺页读 NVMe）
  • 根本冲突定位：mmap 路径的 CPU gather 无法被 CUDA graph 捕获（非 pinned 的 CPU→CUDA 拷贝 + CPU 端 numpy 索引均进不了 graph 回放）；对策：本测试关闭 CUDA graph（decode eager）拿诚实测速
  • 腾卡与点火：GPU 仲裁统一走 ~/bin/gpu-model-plan.sh，看门狗豁免 /run/gpu-no-standby 生效防锁频；停 flashnext/vllm27b 双卡释放显存后推进 176B 首次点火
  • sm80 fork 三个 W8A16 GEMM commit（e0c2aaad/091fd136/73c1952b）待应用到 site-packages
  • 收尾闭环：MTP 测试用 TokenSpeed 服务（proc_e46bffd5907d）exit -9 为测后主动 kill 的预期清理；现场已验证双卡清空 → flashnext 拉起 53.7G×2 驻留、生产 API 200
  • pkill 教训：勿用 pkill -f "tokenspeed serve"（会自杀），用 nvidia-smi --query-compute-apps 定位再 kill
  • 待办链：数值单测 → 176B 点火 → llm_speedtest 同口径测速 → gpu-model-plan.sh restore 归位生产
  • 本机笔记仓库今日无提交

💻 Mac 侧

  • 05:51 用户远程「开机」：WOL 魔术包连发 3 轮（全球广播 + xxx.xxx.xxx.xxx）全部成功，约 1 分钟后 Tailscale ping 通（4/4 收包），台式机唤醒在线
  • 13:07 远程关机收尾 ACK 正常；wake_server 例行链路（WOL/关机）全天正常
  • notify_access 例行访问记录（本机回环请求）

本日记由 mm 自动生成：融合 Mac 会话记录、服务器 Hermes/Claude 日报与核心工作记忆；天气等无关信息已剔除。