2026-10-24 赛博日记

生成时间:2026-10-24 23:50 (Asia/Shanghai)

核心工作

🖥️ Hermes 本机事项(双 CMP 170HX vLLM 服务)

今天的主线全部围绕弱卡 GPU1 的稳定化治理,从归因到手术再到验证,闭环完整。

1. GPU1 掉卡最终归因与「毒尾切除」手术

  • 昨晚 GPU1 掉卡实锤归因:HBM 内存子系统真错误(TLB invalidation failed)→ GSP 75s 无响应(Xid 175)→ 死锁只能重启。破解卡「最后几 MB 毒区」假说被排除(驱动已含 PR #32 修复 + #31 scrub 补丁)。
  • 硬核修复:0019 毒尾切除——通过 OverrideFbSize 把每卡最后 512 MiB 从可分配堆切掉,heapMax 钳在 65024 MiB 边界。效果:GPU1 余量从 44 MiB(98.9% 占用)变成 6.4 GB 深壑。
  • 配套:gpu_memory_utilization 0.93 + PP 首尾卡换序(CUDA_VISIBLE_DEVICES=1,0),让弱卡 GPU1 当轻载首卡(~85%)、健康 GPU0 扛重载尾卡(MTP 草稿 6 步 + lm_head + 尾层)。重启后显存格局翻转验证生效。
  • 复盘发现 Xid 175 两周两发(10-23、10-24,后者发生在关机流程中),病灶非偶发。ECC 计数器重启归零后从此有真值意义——毒尾切除后若 DRAM Correctable 再涨,说明错误在健康区,性质升级。建议保持 GPU1 的 boost 解禁门槛。

2. boost 档 A/B 测试二次实锤「必炸」

  • 三档测速(safe/boost/free)跑 A 档正常(prefill 80K=5909 / 140K=8761 / 200K=9726 t/s),切 B/boost(1650+offset)第一个请求就崩:TTFT 飙 301s、prefill 只剩 265 t/s,3 分钟后 GPU1 NV_ERR_RESET_REQUIRED,vLLM 崩溃。free 档未测(链安全中止)。
  • 结论:boost 语义两次实测两崩,后续 A/B 只做 safe vs free。事故固化进 power-tuning skill 坑 13。

3. 启动脚本被写烂导致的「开机闪死」修复

  • 症状:早上开机无法进系统。取证:昨晚另一会话给启动器加 tool-params overrides 时把启动脚本第 25 行写崩(五段重复碎片粘着),bash -n 不报错但运行期 status=2 闪死。已重建该行 + 干跑验证。教训沉淀进 flashnext skill 红线 1b。
  • 关机时 GPU1 再次 Xid 175 → 整机冻死 hung task,强制断电重开后正常(本次 boot 0 Xid)。
  • 顺手清理磁盘:根分区 121G→118G,回收 3.2G(/var/crash 两个 1GB vLLM core 转储、journal 收敛 200M/7天、apt clean)。刻意保留 vllm 编译缓存、whisper/hyperframes 模型资产。

4. context_length 510K 固化

  • 发现 :8900 归位按钮走的 restore 路径会把 flashnext 上下文钉回 307.2K。改 gpu-model-plan.sh 第 243 行 307200→510000 + 当前 config 活值同步,并排查确认 switch-main-model.py / switch-global-model.sh 均不碰该字段。生效时序:下次 gateway 重启或点归位即对齐。

5. mclk 语义答疑

  • 从破解烧死的 1890 降回原厂 1728:降的是显存频率(带宽),不是算力;SM 频率不受影响。

🎬 B 站产线:标题/封面策略迭代

  • 对照 B 站热门实测(抓 20 条 38w~700w 播放,OCR 前 14 条封面大字):封面大字绝不照抄标题,普遍砍到 ≤10 字钩子词;标题靠具体数字撑可信度。
  • 据此改了 hltb 产线 gen_script.py:标题目标 18~28 字、钩子前置前 14 字、禁系列名开头、问句或断言二选一;hook_q 收紧 ≤12 字并放开陈述式。代码层 norm_title() 机械兜底:系列名挪尾保完整、超长只裁正文、LLM 漏写自动补。回归实测 7 例全过,当晚 22:05 cron 产 E09 起自动生效,备份可一键回滚。
  • 另:DeepInfer 零开销调度视频分析结论——机制上 vLLM async scheduling 已启用,无新增可借鉴项;选题撞车区不建议进。

📱 GPU 工作台手机端适配

  • gpu-console/static/index.html 纯前端 CSS 修复:4 列卡片区单列堆叠、header 换行、配音 tab 横向滚动 2272px 归零、参数弹窗上下堆叠、iOS 输入 16px 防放大。Playwright 390×844 实测三页签 + 5 个素材子页签 + 弹窗逐元素扫描,零越界。后端热读 index.html 无需重启。

🧠 记忆系统维护(Hermes)

  • 记忆爆仓治理:查证 0.19 运行时 PyInstaller 打包无 limit 配置项,扩容不可行。第三轮「条目→指针」无损压缩:6 块长条目全文迁入对应技能卡(GPU 掉卡事故档、vLLM 历史档位、内核验收细节、代理链拓扑、出图三规则、在架快照),MEMORY 99%→89%(剩余 231 字符),USER 保持 97%(其长条目是每轮必生效指令,不迁)。
  • 技能卡去重:TTS 杂音三卡合并为定案卡 tts-audio-artifact-forensics,182→180 张。全量备份可回滚。
  • flashnext skill 新增「MTP↔前缀缓存互斥」专节:WARNING 出处(kv_cache_utils.py:2166)、双态实证(96.8% vs 0.0%)、85K A/B 数据。生产态 MTP6 + rep_penalty 1.05 + maxlen 524288 冒烟通过。

🏠 其他

  • 关机请求两次均走 safe-shutdown 门禁:第一次因未回复确认码自动撤销,第二次确认后执行。期间机器有一次重启恢复。
  • 待收尾清单盘点:Todoist 4 条旧待办、《破绽之眼》E02 S2V 续跑(停在 seg4-2)、E03 剧本终稿确认、封面终选。自动项(设备哨兵/日更/trending)全部静默正常。

思考与备忘

  • GPU1 的长期风险:Xid 175 两周两发在加重,毒尾切除只是减面不是根治。近期应把 GPU1 上重要模型权重同步到 /mnt/nvme1(剩 477G);彻底治得走售后/换卡。
  • 观察期协议:哨兵盯 Xid;ECC 计数器从此有真值意义,DRAM Correctable 再涨 = 错误进入健康区,性质升级。
  • 产线铁律再验证:确定性处理交给代码兜底而非 LLM 重试(norm_title 的系列名截断坑);bash -n 查不出 [ “$X” = "" ] 后粘碎片的运行期错误,关键脚本改动必须干跑。

今日摘要

主线是弱卡治理收官:毒尾切除 + util 0.93 + PP 换序三件套落地,GPU1 从 44 MiB 余量的悬崖边拉回 6.4 GB 深壑,重启后全绿;boost 档二次实锤必炸后封禁;开机闪死脚本修复 + 3.2G 磁盘回收。支线上 B 站标题/封面策略按热门实测数据完成迭代并当晚生效,GPU 工作台手机端适配零越界收工,Hermes 记忆爆仓完成第三轮无损压缩。

📊 自动化统计

  • 捕获 Memory 数:0(memory/2026-10-24.md、memory/claude_2026-10-24.md 均不存在)
  • 笔记更新数:0(note-gen-sync 24h 内无其他 .md 变更)
  • Todoist 完成任务数:无法查询(Todoist 工具本环境不可用)
  • Claude Code 会话数:0(无当日 claude 记录文件)
  • Hermes 本机活跃会话数:10(144+100+82+78+74+56+26+8 条消息等)