GLM 额度墙定罪:巨型 prompt 内联全局索引 → 向量 top-K 瘦身(2026-11-18)
现象
接入知识库(TDAI wiki 8 千页)后 GLM coding 5h 额度墙日内反复命中(11-17 单日 466 次),日更 ingest 三轮成功率 0%/15%/35%。
定罪(token 级实测,非推测)
- 每次抽取调用把全库页面清单(title+type+description,8022 页)内联进 prompt:实测单源 promptChars 137~140 万字符 ≈ 64 万 token,源本体只占 0.1%。
- 11-17 当日 129 次完成调用烧 6800 万 prompt token,其中 107 次 >10万 token 的大请求占 99%;prompt:completion = 390:1。建库以来累计 16.7 亿 token。
- 撞墙失败不计费(327 次全在 <15s 返回,真 prefill 要 40~90s)——烧额度的只有输入体积这一个变量。
- 成本随页数线性增长:11-10 五十万 token/源 → 11-17 六十四万,无上限。
根治:向量检索 top-K(当日落地)
- 本机 bge-m3(embed.service :8199)给全部页面 embed(title+desc) 存
_vec/pages.db;抽取时源 embed 一次→纯 numpy 点积→只注入 top-48 相关页。 - 实测 prompt 降 30~90 倍(137 万→0.7~5 万字符),本地 vLLM 单次响应回到 5 秒级。
- 关键二轮教训(A/B 打回重做):首次检索只看源正文会漏掉 analysis 才点名的合并目标 → 重复页。修法=查询扩展:analysis 产出后用「源+抽取计划」二次检索取并集。
- 验收判据的坑:wikilink 绝对数不可比(新候选=单源贡献 vs 旧页=多源累计);正确的退化探针是近重复页检测(候选页 title+desc 向量 vs 全库 top-sim>0.85 异路径)。
- prompt 体积从此与页数解耦(O(全库)→O(K)常数),库长到 5 万页也不再烧钱。
连带解锁
- 本地 vLLM 恢复为知识库主上游(11-10"永久摘除 llm2"的前提=巨型 prompt,已随之失效);闲时纯本地跑、撞墙自动降级、双挂下轮增量补——知识库日常同步零云额度。
- MemoryCore 记忆 L1 提取同日拨回本地 vLLM(10-27 切 GLM 的理由"给知识库让路"反转:云的稀缺才是真瓶颈)。
关联坑(同族:安静判据被残骸欺骗)
tail -c 切片首行残骸逃过 ^INFO 锚定的噪音过滤 → pipeline_idle 永久判"渲染忙",ingest 被莫名卡住整晚。修法:非锚定签名匹配 + 无条件丢弃切片首行。(前科:ks_quiet 探活行死锁、ENVSTAMP 竞态。)
另:8421 启动日志停在 Restoring wiki indexes 不是卡死——index.db 200MB+WAL 回放慢启动 3~8 分钟,监控等待窗必须给足(30s 判"起不来"是误杀)。