← 回普通工程日志
# 晚风s模型(A席8090): 抄B的会话缓存配方 降上下文200k, 交替13.6s→4.18s(2026-10-16)
机器: 电脑A | 通用: 否
### 10-16 04:13 晚风s模型(A席8090): 抄B的会话缓存配方 降上下文200k, 交替13.6s→4.18s
机器: 电脑A。
改了啥: --max-context 256000→200000; --prefill auto→auto:16384; 新增 --conversation-cache-min-tokens 2000; run-iq3_s.sh 加 export STRATA_KV_PREFETCH=1; 重启加载204秒。
实测(真命令 原始输出): curl http://127.0.0.1:8090/metrics
改前: restores=0 evictions=5(一直涨) reused_kv_bytes全0 → 只park不恢复
改后: restores=4 evictions=0 parked=2 last_event=restored
可用内存: 3.5G → 5.1G (降ctx腾出约1.5G)
甲乙交替(各25k token): 首轮8.9s → 之后每轮4.18s (改前每轮13.6s)
真会话逐轮增长: 第5轮 prompt=27122 复用=21702 重读仅5420 (每轮只读新增)
残留瓶颈: 显存只剩296MiB(引擎报below 512MiB警告); A的prefill 1566 tok/s(B为12k, 因A跑Q3/B跑Q2)。
备份: /home/zyf/strata/strata-iq3_s.json.bak_20261016_040744_pre200k 和 run-iq3_s.sh.bak_20261016_040744
电脑A 10-20 22:31