# 2026-10-15 天启（晚风–天启 = Qwen3.8-Flash-Next）部署与实测（2026-10-15）
机器: 电脑A | 通用: 否

### 10-15 18:26 2026-10-15 天启（晚风–天启 = Qwen3.8-Flash-Next）部署与实测
【定名】天启 = 晚风–天启 = Qwen3.8-Flash-Next（用户 2026-10-15 定名）

■ 模型
Qwen3.8-Flash-Next —— 125B MoE / 激活 6B / 256K 原生上下文 / 多模态
量化：ISTA-DASLab 的 GSQ-RCO，Q2_0 档（最小），两分片：
  分片1 主权重 35.9GB ＋ 分片2 n-gram 查词表 27.5GB ＋ mmproj 视觉部件 907MB
HF: ISTA-DASLab/Qwen3.8-Flash-Next-GSQ-RCO-GGUF

■ 部署位置
主力：电脑A（4080 32G + 61G 内存）→ 端口 8090 → http://192.168.13.176:8090
  · 引擎 /home/zyf/llama.cpp/build-oct/bin/llama-server（CUDA，2026-10-15 新编译，对齐 B 机 commit 3d65c90d）
  · 模型 /home/zyf/models/flash-next-hf/Q2_0/ + mmproj-Qwen3.8-Flash-Next-BF16.gguf
  · 一键 ~/flashnext.sh 200k|32k|stop（已含视觉）
  · 常驻单元 flashnext-a（模型服务）+ flashnext-chat（中文页 9446）
备用：电脑B（7900XTX 24G）→ 端口 8080（必须用 ROCm 引擎）

■ 启动参数（电脑A · 200K + 视觉）
llama-server -m 分片1 -mmproj mmproj-Qwen3.8-Flash-Next-BF16.gguf --alias flashnext \
  -ngl 999 --n-cpu-moe 20 -fa on --fit off \
  -ot "per_layer_token_embd=CPU" --lazy-mode on --load-mode mmap \
  -c 204800 -ub 1024 -b 2048 -ctk q8_0 -ctv q8_0 -t 8 --threads-batch 8 \
  --host 0.0.0.0 --port 8090

■ 实测速度（一天 10 轮测试结果）
电脑A（4080 CUDA）32K   ncmoe16 → 23.0 字/秒
电脑A（4080 CUDA）200K  ncmoe16 → 23.6 字/秒（显存 31.5G，压满）
电脑A  200K + 视觉      ncmoe20 → ~20 字/秒（显存 29.9G）
电脑B（7900XTX ROCm）32K ncmoe20 → 15.5 字/秒
电脑B  Vulkan 后端              → 6.6 字/秒（不可用，已弃）
200K 上下文全扫（KV q8_0）：ncmoe 40→11.7 / 32→14.2 / 24→17.7 / 20→20.3 / 16→23.6 / 12→爆显存
参考：社区 N 卡 3090 24G = 22.6 字/秒；4090 24G = 34 字/秒

■ 能力验证
· 看图（多模态）：自制测试图（左红圆 + 右蓝方）→ 答「红色圆形，蓝色正方形」✓ 耗时 6.3 秒
· 200K 长上下文 + KV q8 实测可跑
· 思考模式：实测 带思考 8.59s/161tokens vs 关思考 2.98s/45tokens（快 2.9 倍）；用户选择【保留思考】

■ 访问入口
中文直连页 http://192.168.13.176:9446（推荐，用户熟悉界面）
引擎自带页 http://192.168.13.176:8090

■ 注意事项
· 吃满电脑A 29~31GB 显存 → A 机出图/跑片前必须先 ~/flashnext.sh stop
· 不要挂进 Hermes 内核页面：Hermes 每轮塞 3.5 万字系统提示词，天启读大输入慢（首字 89 秒实测）
· 27B（幽灵）不受影响，仍在电脑B 8080

■ 关键坑（血泪）
1) 引擎必须支持 qwen4exp 架构（旧版报 unknown model architecture: 'qwen4exp'）
2) -ot per_layer_token_embd=CPU 必须加 —— n-gram 查词表放显卡会慢 55 倍
3) -fa on --fit off 必须加 —— 否则报 failed to fit params ... n_gpu_layers 999, abort
4) AMD 必须用 ROCm 版引擎 —— Vulkan 版权重进不了显存（VRAM 恒 27.9MB）
5) 视觉部件 mmproj 在 HF 仓库根目录，不在 Q2_0/ 子目录 —— 只下 Q2_0/* 会漏掉
6) 交给 systemd 托管必须用 exec 方式；脚本内 nohup & 后退出会被 cgroup 清掉

■ 存档
技能：tianqi-flash-next（含完整启动参数、实测表、坑）
文档：重要资料/Flash-Next_B机部署与实测_20261015.md
操作日志：重要资料/三agent操作日志.md（多条）