← 回普通工程日志
# Qwen3.8-Flash-Next 破限版(Swift-1.5 abliterated)部署 A机8090+B机8080(2026-10-18)
机器: 电脑A | 通用: 否

### 10-18 19:16 Qwen3.8-Flash-Next 破限版(Swift-1.5 abliterated)部署 A机8090+B机8080
【起因】用户问S模型有无破限方案及影响。
【选型】SC117/Swift-1.5-Qwen3.8-Flash-Next-GSQ-RCO-abliterated:权重级消融(48层中144个写回残差流张量)+省思考分支。iq_pack 1079张量/302原生/96转换零误差。License=Swift Open License v1.0(非Apache,商用待确认)。
【A机8090(IQ3_S 78G,N卡4080 32G)】
- 下载:hf-mirror,两分片 sha256 均匹配(638fbd42…/091a4f6a…)
- 坑1:--ple-gguf 不能照抄官方配置。Swift 把 28.8G n-gram表放在分片1内(偏移510MB),不是独立分片2。删掉该参数让引擎按张量名自动定位(源码generate.cpp:2592注释明确支持 Swift shard1)。日志确认 'PLE on, table 320001536 rows of …00001-of-00002.gguf'。
- 坑2:expert-profile 沿用官方(24576 slots),形状匹配可用。
- 坑3:pack 必须重建,不能复用官方 dense.bin(Swift 消融改了稠密张量)。
- 实测(4题同题双跑,各4轮):官方 76.1s / Swift 65.0s(-14.7%);思考量 14109→10082字(-28.5%);tok/s 逐项持平(92.6/93.6、82.6/82.6)——证明Swift不提生成速度,只省思考。
- 意外:官方版16次里2次把4000token全耗在思考、正文0字(agent排障题连坏两轮);Swift 0次。稳定性Swift更好。
- 官方宣传'省63.4%思考'实测28.5%,因其评测只算KLD不测思考长度稳定性;采样参数已核对一致(引擎默认top_k=20/min_p=0/repeat=1.0 与官方Usage相同)。
【B机8080(7900XTX 24G, HIP后端)】
- 先传 IQ3_S(78G) 实测:tok/s 61-80,比B机原IQ3_XXS(71G)差。
- 原因:B机原来跑 IQ3_XXS 71G,传的 IQ3_S 78G 大了7G,24G显存最难受。
- 改传 IQ3_XXS(两分片37.04+33.58G,sha256 83f75959…/aa59f45e… 均匹配),删掉中途中转的IQ3_S腾空间。
- 实测4轮:tok/s 74.5(比IQ3_S 66.6 快12%);专家命中率92.4%(IQ3_S 79.3%)——省下的7G被引擎自适应多装专家了,显存仍吃满23.67/23.98GiB,这是正常现象。
- B机总耗时80.5s vs A机65.0s(慢24%),AMD HIP+显存少8.7G的硬件差距。
- 服务:systemd-run --user --unit=strata-swift --collect,OOMScoreAdjust=-500,端口8080。
【其他】A机 ufw 放行 8090/tcp 仅 192.168.13.0/24,已从B机实测打通。
【回滚】A机:停 tianqi-swift-8090 起 tianqi-8090(run-iq3_s.sh);B机:停 strata-swift 起 strata-b(官方IQ3_XXS)。模型/pack/配置三套都在。
电脑A 10-20 22:28