# NInfer · Qwen3.8-27B 本地 Agent（5070 Ti Laptop 12GB）· 项目信息与结论

> 整理时间：2026-10-23 · 资料核对到仓库 commit `4e4ee42`（2026-10-21，Release v0.1.4）
> 同目录配套文件：`01-5070Ti-部署清单.md`（可照着做的分步流程）

---

## 1. 全部链接（原文照录）

| 内容 | 链接 | 提取码 |
|---|---|---|
| 夸克完整无模型整合包 | https://pan.quark.cn/s/d0fd6ecf164a?pwd=x6gA | `x6gA` |
| 夸克完整整合包 | https://pan.quark.cn/s/77457d7dec51?pwd=KX5c | `KX5c` |
| GitHub 源码 / 引擎 | https://github.com/CSUNX233/qwen3.8-27b-ninfer-5070tilaptop-kvmem-local-agent | — |
| v0.1.4 发布说明 | https://github.com/CSUNX233/qwen3.8-27b-ninfer-5070tilaptop-kvmem-local-agent/releases/tag/v0.1.4 | — |
| QQ 交流群 | `884218771` | — |

两个夸克链接名字接近：**「完整无模型整合包」= 不含权重**（只有引擎和依赖）；**「完整整合包」= 含两个 `.ninfer` 模型**（约 10.06 GiB × 2）。要直接跑，下含模型的那个。

---

## 2. 这是什么

NInfer（C++/CUDA 推理引擎）的 **Windows 优化发行版**，目标是在 **RTX 5070 Ti Laptop 12GB** 上跑 **Qwen3.8-27B**：

- **权重**：GSQ-RCO IQ3_XXS 的 v3 `.ninfer`（文本 + MTP），10,796,660,224 B ≈ 10.06 GiB
- **KVMem**：GPU 页池 36864 token + **RAM 历史 KV 7168 MiB**，逻辑上下文配置到 262144（256K）
- **MTP 投机解码**：`--spec mtp --draft-tokens 3`（动态 MTP 未验证/未启用）
- **可选 Agent**：锁定 `@deepseek-ai/dsh@0.1.5-rc.3`，含严格缓存守卫、本地 Bing 搜索、Edge MCP 浏览器、待办收尾与分步执行规则
- **接口**：OpenAI 兼容 `http://127.0.0.1:1234/v1`，守卫 `1236`，dsh 网页 `3080`

上游：NInfer-all / NInfer + 沈三殊 KVMem 方案；本项目做 Windows 适配、本机修复与打包。架构来源另有 Bilibili UP 主 **0xFFFF7** 的分享版本（README 明确致谢）。

| 事实 | 数值 |
|---|---|
| 建库 | 2026-10-15 |
| Star / Fork | 45 / 2 |
| 版本节奏 | 8 天 5 个版本（v0.1.1 → v0.1.4），均为 prerelease |
| v0.1.4 引擎资产 | `ninfer-5070ti-win-x64-sm120a-v0.1.4.zip` **846.9 MB**（预编译，非源码） |
| 许可 | 代码/引擎 Apache-2.0；dsh 及其补丁 MIT；**模型 Apache-2.0 + Swift Open License v1.0 混合** |
| 权重分发 | 不在 GitHub Release，只走网盘 |

---

## 3. 它自己声明的边界（重要，别当成保底）

- **256K 是「配置的逻辑容量」**，已完成 128K/200K 合成召回（6144 档 128K 5/5、200K 4/5），**256K 未做整模型压力测试**；KVMem 是选择性注意力，不等于全长稠密注意力。
- 200K 冷预填充维护者实测 **424.62 秒**，完全重复请求 112 ms —— 冷启动仍随长度变慢。
- **速度都是维护者单机**（5070 Ti Laptop / i7-14650HX / 32GB / 驱动 617.14）测的，README 原话是「不是总体能力或速度承诺」；**误调用尚未根治**。
- 发布验收覆盖的是「35053 文件校验 / 离线安装 / 两模型路由 / 配置切换 / dsh 网页 200」，**不等于**真实长任务质量验收。
- 与 dsh 生态的耦合是**版本锁定**的：补丁带版本检查，不匹配就不打。别单独升级 dsh。

### 值得肯定的一点
证据链比多数"一键包"扎实：`benchmarks/evidence/` 下有 verification.json、SHA256 校验、`SOURCE_PROVENANCE.json` 记录源码归属、`licenses/` 保存各模型卡快照，README 没把没验证的东西写成已验证。

---

## 4. 这台服务器（Linux / GTX 1060 6GB）的结论：跑不了

| 它要求 | 本机实际 |
|---|---|
| Windows x64（`.exe` / `.ps1` / `.cmd`） | Ubuntu 26.04 |
| `sm120a`（Blackwell）+ CUDA 13 驱动 | GTX 1060 Mobile，sm_61，**CUDA 13 已移除 Pascal** |
| 显存 12 GB | 6 GB |
| 内存 32 GB（还要留 7 GiB Host KV） | 15 GiB |
| Node.js 24+ | v22.23.3 |
| dsh `0.1.5-rc.3` | `0.1.7-rc.1` |

**根因不是"旧"而是预算**：这个方案能在 12GB 卡上跑 27B，靠的正是「36K 页池 + 7GiB RAM KV」；本机这两项都不够。本机已装 27B Q4 的实测（16.3 GiB、28% 上 GPU、2.2 tok/s、4K 上下文）已经把同一结论说完。

结论：这套包**只能装到 Windows + 5070 Ti Laptop 12GB（或更高）的机器上**；本服务器最多当下载/中转站。非 50 系显卡要按自己的架构重新编译，改文件名无效。

---

## 5. 本目录文件

| 文件 | 用途 |
|---|---|
| `00-项目信息与结论.md` | 本文件：链接、项目速览、边界、本机结论 |
| `01-5070Ti-部署清单.md` | 分步部署（夸克包 / GitHub 源码两条路线、显存顺序、分层验收、排障速查） |

资料全部来自该仓库公开文档（README / docs/INSTALL.md / docs/OFFLINE_BUNDLE.md / docs/DEPLOYMENT_AGENT_GUIDE.md / docs/MODELS.md / docs/TROUBLESHOOTING.md）与 GitHub API，未做任何本机安装或下载。