AI PC 的 NPU（神经处理单元）上运行端侧大模型，能通过软硬件协同优化，实现高效能、低延迟的端侧 AI 体验：
🧠 一、 轻量文本模型（专注语言任务）
1. Phi-3 Silica（微软）
- 参数：3B
- 核心特性：
- 专为 Copilot+ PC 设计，适配 NPU 算力，支持 128K 长上下文，推理延迟 <100ms。
- 在端侧实现 SOTA 性能，尤其擅长代码生成与多轮对话，集成于 Windows 11 AI 功能（如“Click to do”）。
- 部署硬件：高通 Snapdragon X Elite NPU、英特尔酷睿 Ultra NPU。
2. 面壁 MiniCPM 3.0
- 参数：4B
- 核心突破：
- 性能超越 GPT-3.5：在 MMLU、代码生成等榜单领先，量化后仅需 2GB 内存。
- 无限长文本处理：通过 LLMxMapReduce 分帧技术，支持百万字文档分析（性能超 Kimi）。
- 端侧最强 Function Calling：接近 GPT-4o 水平，支持调用本地 API（如日历、邮件）。
- 部署场景：法律合同审查、长文摘要（联想 Yoga 系列已预装）。
🌐 二、 多模态模型（支持图文/音视频）
1. Megrez-3B-Omni（无问芯穹）
- 参数：3B
- 核心特性：
- 端侧全模态三合一：同步处理图像、音频、文本，例如拍照问“AA 人均费用”，再语音生成催款文案。
- OCR 与手写识别 SOTA：模糊图片、复杂手写字精准提取（OpenCompass 榜单超越 34B 模型）。
- 内存 <3GB，支持网页搜索（WebSearch 功能）。
- 部署硬件：手机、平板（小米/联想合作机型）。
2. MiniCPM-V 2.6（面壁智能）
- 参数：8B
- 核心优势：
- 端侧视频理解巅峰：在 Video-MME 评测超越 GPT-4V，支持实时摄像头流分析（如安防监控）。
- Token 密度 2×GPT-4o：180 万像素图像仅需 640 Token，NPU 推理速度 18 tokens/s。
- 典型设备：英特尔酷睿 Ultra（OpenVINO 优化）。
⚡ 三、 高性能异构模型（CPU+GPU+NPU 协同）
1. DeepSeek 7B（深度求索）
- 部署载体：联想 YOGA AI PC
- 技术亮点：
- 全球首款端侧运行 70 亿参数模型的 AI PC，支持 本地文档总结、翻译、隐私保护。
- 结合 个人知识库（PKB），构建用户专属记忆图谱（如会议纪要自动关联历史记录）。
- 能效比：19 小时办公续航，NPU 卸载 70% 计算负载。
2. MiniCPM 4.0（面壁智能 × 英特尔）
- 参数：0.5B / 8B
- 创新架构：
- 高效双频换挡：长文本用稀疏注意力（省算力），短文本切稠密注意力（保精度）。
- 128K 上下文实测：90 秒读完《哈利波特》并总结（英特尔 NPU + KV Cache 优化）。
- 工具链：OpenVINO + IPEX-LLM，开箱即用部署。
🆚 四、主流模型端侧部署对比表
| 模型 | 参数 | 模态 | 关键技术 | 端侧延迟 | 典型设备 |
|——————–|——-|————|—————————|————-|————————|
| Phi-3 Silica | 3B | 文本 | 128K 长上下文 | <100ms | Surface Pro 11 |
| MiniCPM 3.0 | 4B | 文本 | 无限文本分帧 | 200ms | 联想 Yoga |
| Megrez-3B-Omni | 3B | 图+音+文 | 跨模态自由切换 | 300ms | 小米平板 7 Pro |
| MiniCPM-V 2.6 | 8B | 图/视频 | 高密度 Token 编码 | 500ms | 英特尔 Ultra 7 |
| DeepSeek 7B | 7B | 文本 | 个人知识库（PKB） | 1.2s | 联想 YOGA 360 |
💡 五、选型建议
- 追求极低延迟 → Phi-3 Silica（3B 轻量，Win11 深度集成）
- 需长文本处理 → MiniCPM 3.0（4B 无限上下文，法律/教育场景）
- 多模态交互 → Megrez-3B-Omni（3B 全模态，适合移动端 App）
- 视频分析场景 → MiniCPM-V 2.6（端侧 SOTA 视觉理解）
- 企业隐私需求 → DeepSeek 7B（本地知识库 + 脱敏数据处理）
⚙️ 六、部署优化关键技术
- 软硬件协同：
- 英特尔 OpenVINO 优化 KV Cache，推理速度提升 2.2 倍；
- 联想推理加速引擎：异构计算 + 算子融合，数学题求解速度 2 倍提升。
- 量化与压缩：
- 4B 模型量化至 2GB（如 MiniCPM 3.0），NPU 内存占用降低 70%。
- 工具链生态：
- Ollama + IPEX-LLM：200MB 整合包开箱运行（魔搭社区下载）；
- LM Studio：图形化部署 Qwen/DeepSeek 量化版（支持 AMD NPU）。