几天前我干了件挺有意思的事——在自己的 M2 MacBook Air 上搭了一套全本地的 AI 助手,用它来整理人生经历。不是云端大模型,不联网,所有数据留在自己电脑上。
装上之后我做了个小实验:把过去几年的经历一点点讲给它听,让它帮我梳理脉络、提炼主题。效果超出预期,像是在和一个有耐心、有洞察力的朋友聊天。而且因为是本地运行,深夜窝在沙发上打开电脑就能聊,不用考虑 API 费用,不怕隐私外泄。
整个过程涉及四个工具:Ollama(模型运行引擎)→ Qwen 大模型(阿里通义千问)→ HanaAgent(桌面 AI 客户端)。

我的硬件

  • MacBook Air M2
  • 内存 16GB(统一内存,也就是 GPU 和 CPU 共用)
  • 无风扇(被动散热)
16GB 跑本地大模型属于「刚好够用但不富裕」的级别。如果你也是这个配置,我的调参经验应该可以直接照搬。

第一步:安装 Ollama + 拉取模型

Ollama 是目前跑本地大模型最方便的工具,没有之一。
接下来拉取三个模型:
  1. 主对话模型 — Qwen3 14B
  1. 轻量任务模型 — Qwen3 8B
  1. 视觉模型 — Qwen3-VL 8B
模型拉下来约 20GB。

第二步:自定义模型参数(关键!)

Ollama 默认上下文窗口只有 4096 token,太短了。8B 拉到 32768,14B 拉到 16384。

第三步:内存优化

加到 ~/.zshrc。用完自动卸载。

第四步:安装 HanaAgent

选择 macOS arm64 版 .dmg。

第五步:配置 4 个模型槽位

槽位
用途
我用的模型
对话模型
主对话
qwen3-16k:14b
小工具模型
分类、提取等
qwen3-32k:8b
大工具模型
深度分析
qwen3-16k:14b
视觉模型
处理图片
qwen3-vl:8b-instruct-q4_K_M
Settings → Model Provider → 选 Ollama → Base URL http://localhost:11434/v1。
记得打开辅助视觉开关。

使用场景:和 AI 聊聊人生

我把它当「人生整理师」,WorkBuddy 做日常工作。安静、私密、免费。

避坑指南

  1. 上下文长度 — 按上面改到 16k/32k
  1. M2 Air 无风扇 — 14B 连续跑会降频
  1. 视觉模型别忘了开
  1. 磁盘至少预留 30GB
苹果美区日区台湾账号小火箭Apple ID 共享说明Google.cn 访问不了?换个 DNS 秒解决
Loading...