#Mac #AI #GitHub情报

🐥 TurboFieldfare：用 2 GB 内存在任意 M 系列 Mac 上运行 Gemma 4 26B

一套纯 Swift + Metal 自研推理引擎，把 14.3 GB 的 MoE 大模型装进约 2 GB 内存，让 8 GB 的 MacBook Air 也能本地跑 26B 模型

✨ 特点

- 2 GB 内存跑 26B 模型：利用 Gemma 4 26B-A4B 的混合专家架构，每个 token 只激活约 3.88B 参数，常驻内存仅保留共享核心与 KV 缓存，其余专家权重按需从 SSD 流式读取。
- 不是 MLX 或 llama.cpp 的封装，针对 Gemma 4 的层结构从零编写的运行时，自研全部 Metal kernel（量化 GEMV、注意力、MoE、采样与融合算子）
- 同一份 .gturbo 模型可供原生 Mac 应用、命令行工具和本地 OpenAI 兼容服务器三种方式使用，服务器支持流式输出、函数工具调用和提示词前缀复用
- 从 Hugging Face 按字节区间边下边重打包，全程不落完整源文件，约 15 GB 传输量直接生成带哈希校验的本地模型
- 可选视觉扩展包：额外安装 1.1 GB 的视觉塔即可让应用、命令行和服务器统一支持图片输入（需 M2 及以上）
- 103 个公开实验记录：仓库完整记录了 kernel、缓存、I/O、预填充等方向上成功与失败的全部实验

⚙️ 机制

TurboFieldfare 的核心思路是「让不该进内存的权重留在 SSD 上」。运行时常驻约 1.35 GB 共享核心（注意力、路由器、词嵌入和共享专家）加 FP16 KV 缓存（4K 上下文约 305 MiB）；每层 128 个路由专家（共 30 层、约 12.9 GB）留在磁盘，由路由器每 token 选出 top-8，先查询该层 16 槽 LFU 缓存，未命中的用有界并行 pread 读入 Metal 可见缓冲区，同时 GPU 并行计算常驻的共享专家分支，I/O 与计算相互掩盖。预填充按最多 128 token 分块，让一次读取的专家服务多行计算。作者实测显式 pread 比 mmap 被动缺页快得多：冷读单个 3.36 MB 专家 2.8 ms 对 10 ms，整体吞吐 4 tok/s 对 0.5 tok/s；约 41% 的专家会在下一个 token 复用，16 槽缓存命中率约 67%。

主要依赖：仅 3 个外部包。swift-transformers（分词）、swift-nio（服务器）、SwiftMath（公式渲染），其余全部自研。

实测性能：8 GB M2 MacBook Air 解码 5.1–6.3 tok/s，24 GB M5 Pro 达 31–35 tok/s（同机 mlx-lm 为 76–82 tok/s，但需要 8–10 GB 常驻内存与约 15 GB GPU 分配）。差距主要来自 M5 三倍于 M4 的 SSD 读取带宽。运行要求 macOS 26、Metal 4、Swift 6.2，仅支持 Apple Silicon。

👨🏻‍💻 使用场景

- 8 GB 入门款 Mac 用户跑大模型：最便宜的 M2 MacBook Air 也能本地运行 26B 级模型做草稿撰写、摘要和问答，不用为了本地推理专门升级 32 GB 以上的机器
- 开发者接入本地 OpenAI 接口：服务器监听本机 8080 端口，把 OpenCode 或任意 OpenAI SDK 的 base URL 指过来，即可零 API 成本地调试提示词、函数工具调用等流程
- 保护隐私的离线办公：模型装好后完全离线运行，处理合同、病历、内部文档等敏感材料时数据不出本机
- 端侧推理工程学习：实验记录加系统设计文档完整展示了 mmap 与 pread 的取舍、专家缓存策略、I/O 与 GPU 重叠等决策过程，适合想学 Metal 推理优化的工程师
- 多任务并行的轻量后台:推理只占 2 GB 内存，可以边开着浏览器、IDE 和设计软件边让模型在后台生成，不会挤爆内存

🖊 作者背景
Andrey Mikhaylov - Senior iOS & Metal 工程师

- Lapse（伦敦社交相机应用，总融资 $42.3M）：资深 iOS、Metal 与相机工程师（2024 至今）。负责月处理约 1 亿资产的媒体管线，自建 Metal 实时照片视频管线，吞吐为原 Core Image 方案 10 倍
- Prisma Labs（Prisma、Lensa 开发商）：资深 iOS 与 Metal 工程师、视频团队技术负责人（2021–2024）。构建端侧实时人脸修饰管线，老设备上 17 ms/帧

项目名取自他最喜欢的鸟，田鸫（fieldfare）。

频道:@NewlearnerChannel

#App #GitHub情报 #AI

🌐 ego(lite)：让 AI Agent 带着你的登录状态，在独立工作区里操作网页

🔗：官网 | GitHub | 下载

把日常浏览器交给现有 Agent 使用，同时保留自己的标签页和操作空间。

✨ 特点

1. 复用登录状态：导入浏览器的 Cookie、密码、书签和扩展，让 Agent 访问已经登录的页面。导入是复制，之后两边新增的登录状态不会自动同步。
2. 人和 Agent 分开工作：Agent 在独立 Space 中打开网页和执行任务，用户可以查看过程或接管。多个任务可并行，实际容量取决于电脑资源。
3. 兼容现有 Agent：通过 ego-browser skill 接入能运行 shell 命令的 Agent，不必改用浏览器自带的模型或聊天入口。
4. 一次提交多步操作：Agent 可以编写 JavaScript，把导航、等待、提取与交互组织在同一段程序中，减少反复调用工具的开销。
5. 面向复杂页面：官方称定制的 Chromium 快照能够覆盖 iframe、Shadow DOM 和嵌入式组件。

平台方面，目前提供 macOS Intel、Apple Silicon 版本和 Windows beta，Linux 尚在计划中。

⚙️ 机制

Agent 负责理解任务和编写操作代码，浏览器提供执行环境。Node.js 工具层调用浏览器原生接口，通过 CDP 语义完成页面操作，返回结构化快照、结果或截图。快照中的元素引用帮助定位操作目标。

官方在 31 个真实网站任务中报告，平均耗时 398 秒、完整成功率 93.5%、平均每次任务成本 1.64 美元。各工具使用相同的 pi Agent、同一模型及最高推理档位，按同一套逐任务标准评分。

👨🏻‍💻 使用场景

1. 研究人员整理登录后的资料：在获授权的资料库中读取文章、记录来源链接，再汇总为本地笔记，减少反复登录和复制。
2. 销售人员整理潜在客户：从已登录的客户后台读取公司、职位与联系记录，生成待核对清单，处理缺少导出功能的页面。
3. 开发者检查内部系统：沿用测试账号运行表单、筛选和页面跳转流程，保存结果与截图，方便定位登录后才出现的问题。
4. 运营人员收集账单：从多个商户后台下载发票并整理订单信息，将需要人工判断的差异保留下来。

🛣 路线图

官方将继续推进可复用技能、承载不同 Agent 的 Browser ACP，以及加强浏览器控制列为；操作 Electron 与原生应用、支持 Linux 正在计划中。

💬 社区评价

本次直接读取 GitHub API 的快照为 20,161 个 Stars、1,125 个 Forks。

Roki Ran，技术博客作者，2026 年 7 月 23 日：

作者测试了登录继承、表单、iframe 和并行 Space，同时发现复杂页面快照仍可能很大。其结果支持功能具有实用性，不是所有页面都只需要几百个 token。

💰 定价

个人版免费，提供 macOS 和 Windows 客户端，无需创建账号；Business 面向团队提供定制报价，未公布固定价格。使用者自行承担所选 Agent 或模型的费用，

🙋‍♂️ 感想

目前大部分 AI 已经可以直接操作你的浏览器，同时操作是在后台，不打扰你前台的使用。并且可以复用用户的登录状态。Ego 在速度和成本上目前看起来有优势。同时可以支持几个 AI 同时使用浏览器， 而且方便用户观察。

频道：@NewlearnerChannel