返回首页
标签聚合

本地部署

本地部署 领域的最新 AI 动态与独家辣评，共 11 篇

ProductHunt

Zumbo 上手实测：Mac 上的本地语音转文字开源工具

  • Zumbo 是开源的 macOS 听写应用，用本地 AI 模型把语音转文字，一次买断即可使用
  • 官方称从说完到文字上屏约 0.2 秒，内置 21 个词库，覆盖开发、法律、医疗与设计场景
  • 支持在各类应用中输入并提供会议模式，GitHub 仓库 claudiusararu/zumbo 可查看与构建
20 天前访问原文链接
Ollama

Ollama 本地部署决策模型：Nimble 9B 实测

  • Ollama 0.35 新增 /v1/systemone 接口，一次请求就能回答一组带类型的判断问题
  • 上线 nimble（Bespoke Labs 开源 9B），以及 Together AI 的 tev1 两个决策模型
  • 官方称 Nimble 9B 在 M5 Max 本地平均每次决策 91ms，可用于工单分流、模型路由与内容审核
20 天前访问原文链接
HackerNews

llama.cpp 提速 42 倍：本地推理优化实测

  • 开发者 Hayder Tirmazi 重构 llama.cpp 的 n-gram 缓存，草稿生成最快提速 42 倍。
  • 静态缓存加载从 3.76 秒压到 0.23 秒，541MB 缓存峰值内存从 1.71GB 降到 1.31GB。
  • 改动三处：内层 map 改引用读取、换 ankerl::unordered_dense、静态缓存改 constmap。
22 天前访问原文链接
Ollama

Ollama 0.30 开源：GGUF 本地部署与核心亮点

  • Ollama 0.30 借 llama.cpp 增强 GGUF 兼容性，NVIDIA 硬件上吞吐最高提升 20%
  • Vulkan 默认开启，GPU 加速扩展到 AMD、Intel 硬件，无需再单独安装厂商库
  • 支持 LFM、Prism、Unsloth 等更多模型与微调版本，GGUF 同样保留工具调用能力
  • 可把 GGUF 模型接进 coding agent：ollama launch claude 加模型名即可
27 天前访问原文链接
Ollama

Ollama MLX 深度实测：Mac 本地推理提速 20%

  • Ollama 更新 MLX 引擎，Apple Silicon 输出速度最高提升 20%
  • 新增 NVIDIA NVFP4 量化支持，官方称把 Gemma 4 12B 的 4bit 量化质量损失减半
  • 引入快照机制，多 Agent、思考模型、分支重试可复用上下文，避免重复处理 prompt
  • 启动方式 ollama run gemma4:12b-mlx，或一条命令把模型接进 agent
27 天前访问原文链接
Ollama

OpenJarvis 开源：本地优先的个人 AI 好用吗

  • 斯坦福 Hazy Research 等实验室开源 OpenJarvis v1.0，定位本地优先的个人 AI 框架
  • 内置 Ollama 支持，模型默认本地运行、云端可选，同时记录能耗、成本与延迟
  • 自带跨文件研究（返回引用）与本地代码助手两种预设 Agent
29 天前访问原文链接
Ollama

Gemma 4 深度实测：Mac 上代码 Agent 提速 90%

  • Ollama 0.31 为 Gemma 4 开启多 token 预测（MTP），Apple Silicon 上默认生效
  • 做法是用小型草稿模型猜若干 token，主模型一次校验并采纳同意的部分
  • 官方用 Aider polyglot 真实编码 Agent 基准测得平均提速近 90%，且不改变输出
29 天前访问原文链接
Ollama

Nemotron 3.5 实测：30B 模型本地跑 Agent

  • NVIDIA 的 Nemotron 3.5 Lightning 上架 Ollama，30B 总参数仅 3B 激活
  • 官方称同级开源模型中吞吐高 4 倍，任务完成时间快 30%
  • 支持 1M 上下文，主打常驻 Agent 的读文件、调工具与失败重试
29 天前访问原文链接
HackerNews

Mini-AGI 开源：8GB 显存从零训练持续学习模型

  • mini-AGI 是字节级持续学习模型，MIT 协议，单张 8GB 显卡就能从头训练
  • 权重以普通文件存盘、按需换入显存，参数量上限取决于磁盘而不是显存
  • 训练中模型自行增减专家，作者称未出现灾难性遗忘，但明确标注仍是玩具级
29 天前访问原文链接
HackerNews

System76 推出 192GB 显存 AI Linux 工作站

  • System76 发布 Thelio Mira AI 工作站，最高支持 192GB GPU 显存
  • 面向本地大模型推理与训练场景，预装 Linux 环境
  • 主打开发者与团队可私有化部署 AI 算力
1 个月前访问原文链接
HackerNews

TradingSpy：本地运行、隐私优先的开源 AI 交易助手

  • TradingSpy 是一个完全在本地运行的开源 AI 交易助手，强调用户数据隐私保护，所有分析在本地完成不上传云端
  • 项目集成了本地大模型进行市场数据分析、交易信号生成和策略回测，首批开源版本支持股票和加密货币
  • GitHub 已开源完整代码，定位为「隐私优先」的 AI 金融工具，面向不想将交易数据交给第三方 API 的用户
3 个月前访问原文链接