HackerNews

250美元FPGA上运行微型LLM，推理速度21000 tok/s

• 开发者展示了在250美元FPGA上运行LLM的原型，达到21000 tok/s
• 使用KV260 FPGA开发板实现完全离线推理，功耗极低
• 该方案展示了专用硬件替代GPU运行AI模型的可行路径

23 天前访问原文链接

HackerNews

50 美元 Arduino 实现本地 AI 语音代理，边缘设备迎来智能革命

• 开发者使用 50 美元的 Arduino Uno Q 在本地运行 AI 语音代理，无需云端连接
• 结合边缘 AI 芯片实现语音识别和自然语言处理，可应用于零售交互等场景
• 极低成本证明边缘 AI 部署的可行性，为 IoT 设备智能化提供新思路

29 天前访问原文链接

36Kr

网格智算：不堆算力的AI大脑如何填补林下场景空白

• 「网格智算」提出不依赖大规模算力堆砌的AI计算方案
• 聚焦林下等特殊场景的AI应用，利用边缘智能填补传统方案空白
• 展示了一条有别于Scaling Law的技术路径

1 个月前访问原文链接

HackerNews

小模型逆袭：在网络不稳定地区展现独特优势

• IEEE Spectrum 报道小型 AI 模型在制药等领域的落地应用
• 小模型在网络连接不稳定的偏远地区表现出更强的可用性
• 边缘计算 + 本地小模型的组合在医疗领域展现实际价值

1 个月前访问原文链接