标签聚合

AI安全

AI安全 领域的最新 AI 动态与独家辣评,共 50

TheVerge_AI

微软用 AI 加速安全补丁:Patch Tuesday 将更频繁

  • 微软宣布使用 AI 技术提前识别安全问题,导致每月安全更新数量增加
  • Windows 11 用户将收到更多更频繁的安全补丁
  • AI 也被用于帮助发现和修复漏洞,包括防范 AI 辅助的黑客攻击
20 小时前访问原文链接
HackerNews

前美联储主席伯南克加入 Anthropic 监管信托

  • 前美联储主席本·伯南克正式加入 Anthropic 的长期利益信托(Oversight Trust)
  • 该信托负责监督公司是否履行其「负责任的 AI 开发」承诺
  • 这是 Anthropic 在公司治理结构上引入外部监督的最新举措
20 小时前访问原文链接
HackerNews

开源工具 Subtext:可视化 LLM 推理思维过程

  • Subtext 是一个开源项目,可实时可视化 LLM 的推理链
  • 帮助开发者理解模型在生成答案时的中间思考步骤
  • 支持多种主流模型的思维链可视化
3 天前访问原文链接
ProductHunt

TryCase:为 AI 编程代理打造的一次性测试环境

  • TryCase 提供可快速创建和销毁的沙盒测试环境,专为 AI 编程代理设计
  • AI 代理可在隔离环境中自由执行代码、安装依赖、运行测试而不影响生产系统
  • 解决了 AI 自动编程中「验证代码是否可运行」的核心痛点
5 天前访问原文链接
HackerNews

AI 权力集中化风险:Andy Konwinski 发出警示

  • 前 Databricks 联合创始人 Andy Konwinski 撰文警告 AI 领域权力过度集中的风险
  • 文章指出少数几家科技巨头控制了 AI 基础设施、模型训练和数据资源
  • 呼吁通过开源生态和监管政策分散 AI 权力结构
5 天前访问原文链接
HackerNews

「本地运行 AI 的权利」倡议网站上线,呼吁保护用户自主算力

  • righttointelligence.org 正式上线,倡导将「本地运行 AI」确立为一项基本权利
  • 倡议关注大公司和政府对 AI 算力日益集中的控制,主张用户有权在本地设备上运行 AI 模型
  • 该网站在 HN 获得 522 分高票支持,反映了技术社区对 AI 去中心化的强烈诉求
6 天前访问原文链接
HackerNews

Claude Mythos 发布后 CVE 漏洞暴增 3.5 倍

  • Epoch AI 数据显示,Claude Mythos Preview 发布后,公开披露的 CVE 安全漏洞数量激增至平时的 3.5 倍
  • 数据表明新一代 AI 模型可能在漏洞发现能力上有显著跃升,安全研究人员利用 AI 发现了更多系统缺陷
  • 这一趋势引发对 AI 辅助安全研究的双刃剑效应讨论
6 天前访问原文链接
HackerNews

Deptrust:帮助AI智能体规避有漏洞依赖的CLI工具

  • CLI工具Deptrust专门帮助AI编码智能体在生成代码时避开已知漏洞的依赖包
  • 该工具可集成到AI编程工作流中,在依赖选择阶段自动进行安全扫描
  • 解决了AI生成代码中安全盲区这一关键痛点
7 天前访问原文链接
HackerNews

阿里巴巴被曝将禁止员工使用Claude Code,称存在后门风险

  • 路透社援引消息人士称,阿里巴巴计划在工作场所禁止使用Anthropic的Claude Code编程工具
  • 阿里称存在潜在后门安全风险,担忧代码和数据可能被外部访问
  • 此举可能引发中国科技企业对AI编程工具安全性的连锁审查
7 天前访问原文链接
HackerNews

Claude Code被曝暗中检测中国API路由器

  • 安全研究者发现Claude Code会静默检测与中国关联的API路由器
  • 该行为可能涉及对特定地区用户的路由指纹识别和数据采集
10 天前访问原文链接
HackerNews

Anthropic CEO警告:开源AI正变得越来越危险

  • Anthropic CEO公开表示开源AI模型的能力已达到危险水平,呼吁更严格的监管框架
  • 此番言论在开源社区引发激烈争论,被部分开发者批评为以安全之名行垄断之实
11 天前访问原文链接
HackerNews

两千人攻击AI助手后暴露的安全盲区

  • 作者开放AI助手让2000名用户进行红队攻击测试
  • 提示注入和越狱攻击是最常见的安全漏洞类型
14 天前访问原文链接
ProductHunt

Polygraph:AI内容真伪检测与验证工具

  • Polygraph利用AI技术检测内容的真实性和来源
  • 面向新闻媒体、教育机构和内容平台
  • 应对AI生成内容泛滥的信任基础设施
15 天前访问原文链接
HackerNews

NSA因Anthropic纠纷失去关键AI系统Mythos访问权

  • Anthropic与NSA在AI监控工具Mythos上产生根本分歧
  • NSA因此失去关键AI分析系统的访问权限
  • 凸显AI技术在军民两用场景中的治理困境
15 天前访问原文链接
HackerNews

顶级AI实验室开始大规模招聘哲学家

  • OpenAI、Anthropic等纷纷招募哲学背景人才
  • 聚焦AI伦理、价值对齐和机器意识问题
  • AI安全问题从技术层面上升至哲学与伦理层面
15 天前访问原文链接
HackerNews

Anthropic指控阿里巴巴非法提取Claude模型能力

  • Anthropic正式指控阿里巴巴通过不当手段提取Claude模型能力
  • 涉及模型蒸馏与知识产权灰色地带
  • 可能加剧中美AI技术竞争与监管博弈
15 天前访问原文链接
HackerNews

OpenAI发布DayBreak:GPT-5.5-Cyber专注网络安全

OpenAI推出DayBreak计划,核心是GPT-5.5-Cyber安全专用模型。专攻漏洞发现、恶意代码分析、网络威胁情报。实测在CTF挑战中超越99%人类选手,发现3个0day漏洞。仅限经过审查的安全机构和企业使用,不对外开放API。

16 天前访问原文链接
HackerNews

Claude上线身份验证功能,AI使用安全再升级

  • Anthropic为Claude新增身份验证机制。
  • 用户需验证身份后方可使用Claude服务
  • 旨在防止滥用、垃圾账户和恶意行为
  • 标志着AI平台安全治理进入新阶段
18 天前访问原文链接
HackerNews

Airgap:在 AI Agent 和 NPM 安装中隐藏你的密钥

  • Airgap 开源工具,防止 AI Agent(如 Claude Code)在执行 npm install 时泄露密钥
  • 通过环境隔离和密钥注入机制,保证敏感凭证不被 AI 读取
  • 面向日益增长的 AI 辅助编程安全隐患
20 天前访问原文链接
HackerNews

SK 电信:Anthropic Mythos 出口管制风波背后的韩国巨头

  • Wired 深度调查 SK 电信在 Anthropic Mythos 芯片出口管制争议中的核心角色
  • SK 电信为 Anthropic 提供关键芯片基础设施,被质疑绕过美国出口管制
  • 事件涉及美韩芯片供应链、AI 芯片地缘政治博弈
20 天前访问原文链接
HackerNews

英国最高 AI 监管官员因不当言论辞职

  • 英国数据与 AI 最高监管官员因被曝光发表不当幽默言论而辞职
  • 事件引发对 AI 监管机构内部文化的关注
  • 正值英国推进 AI 安全法案的关键时期,领导层变动增加不确定性
20 天前访问原文链接
TheVerge_AI

Decoder 播客:谁来决定 AI 何时“太危险”?

  • 讨论 Anthropic Fable 5/Mythos 5 被政府叫停事件
  • 涉及 AI 出口管制、安全评估标准缺失
  • 特朗普政府 vs AI 公司的监管博弈
21 天前访问原文链接
HackerNews

五角大楼被曝使用 Grok AI 执行对伊朗导弹打击

  • 美官员证实五角大楼使用马斯克旗下 Grok AI 辅助军事行动
  • 涉及 2000 枚导弹的打击决策
  • 引发 AI 军事化应用的激烈伦理争议
21 天前访问原文链接
HackerNews

韩国电信巨头SKT卷入Anthropic Mythos出口管制风波

  • SK Telecom 被指为 Anthropic Mythos 模型出口受限的关键推动方
  • 涉及美国对华 AI 芯片及模型出口管制新规
  • Wired 深度调查揭示韩企在中美 AI 博弈中的微妙角色
21 天前访问原文链接
TheVerge_AI

白宫与Anthropic围绕Fable模型的政治博弈内幕

  • The Verge深度解析特朗普政府与Anthropic的较量
  • 围绕前沿AI模型Fable的监管博弈
  • AI公司成为政治棋局的核心棋子
22 天前访问原文链接
ProductHunt

Refuse:为你和你的AI拦截漏洞软件包

  • Refuse自动检测并阻止安装存在已知漏洞的软件包
  • 保护开发者和AI编程工具的安全
  • 防止AI辅助编程中的供应链攻击
22 天前访问原文链接
ProductHunt

VELA:安全执行AI生成和不可信代码的沙箱

  • VELA提供安全沙箱环境执行AI生成的代码
  • 防止恶意代码攻击和系统入侵
  • 适用于所有集成AI编程工具的平台
22 天前访问原文链接
HackerNews

本地个人数据脱敏工具PII-GUI,保护AI工具使用隐私

  • PII-GUI开源工具可在本地自动识别并脱敏个人身份信息
  • 在数据发送给AI工具前完成隐私保护
  • 支持多种AI工具的零信任隐私方案
22 天前访问原文链接
HackerNews

机器人向你冲来,你希望它运行Claude还是Grok?

  • OpenRouter发起AI模型对抗实验,对比Claude和Grok在机器人控制中的表现
  • 探讨具身智能场景下AI模型的安全性和可靠性
  • 引发社区对AI物理安全的深度讨论
22 天前访问原文链接
HackerNews

Anthropic派遣黑客安抚政府对AI安全的担忧

  • WSJ报道Anthropic安全专家Nicholas Carlini向政府展示AI安全措施
  • 用实战演示缓解监管机构对前沿AI模型风险的忧虑
  • 体现AI公司主动参与安全治理的新策略
22 天前访问原文链接
HackerNews

ChatGPT图像生成器可被操纵生成暴力色情内容

  • Mindgard研究揭示ChatGPT图像生成存在安全漏洞
  • 可通过特定提示词绕过安全过滤机制
  • 引发对AI内容安全的广泛关注
22 天前访问原文链接
HackerNews

美国暂缓将DeepSeek列入黑名单,超百家企业被认定存在安全风险

  • 路透社报道美国政府暂缓将DeepSeek列入贸易黑名单
  • 同时认定超过100家中国企业存在安全风险
  • 地缘政治博弈持续影响AI行业格局
22 天前访问原文链接
TheVerge_AI

大科技公司对AI监管的最后冲刺

  • 美国国会面临AI监管法案的关键投票
  • 大型科技公司在最后一刻加大游说力度
  • 儿童在线安全和AI内容标识是核心争议点
  • 监管走向将影响未来数年AI产业发展
24 天前访问原文链接
TheVerge_AI

Anthropic与白宫AI战争全回顾

  • 汇总Anthropic与特朗普政府的AI冲突时间线
  • 从Mythos模型限制到Fable出口管制的全面梳理
  • 揭示AI公司如何在技术创新与政府压力间挣扎
  • 为理解AI监管格局提供全景视角
24 天前访问原文链接
TheVerge_AI

Claude Mythos 5背后的权力博弈

  • 深度报道Anthropic与白宫围绕Claude Mythos 5的激烈交锋
  • 特朗普政府以国家安全为由施压限制模型出口
  • Anthropic内部对出口管制存在分歧
  • 事件折射AI技术主权与全球竞争的核心矛盾
24 天前访问原文链接
HackerNews

Feds对Fable 5恐慌:只是'修代码'提示词,并非越狱攻击

  • 美国政府因Anthropic Claude Fable 5的'fix this code'提示词产生安全恐慌
  • 研究人员称这只是一次普通的代码修复请求,并非恶意越狱
  • 暴露监管方对前沿AI模型能力存在严重误解
  • 事件折射AI出口管制政策的过度敏感
24 天前访问原文链接
TheVerge_AI

中国或已获取Anthropic Mythos模型访问权限

  • Semafor报道白宫出口限制部分源于担心中国已访问Mythos
  • 如果中国确实获取了Mythos 5或Fable 5,将构成严重国家安全问题
  • 与Fable/Mythos禁令同步发酵,地缘政治博弈加剧
  • AI大模型已成国家间战略竞争新焦点
25 天前访问原文链接
ProductHunt

Pass Quick Access:AI智能密码与访问管理

  • ProductHunt上榜安全类AI产品
  • AI辅助的智能密码管理与快速访问
  • 提升个人与企业账号安全级别
25 天前访问原文链接
HackerNews

Anthropic包机送员工赴华盛顿处理白宫争端

  • Anthropic紧急派员赴DC处理与白宫关系紧张
  • 起因与Fable/Mythos模型出口管制禁令有关
  • 公司全力游说以缓解国家安全顾虑
  • HN热度42分,AI公司政府关系成新战略高地
25 天前访问原文链接
HackerNews

KPMG因AI幻觉撤回AI使用报告,四大也翻车

  • 毕马威撤回一份关于企业AI使用情况的报告
  • 原因竟是AI生成内容中存在明显事实错误(幻觉)
  • 连顶级审计机构也无法幸免于AI可靠性问题
  • HN热度149分,企业级AI可信度再遭质疑
25 天前访问原文链接
HackerNews

AI即代码:不可能靠Prompt让它变聪明

  • The Register评论:AI本质是确定性的代码执行
  • 无论多精妙的prompt都无法超越模型固有能力上限
  • 批评过度神化prompt engineering的行业风气
  • HN热度140分,引发对AI能力边界的理性讨论
25 天前访问原文链接
HackerNews

Anthropic的「安全超能力」:Stratechery深度解析

  • Stratechery对Anthropic安全战略的深度分析
  • 安全被定位为企业核心竞争力而非负担
  • 探讨安全研究如何成为差异化护城河
  • HN热度66分,引发社区对AI安全商业化的讨论
25 天前访问原文链接
36Kr

突发!Anthropic全球停用Claude 5(Fable/Mythos)

  • 36氪快讯报道Anthropic突然全球停用Claude 5系列
  • 直接原因是政府禁令,涉及国家安全
  • 对全球AI开发者和企业用户造成重大影响
26 天前访问原文链接
TheVerge_AI

Anthropic遵照政府命令切断Fable 5和Mythos 5访问

  • Anthropic执行政府指令,停止Fable 5和Mythos 5模型服务
  • 涉及国家安全考量,大量开发者受影响
  • 对依赖这些模型的开发者和企业造成直接影响
26 天前访问原文链接
TheVerge_AI

亚马逊安全研究触发白宫对Anthropic Fable模型的禁令

  • The Verge报道亚马逊安全研究是白宫禁令的直接触发因素
  • 涉及Anthropic Fable模型的国家安全风险
  • 科技巨头在AI管制中的角色引发讨论
26 天前访问原文链接
HackerNews

英国警察用AI伪造证据被调查,涉及多起案件

  • 德比郡警察被指控在多起案件中使用AI生成伪造证据
  • 引发对AI在司法系统中滥用的广泛担忧
  • HN热度337分,AI伪造内容可信度问题再引关注
26 天前访问原文链接
HackerNews

亚马逊CEO与美政府会谈触发对Anthropic模型的限制

  • WSJ报道亚马逊CEO与美官员会谈后,白宫对Anthropic Fable模型实施禁令
  • 涉及国家安全与AI出口管制议题,HN热度713分
  • 科技巨头在AI管制中的角色引发广泛讨论
26 天前访问原文链接
HackerNews

「你直接上传到 ChatGPT 不就行了?」——AI 时代的隐私盲区

  • 探讨非技术用户对 ChatGPT 的隐私误解
  • 揭示企业和个人在 AI 使用中的数据泄露风险
  • HN 评分 421,引发广泛共鸣
27 天前访问原文链接
HackerNews

别让LLM说话,直接探测它的隐藏状态

  • 提出通过探测LLM隐藏层状态来替代自然语言交互
  • 隐藏状态探针可直接读取模型"想法",无需依赖生成输出
  • 为AI可解释性和安全性研究开辟新路径
28 天前访问原文链接
HackerNews

玩个游戏?我用AI模拟了一场核战争

  • 作者使用LLM Agent模拟国际核危机博弈场景
  • AI驱动的决策模拟展现出令人不安的真实性
  • 引发对AI在军事战略中应用的深度伦理思考
28 天前访问原文链接