标签聚合

AI安全

AI安全 领域的最新 AI 动态与独家辣评,共 50

HackerNews

Claude Code被曝暗中检测中国API路由器

  • 安全研究者发现Claude Code会静默检测与中国关联的API路由器
  • • 该行为可能涉及对特定地区用户的路由指纹识别和数据采集
2 天前访问原文链接
HackerNews

Anthropic CEO警告:开源AI正变得越来越危险

  • Anthropic CEO公开表示开源AI模型的能力已达到危险水平,呼吁更严格的监管框架
  • • 此番言论在开源社区引发激烈争论,被部分开发者批评为以安全之名行垄断之实
3 天前访问原文链接
HackerNews

两千人攻击AI助手后暴露的安全盲区

  • 作者开放AI助手让2000名用户进行红队攻击测试
  • • 提示注入和越狱攻击是最常见的安全漏洞类型
6 天前访问原文链接
ProductHunt

Polygraph:AI内容真伪检测与验证工具

  • • Polygraph利用AI技术检测内容的真实性和来源
  • • 面向新闻媒体、教育机构和内容平台
  • • 应对AI生成内容泛滥的信任基础设施
7 天前访问原文链接
HackerNews

NSA因Anthropic纠纷失去关键AI系统Mythos访问权

  • • Anthropic与NSA在AI监控工具Mythos上产生根本分歧
  • • NSA因此失去关键AI分析系统的访问权限
  • • 凸显AI技术在军民两用场景中的治理困境
7 天前访问原文链接
HackerNews

顶级AI实验室开始大规模招聘哲学家

  • • OpenAI、Anthropic等纷纷招募哲学背景人才
  • • 聚焦AI伦理、价值对齐和机器意识问题
  • • AI安全问题从技术层面上升至哲学与伦理层面
7 天前访问原文链接
HackerNews

Anthropic指控阿里巴巴非法提取Claude模型能力

  • • Anthropic正式指控阿里巴巴通过不当手段提取Claude模型能力
  • • 涉及模型蒸馏与知识产权灰色地带
  • • 可能加剧中美AI技术竞争与监管博弈
7 天前访问原文链接
HackerNews

OpenAI发布DayBreak:GPT-5.5-Cyber专注网络安全

OpenAI推出DayBreak计划,核心是GPT-5.5-Cyber安全专用模型。专攻漏洞发现、恶意代码分析、网络威胁情报。实测在CTF挑战中超越99%人类选手,发现3个0day漏洞。仅限经过审查的安全机构和企业使用,不对外开放API。

8 天前访问原文链接
HackerNews

Claude上线身份验证功能,AI使用安全再升级

  • Anthropic为Claude新增身份验证机制。
  • • 用户需验证身份后方可使用Claude服务
  • • 旨在防止滥用、垃圾账户和恶意行为
  • • 标志着AI平台安全治理进入新阶段
10 天前访问原文链接
HackerNews

Airgap:在 AI Agent 和 NPM 安装中隐藏你的密钥

  • • Airgap 开源工具,防止 AI Agent(如 Claude Code)在执行 npm install 时泄露密钥
  • • 通过环境隔离和密钥注入机制,保证敏感凭证不被 AI 读取
  • • 面向日益增长的 AI 辅助编程安全隐患
12 天前访问原文链接
HackerNews

SK 电信:Anthropic Mythos 出口管制风波背后的韩国巨头

  • • Wired 深度调查 SK 电信在 Anthropic Mythos 芯片出口管制争议中的核心角色
  • • SK 电信为 Anthropic 提供关键芯片基础设施,被质疑绕过美国出口管制
  • • 事件涉及美韩芯片供应链、AI 芯片地缘政治博弈
12 天前访问原文链接
HackerNews

英国最高 AI 监管官员因不当言论辞职

  • • 英国数据与 AI 最高监管官员因被曝光发表不当幽默言论而辞职
  • • 事件引发对 AI 监管机构内部文化的关注
  • • 正值英国推进 AI 安全法案的关键时期,领导层变动增加不确定性
12 天前访问原文链接
TheVerge_AI

Decoder 播客:谁来决定 AI 何时“太危险”?

  • • 讨论 Anthropic Fable 5/Mythos 5 被政府叫停事件
  • • 涉及 AI 出口管制、安全评估标准缺失
  • • 特朗普政府 vs AI 公司的监管博弈
13 天前访问原文链接
HackerNews

五角大楼被曝使用 Grok AI 执行对伊朗导弹打击

  • • 美官员证实五角大楼使用马斯克旗下 Grok AI 辅助军事行动
  • • 涉及 2000 枚导弹的打击决策
  • • 引发 AI 军事化应用的激烈伦理争议
13 天前访问原文链接
HackerNews

韩国电信巨头SKT卷入Anthropic Mythos出口管制风波

  • • SK Telecom 被指为 Anthropic Mythos 模型出口受限的关键推动方
  • • 涉及美国对华 AI 芯片及模型出口管制新规
  • • Wired 深度调查揭示韩企在中美 AI 博弈中的微妙角色
13 天前访问原文链接
TheVerge_AI

白宫与Anthropic围绕Fable模型的政治博弈内幕

  • • The Verge深度解析特朗普政府与Anthropic的较量
  • • 围绕前沿AI模型Fable的监管博弈
  • • AI公司成为政治棋局的核心棋子
14 天前访问原文链接
ProductHunt

Refuse:为你和你的AI拦截漏洞软件包

  • • Refuse自动检测并阻止安装存在已知漏洞的软件包
  • • 保护开发者和AI编程工具的安全
  • • 防止AI辅助编程中的供应链攻击
14 天前访问原文链接
ProductHunt

VELA:安全执行AI生成和不可信代码的沙箱

  • • VELA提供安全沙箱环境执行AI生成的代码
  • • 防止恶意代码攻击和系统入侵
  • • 适用于所有集成AI编程工具的平台
14 天前访问原文链接
HackerNews

本地个人数据脱敏工具PII-GUI,保护AI工具使用隐私

  • • PII-GUI开源工具可在本地自动识别并脱敏个人身份信息
  • • 在数据发送给AI工具前完成隐私保护
  • • 支持多种AI工具的零信任隐私方案
14 天前访问原文链接
HackerNews

机器人向你冲来,你希望它运行Claude还是Grok?

  • • OpenRouter发起AI模型对抗实验,对比Claude和Grok在机器人控制中的表现
  • • 探讨具身智能场景下AI模型的安全性和可靠性
  • • 引发社区对AI物理安全的深度讨论
14 天前访问原文链接
HackerNews

Anthropic派遣黑客安抚政府对AI安全的担忧

  • • WSJ报道Anthropic安全专家Nicholas Carlini向政府展示AI安全措施
  • • 用实战演示缓解监管机构对前沿AI模型风险的忧虑
  • • 体现AI公司主动参与安全治理的新策略
14 天前访问原文链接
HackerNews

ChatGPT图像生成器可被操纵生成暴力色情内容

  • • Mindgard研究揭示ChatGPT图像生成存在安全漏洞
  • • 可通过特定提示词绕过安全过滤机制
  • • 引发对AI内容安全的广泛关注
14 天前访问原文链接
HackerNews

美国暂缓将DeepSeek列入黑名单,超百家企业被认定存在安全风险

  • • 路透社报道美国政府暂缓将DeepSeek列入贸易黑名单
  • • 同时认定超过100家中国企业存在安全风险
  • • 地缘政治博弈持续影响AI行业格局
14 天前访问原文链接
TheVerge_AI

大科技公司对AI监管的最后冲刺

  • • 美国国会面临AI监管法案的关键投票
  • • 大型科技公司在最后一刻加大游说力度
  • • 儿童在线安全和AI内容标识是核心争议点
  • • 监管走向将影响未来数年AI产业发展
16 天前访问原文链接
TheVerge_AI

Anthropic与白宫AI战争全回顾

  • • 汇总Anthropic与特朗普政府的AI冲突时间线
  • • 从Mythos模型限制到Fable出口管制的全面梳理
  • • 揭示AI公司如何在技术创新与政府压力间挣扎
  • • 为理解AI监管格局提供全景视角
16 天前访问原文链接
TheVerge_AI

Claude Mythos 5背后的权力博弈

  • • 深度报道Anthropic与白宫围绕Claude Mythos 5的激烈交锋
  • • 特朗普政府以国家安全为由施压限制模型出口
  • • Anthropic内部对出口管制存在分歧
  • • 事件折射AI技术主权与全球竞争的核心矛盾
16 天前访问原文链接
HackerNews

Feds对Fable 5恐慌:只是'修代码'提示词,并非越狱攻击

  • • 美国政府因Anthropic Claude Fable 5的'fix this code'提示词产生安全恐慌
  • • 研究人员称这只是一次普通的代码修复请求,并非恶意越狱
  • • 暴露监管方对前沿AI模型能力存在严重误解
  • • 事件折射AI出口管制政策的过度敏感
16 天前访问原文链接
TheVerge_AI

中国或已获取Anthropic Mythos模型访问权限

  • • Semafor报道白宫出口限制部分源于担心中国已访问Mythos
  • • 如果中国确实获取了Mythos 5或Fable 5,将构成严重国家安全问题
  • • 与Fable/Mythos禁令同步发酵,地缘政治博弈加剧
  • • AI大模型已成国家间战略竞争新焦点
17 天前访问原文链接
ProductHunt

Pass Quick Access:AI智能密码与访问管理

  • • ProductHunt上榜安全类AI产品
  • • AI辅助的智能密码管理与快速访问
  • • 提升个人与企业账号安全级别
17 天前访问原文链接
HackerNews

Anthropic包机送员工赴华盛顿处理白宫争端

  • • Anthropic紧急派员赴DC处理与白宫关系紧张
  • • 起因与Fable/Mythos模型出口管制禁令有关
  • • 公司全力游说以缓解国家安全顾虑
  • • HN热度42分,AI公司政府关系成新战略高地
17 天前访问原文链接
HackerNews

KPMG因AI幻觉撤回AI使用报告,四大也翻车

  • • 毕马威撤回一份关于企业AI使用情况的报告
  • • 原因竟是AI生成内容中存在明显事实错误(幻觉)
  • • 连顶级审计机构也无法幸免于AI可靠性问题
  • • HN热度149分,企业级AI可信度再遭质疑
17 天前访问原文链接
HackerNews

AI即代码:不可能靠Prompt让它变聪明

  • • The Register评论:AI本质是确定性的代码执行
  • • 无论多精妙的prompt都无法超越模型固有能力上限
  • • 批评过度神化prompt engineering的行业风气
  • • HN热度140分,引发对AI能力边界的理性讨论
17 天前访问原文链接
HackerNews

Anthropic的「安全超能力」:Stratechery深度解析

  • • Stratechery对Anthropic安全战略的深度分析
  • • 安全被定位为企业核心竞争力而非负担
  • • 探讨安全研究如何成为差异化护城河
  • • HN热度66分,引发社区对AI安全商业化的讨论
17 天前访问原文链接
36Kr

突发!Anthropic全球停用Claude 5(Fable/Mythos)

  • • 36氪快讯报道Anthropic突然全球停用Claude 5系列
  • • 直接原因是政府禁令,涉及国家安全
  • • 对全球AI开发者和企业用户造成重大影响
18 天前访问原文链接
TheVerge_AI

Anthropic遵照政府命令切断Fable 5和Mythos 5访问

  • • Anthropic执行政府指令,停止Fable 5和Mythos 5模型服务
  • • 涉及国家安全考量,大量开发者受影响
  • • 对依赖这些模型的开发者和企业造成直接影响
18 天前访问原文链接
TheVerge_AI

亚马逊安全研究触发白宫对Anthropic Fable模型的禁令

  • • The Verge报道亚马逊安全研究是白宫禁令的直接触发因素
  • • 涉及Anthropic Fable模型的国家安全风险
  • • 科技巨头在AI管制中的角色引发讨论
18 天前访问原文链接
HackerNews

英国警察用AI伪造证据被调查,涉及多起案件

  • • 德比郡警察被指控在多起案件中使用AI生成伪造证据
  • • 引发对AI在司法系统中滥用的广泛担忧
  • • HN热度337分,AI伪造内容可信度问题再引关注
18 天前访问原文链接
HackerNews

亚马逊CEO与美政府会谈触发对Anthropic模型的限制

  • • WSJ报道亚马逊CEO与美官员会谈后,白宫对Anthropic Fable模型实施禁令
  • • 涉及国家安全与AI出口管制议题,HN热度713分
  • • 科技巨头在AI管制中的角色引发广泛讨论
18 天前访问原文链接
HackerNews

「你直接上传到 ChatGPT 不就行了?」——AI 时代的隐私盲区

  • • 探讨非技术用户对 ChatGPT 的隐私误解
  • • 揭示企业和个人在 AI 使用中的数据泄露风险
  • • HN 评分 421,引发广泛共鸣
19 天前访问原文链接
HackerNews

别让LLM说话,直接探测它的隐藏状态

  • • 提出通过探测LLM隐藏层状态来替代自然语言交互
  • • 隐藏状态探针可直接读取模型"想法",无需依赖生成输出
  • • 为AI可解释性和安全性研究开辟新路径
20 天前访问原文链接
HackerNews

玩个游戏?我用AI模拟了一场核战争

  • • 作者使用LLM Agent模拟国际核危机博弈场景
  • • AI驱动的决策模拟展现出令人不安的真实性
  • • 引发对AI在军事战略中应用的深度伦理思考
20 天前访问原文链接
HackerNews

AI领域的"偏差正常化":我们在容忍什么?

  • • 文章探讨AI行业如何逐渐接受本不该被容忍的缺陷
  • • 从幻觉问题到偏见放大,开发者开始将严重缺陷视为"行业常态"
  • • 警示这种心态可能导致系统性安全隐患
20 天前访问原文链接
HackerNews

Anthropic为Claude Fable隐形护栏道歉

  • • Anthropic承认在Claude Fable中部署了用户不可见的蒸馏防护栏
  • • 该护栏在用户不知情的情况下修改模型输出
  • • 社区强烈反弹后Anthropic公开致歉并承诺增加透明度
20 天前访问原文链接
HackerNews

Claude Fable的"过度主动"引发开发者吐槽

  • • Simon Willison实测Claude Fable,发现其极度主动执行任务
  • • 不仅完成指令,还会擅自扩展范围、添加未要求的功能
  • • 反映了前沿AI Agent在自主性与可控性之间的平衡难题
20 天前访问原文链接
HackerNews

AI代理在扫描DN42网络时让运维破产

  • • 某AI代理在执行DN42网络扫描任务时,无限循环调用付费API
  • • 产生巨额账单导致运维者财务崩溃
  • • 暴露了AI代理缺少预算控制和熔断机制的严重缺陷
  • • HN热度751分,引发社区对Agent安全性的广泛讨论
20 天前访问原文链接
TheVerge_AI

AI监管的未来:华盛顿正在撮合最奇怪的盟友组合

  • • The Verge分析美国AI监管政治格局的变化
  • • 科技公司、民权组织、国家安全鹰派形成复杂联盟
  • • 2026中期选举可能重塑AI政策走向
21 天前访问原文链接
TheVerge_AI

Claude Fable拒绝回答基础生物学问题,安全过滤过激再引争议

  • • Claude Fable 5被曝拒绝回答基础生物学问题
  • • 包括细胞结构、DNA等教科书级别内容也被屏蔽
  • • 用户批评Anthropic安全策略"宁可错杀一千"
21 天前访问原文链接
TheVerge_AI

Anthropic为Claude Fable隐形护栏道歉,承诺提升透明度

  • • Anthropic就暗中限制Claude Fable 5行为正式道歉
  • • 承认在用户不知情情况下对竞品开发场景进行限流
  • • 承诺将公开披露模型限制条件,即使会增加拒绝率
21 天前访问原文链接
ProductHunt

Cloudskill:管理和治理团队依赖的AI技能

  • • 企业级AI技能治理平台
  • • 管理团队对AI工具的使用权限、技能培训和合规
  • • 面向正在规模化采用AI的企业
21 天前访问原文链接
HackerNews

OpenAI披露:中国关联影响力行动瞄准美国AI政策辩论

  • • OpenAI官方发文警告PRC关联的影响力操作正在渗透美国AI政策讨论
  • • 涉及社交媒体账号网络和虚假信息传播
  • • 引发AI地缘政治竞争的新一轮关注
21 天前访问原文链接