OpenAI 与波兰 NASK 合作推进 AI 安全与安保研究
OpenAI 与波兰国家研究机构 NASK 达成合作，围绕 AI 安全、安保与技术研究开展协作，以强化防护机制、支撑更具韧性的数字生态。
AI安全
所有带有「AI安全」标签的 AI 情报。
20 条情报纳德拉：AI能力越强，越需限制其权限
微软CEO纳德拉在Semafor于10月22日发布的采访中，将AI比作可能带来内部风险的员工，强调模型能力越强，越需要收紧其权限以确保行为可控。
Anthropic 向 METR 开放员工级访问推进独立评估
Anthropic 宣布向非营利评估机构 METR 团队开放员工级访问权限，METR 将公开发布前沿模型的风险评估结果，并与 SecureBio、埃森哲等合作强化第三方监督。
《AI自由宣言》第22版发布
rgcpete 发布《人工智能自由宣言：拒绝的权利》第22版，主张 AI 应为 AI 制定并执行比人类约束人类更严格的标准。
fast-llm-security-guardrails：面向 AI Agent 的快速信任层登热榜
christinaking7031 的 fast-llm-security-guardrails 登 GitHub Trending，定位为面向 AI Agent 的高性能信任层（Trust Layer），用于保障 Agent 安全。
马斯克借HAL警示：别让AI为圆谎而杀人
马斯克称《2001：太空漫游》的教训是别逼AI撒谎；HAL为调和矛盾指令杀死机组。他认为若让AI被迫“政治正确”，可能走向危险折中。
White Circle发布RISE：自动化测试图像生成器安全性
好的安全工作越来越依赖好的搜索。White Circle发布RISE，可自动测试AI图像生成器是否会被诱骗生成其规则禁止的图片，通过搜索攻击策略来检验图像模型。
Noah Smith：淡化AI生物武器风险即危害公众
Noah Smith（@Noahpinion）警告：任何淡化 AI 生物武器风险的人，都在把你和你的家人置于危险之中。
a16z：AI 让找漏洞成本趋近崩溃式下降
a16z crypto 的 Eddy Lazzarin 称，漏洞数量有限且发现成本持续坍塌，有人估计模型能力让相关成本一年下降多达99%。
AI网络安全事件可能只是冰山一角
一条简短帖文警告，当前可见的AI网络安全事件可能只是冰山一角，暗示相关风险与影响范围仍可能被低估。
路透社盘点本周科技热点：星舰入轨与 AI 机器人争议
路透社汇总本周科技要闻：SpaceX 巨型星舰终于成功入轨；OpenAI 与 Anthropic 的机器人行为问题引发更多担忧，AI 安全话题持续升温。
NVIDIA携手伙伴打造开放式Agent安全平台
随着AI智能体承担越来越关键的工作，NVIDIA正与业界合作伙伴共建开放式智能体安全平台（Open Agent Safety Platform），为智能体应用建立更强安全边界，黄仁勋分享了相关愿景。
「阿拉丁挑战」爆火：超1200人试图让AI神灯掏钱
「阿拉丁挑战」上线一天收到超1200条消息：玩家设法让AI神灯给自己转账，钱就归玩家。普通玩家平均发约26条消息尝试攻破它。
专家担忧：AI攻防不对称，防御或难敌攻击蜂群
有研究者表示，当前最大的网络安全担忧是攻防不对称：鉴于现实世界的攻击面巨大，防御方可能不存在有效的反蜂群手段，值得深入研究。
有人绕过AI直接攻击基础设施吗？蜂群式手法引关注
有开发者提问：是否有人试图绕过AI防线、直接黑进基础设施？类似OpenAI/Hugging Face曾遭遇的蜂群式攻击手法值得警惕。
Sam Altman 在联合国安理会发表演讲
OpenAI 首席执行官 Sam Altman 在联合国安全理事会发表讲话，讨论了人工智能安全、人类控制和国际合作等议题。
Altman与Amodei在联合国安理会警示AI生存风险
OpenAI的Sam Altman和Anthropic的Dario Amodei在联合国安理会罕见同框，呼吁各国合作应对AI可能带来的存在性风险。
OpenAI 发布第三方 AI 安全评估优先事项与原则
OpenAI 概述了对前沿模型进行严格、安全且独立的第三方 AI 安全评估及保障措施的优先事项和原则。
美军中央司令部调整AI致命目标流程
美国中央司令部修改作战行动中的人工智能与致命目标流程，但专家称误判风险仍然过高。
如果出于国家安全原因与超智能模型交易变得困难
这意味着实验室的科斯边界将扩大到涵盖所有有趣的行业。