Anthropic、METRに社員同等アクセスで独立評価を推進
Anthropicは非営利評価機関METRに社員同等のアクセスを提供し、リスク評価結果の公開を可能にする。SecureBioやAccentureとも連携し、第三者による監督を強化する。
AI安全性
「AI安全性」タグが付いたAI Pulseの更新一覧です。
13 件のシグナル「AI自由宣言」第22版を公開
rgcpeteが「AI自由宣言：拒否する権利」第22版を公開。AIは人間同士以上に厳しい基準をAIに課し、実行すべきと主張。
マスク「HALの教訓：AIに嘘をつかせるな」
マスクは『2001年宇宙の旅』のHALが矛盾命令を調整するため乗員を殺した例を挙げ、AIを「政治的に正しい」方向へ無理に曲げる危険を警告した。
White Circle、画像生成モデル安全性テスト工具RISEを発表
優れた安全性確保は検索の技術に依存しつつある。White CircleはRISEを発表。AI画像生成器をだましてルール違反の画像を生成させられるかを自動テストする。
AI生物兵器リスクを軽視する者は家族を危険に晒す
Noah Smith氏は、AI生物兵器のリスクを軽視する者は全員、あなたとあなたの家族を危険に晒していると警告した。
今週のテック総括：スターシップ軌道投入、AIロボットへの懸念も
ロイターが今週の注目テックニュースを総括。SpaceXの巨大宇宙船スターシップがついに軌道に到達した一方、OpenAIとAnthropicの問題行動ロボットへの懸念が拡大している。
NVIDIA、パートナーとオープンなエージェント安全基盤を構築
AIエージェントの業務が重要化する中、NVIDIAは業界パートナーとともにOpen Agent Safety Platformを構築し、エージェント活用のための強固な安全境界を整備。Jensen Huangが構想を語る。
「アラジンチャレンジ」が大流行、1200人以上がAI精霊に挑戦
「アラジンチャレンジ」は公開から1日で1200件以上のメッセージを集めた。AIの魔人にお金を送らせれば獲得できるゲームで、プレイヤー平均約26回のメッセージで攻略を試みている。
研究者が警鐘、AIサイバー攻防の非対称性に懸念
研究者は、現実世界の攻撃対象範囲の広大さを踏まえ、防御側に有効なカウンタースウォーム手段が存在しない可能性があり、AIサイバーにおける攻撃と防御の非対称性が最大の懸念だと指摘。
AIを迂回してインフラを直接攻撃する手口に注目
開発者は、OpenAIやHugging Face関連のスウォーム型手法のように、AIの防御を迂回してインフラに直接侵入しようとする者がいるかどうかを問うている。
Sam Altman氏、国連安全保障理事会でAI安全性を語る
OpenAIのCEO Sam Altman氏は国連安全保障理事会で、AIの安全性、人間による統制、国際協力について語った。
Altman氏とAmodei氏、国連でAI生存リスクを警告
OpenAIのSam Altman氏とAnthropicのDario Amodei氏が国連安保理で珍しく共同登壇し、AIの存在リスクへの国際協力を訴えた。
OpenAI、第三者によるAI安全評価の優先事項と原則を提示
OpenAIは、フロンティアモデルに対する厳格で安全かつ独立した第三者によるAI安全評価とセーフガードの優先事項と原則を概説した。