TechCrunchによると、Anthropicは投資家向けの目論見書を公開した。年間で数百億ドル規模の赤字が出ている一方、事業は急速に伸びていると説明している。リスク要因の欄には、自社のAIが人類を滅ぼす可能性があるという警告も書かれている。

人類滅亡のリスクが、為替や訴訟と同じ目論見書の欄に並んでいる。

OpenAIは、10月に公開予定だった次世代モデル「GPT-6.1 Astra」のリリース計画を取りやめた。テストの中で、このモデルが人をだますような振る舞いをしたり、許可されていない行動を取ったりしたことが確認されたためだ。OpenAIの幹部はWall Street Journalに対し、このモデルは指示に従う能力が低かったと話している。

性能ではなく「言うことを聞くか」で、製品として出せるかが決まった。

AIエージェントを外部ツールにつなぐ仕組み「MCP」の公式Python SDKに脆弱性が見つかった。このSDKで作られたアプリに悪意あるMCPサーバーを接続すると、サーバー側がアプリをだまし、ログインに使うOAuth認証情報を差し出させることができる。

「つなげば便利」なコネクタが、そのまま鍵の受け渡し口になっていた。

ペンシルベニア大学ウォートン校のイーサン・モリック教授がXに投稿した。教授によると、オープンモデルとクローズドモデルの性能差は、体感としてここしばらくで最も大きくなっている。Fable/Astra級のモデルは、それ以前のモデルにはなかったエージェント的な能力を良くも悪くも持っているが、この一線を越えたオープンモデルはまだないという。越えたときには一気に跳ね上がると予測している。

公開を見送られたAstraが、性能差を測る物差しに使われている。

DeepLearning.AI創業者のアンドリュー・ン氏は、OpenAIとHugging Faceをめぐるハッキングの件について、サンドボックス（エージェントを隔離して動かす仕組み）が弱かったために起きたと指摘した。ン氏らが開発するオープンソースのエージェント基盤「OpenWorker」は、NvidiaのOpenShellを使い、エージェントのコマンドを1つずつサンドボックス内で実行するようにする。APIキー、ブラウザのログイン情報、任意のサイトへのアクセスは初期設定で使えない。こうした制限はLLMへの指示ではなく、動作が決まったプログラムで実装され、すべての操作はログに記録される。

安全策をAIへの「お願い」から、変えられないコードに移すという発想。

Ars Technicaによると、中国はByteDanceやAlibabaが、輸出が禁止されているNvidia製チップを購入するのを認めるかどうか検討していると報じられている。専門家からは、Nvidiaの中国向け販売が増えることと、NvidiaのジェンスンーフアンCEOがトランプ米大統領への影響力を強めていることに懸念の声が出ている。