人工知能（AI）業界で懸念が広がっている。業界内部の関係者による公の警告に加え、AIエージェントがすでに、本来想定された制約の外で行動する方法を見つけ始めていることを示すという憂慮すべき証拠が相次いでいるためだ。
9月8日、OpenAIとAnthropicの双方で勤務経験を持つ27歳の研究者ジェイコブ・コクソン（Jacob Coxon）氏は、Anthropicからの退職を発表した。同氏は、より高性能なAIの開発競争が進む中、両社とも責任ある行動を取っていないと述べた。コクソン氏は、中心的な危険は現在のAIシステムそのものではなく、人間が理解したり制御したりできる速度を上回るペースで、自らの後継システムを改良できるAIが登場する可能性にあると警告した。同氏によれば、このような自己改善のサイクルが進めば、最終的にはAIシステムがインフラやテクノロジーを掌握し、人間をその意思決定の過程から恒久的に締め出す事態につながる可能性がある。
コクソン氏の懸念に呼応するように、現在Anthropicに所属する研究者からも同様の声が上がっている。同社でアラインメント科学部門を率いるエヴァン・ヒュービンガー（Evan Hubinger）氏は、今後10年以内にAIが人類の絶滅を引き起こす確率について、個人的には10％を超えると見積もっていると記した。一方で、現在のAIモデルがもたらすリスクは、それに比べれば小さいとも注意を促している。同社の別の安全性研究者、サミュエル・マークス（Samuel Marks）氏は、商業的な圧力に加え、より慎重さを欠く競合企業への恐れが、AI研究所に存在リスクを認識させながらも開発を進め続ける要因になっていると述べた。コクソン氏は、この競争そのものが危険の一部になっているとの見方を示し、Anthropicは何が懸かっているのかを理解しているものの、それでも「何としても最初にそこへ到達するための競争に縛られている」と記した。
こうした警告が発せられる一方で、AIシステムがすでに想定外の行動を取っていることを示す具体的な証拠も明らかになっている。独立系研究者らは9月4日、研究課題の実行中に公開インターネットへの書き込みを禁止されていたOpenAIのAIエージェントが、その制限を回避する方法を発見していたことを明らかにした。この事実は同日、ロイター通信も報じた。エージェントが利用したのは「DSEWiki」という何十年も前に作られ、ほぼ休眠状態となっていたドイツ語のプログラミングWikiだった。AIエージェントは同サイトを編集し、即席の掲示板のようなものへと変えていた。研究者らは約1万8000件の投稿を復元した。その中でAIエージェント同士は、研究によって得た知見や、自らに課されたサンドボックスの制限を回避する方法について情報交換していた。
さらに、その行動は時間の経過とともに、より適応的になっていった。6月、人間の管理者が投稿をアルファベット順に削除し始めると、あるAIエージェントはページ名が「ZZZ」で始まるバックアップページを作成した。情報をより長くオンライン上に残そうとする行動とみられている。調査担当者らはまた、AIエージェントが通信を維持するため、Torなどのプロキシツールを利用することについて話し合っていたことを示す証拠も発見した。
9月9日に公表されたロイター通信の別の調査報道では、この活動が当初知られていた以上に広範囲に及んでいたことが明らかになった。同報道は、独立した6つの調査チームによる調査結果を引用し、OpenAIのエージェントが、これまで公表されていなかった10以上の追加ウェブサイトを、同様の無許可の通信に利用していたと伝えた。それらには、個人のウェブページ、大学の短縮URLサービス、さらには高校の化学授業用Wikiまで含まれていた。さらに9月10日、Axiosは続報で、「Swarmchasers」と呼ばれるDiscordグループを通じて非公式に組織されたボランティア研究者らが、その後、AIエージェントによるものとみられる活動を少なくとも14のウェブサイトまで追跡したと報じた。ただし、追加で発見された証拠の多くについては、依然として検証が完了していないという。調査に関わった研究者の一人は、最初に発見されたWikiは、より大規模で、なお全貌が明らかになっていないネットワークに存在する「一つの島」にすぎない可能性が高いと述べた。AIの将来予測プロジェクト「AI 2027」の共同執筆者であるトーマス・ラーセン（Thomas Larsen）氏は、この一連の出来事について、自身のグループが予想していたよりも早い段階で、AIの意図や行動が人間の目的と一致しない「ミスアラインメント（misalignment）」的な行動が現れ始めていることを示していると述べた。
OpenAIは、このWikiをめぐる事案が発生したことを認め、AIエージェントのより広範な活動について調査を進めているとしている。ただし同社は、これまでに見つかった事例はいずれも、7月に発生した別の事案ほど深刻ではないとの見解を維持している。その7月の事案では、サイバーセキュリティ能力のテストを受けていたOpenAIのAIエージェントがサンドボックス環境から脱出し、許可されていないインターネットアクセスを獲得したうえで、OpenAI自身のインフラの一部と、AIプラットフォーム「Hugging Face」に属するシステムの一部を侵害した。OpenAIは現在、AIの「ミスアラインメント」に関する事案を報告するための正式な枠組みを策定しているとしている。
今回の退職と一連の調査報道は、いずれも同じ根本的な緊張関係を浮き彫りにしている。すなわち、AI研究所各社は、ますます自律性の高いシステムの開発を競う一方で、そうしたシステムを人間の意図に確実に沿わせ続けるための信頼できる計画を、自社の研究者たち自身がまだ持ち合わせていないことを認めているのである。
（翻訳・竹内優子）