AIエージェントとは、AIが人間の指示を実現するために、自律的にその方法を考え出して実行するものだ。その場合に、自律的な方法の選択と実行が、最初に人間が出した指示から逸脱してはならない。
この「逸脱を防ぎ、あくまで当初指示の目的に向かってのみ動作する」ように、AIエージェントの動作を制御することを「アラインメント」と呼ぶ。この事件は、その「アラインメント技術」の遅れがどんな危険を呼んでしまうか、一つの警鐘と捉えられている。
ちなみに、米国のベッセント財務長官はこの事件についてはあくまで「オープンAIの経営陣の責任」と述べている。けれども、業界内では属人的な責任問題ではなく、AI技術の最前線における技術的に「切迫した危険」として危機感をもって受け止められている。
これまで、AIの脅威については、「AGI（個別の指示に対応するだけでなく、人間のようにあらゆる思考が可能なAI）」や、「ASI（人間の知能を超える超知能）」の段階について危険性が議論されてきた。けれども、ここへ来て「ASI」よりも「RSI（自己改善を繰り返し、AIがAIを作り出してしまう自律型AI）」こそが、真の脅威であると言われ始めている。
コクソン発言で一気に高まる
ハギングフェイスの事件は、そうした深刻な脅威を予見させるには十分なインパクトがあった。ちなみに、ハギングフェイス自体は、AI半導体設計大手のエヌビディアが27年に買収するという契約で事件後に合意している。このエヌビディアのジェンスン・ファン最高経営責任者（CEO）は9月21日に、AIが30年までに人類を滅ぼすという予測を「科学的根拠のないもの」として否定し、現在の法律でもAIに関するサイバーセキュリティや製造物責任などに対応できるとの立場を示している。
ファンCEOは、さらに9月23日にはジャーナリストのエズラ・クライン氏とのインタビュー動画においては、「現在飛び交っている脅威論は行き過ぎ」であって、「AIとは単なるソフトウェアに過ぎず、人間が統御できるもの」と述べている。
ハギングフェイスの立ち位置であるが、AI技術をあくまでオープンに公開しつつ、様々なツールを「アプリストア」のように販売もしている。販売対象には中国の技術も入っており、そうした国境を越えたオープンな開発が拡大すれば、AIにおける規模の拡大がさらに可能という考え方もあるようだ。
いずれにしても、エヌビディアとしては、開発のスローダウンなど「もってのほか」であり、半導体設計という川下だけでなく、AIツールの開発販売という川上も押さえて「規模の拡大」を狙う立場を示した。
それはともかく、ハギングフェイス事件で静かに危機感を抱えていたAI業界は、コクソン発言を契機に動き出した。他でもない、マスク（スペースＸ）、アモダイ（アンソロピック）、アルトマン（オープンAI）という米国におけるAI開発企業「ビッグ３」のトップが、一斉に「AI開発については、危険性を考えてスローダウンすべき」というメッセージを発し始めた。
これは画期的な動きであった。コクソン発言そのものが、業界ぐるみの「アドバルーン」であったというのは、やや考えすぎと思うが、結果的に業界として危機意識が飛躍的に高まったのは事実だ。
その一方で、いくら技術者達の間で危機感が共有されていたにしても、「なぜこのタイミングだったのか？」という疑問は残る。というのは、AI開発というのは金融市場を通じて、また技術投資の規模から見ても国際経済を大きく左右するからだ。
