OpenAI ｢超知能は10年以内に実現。現段階で制御技術はない｣と表明 真の狙いは何か
生成AIサービスを誰でも使える「ChatGPT」を公開したOpenAIが、超知能（スーパーインテリジェンス）は10年以内に実現可能との見解を示すとともに、現時点で制御技術が存在せず、これから新たな人材を募集して対策に取り組むと表明しました。7月5日、同社公式サイトで発表しました。
生成AI技術が人類への脅威になり得るという指摘自体は、各方面から出ていました。OpenAIのサム・アルトマンCEOも5月に入ってそのリスクを認めるようになりましたが、対策に乗り出すのは初めてとみられます。
ただ、OpenAIの発表は人類への脅威を除去するものといえるのか。声明の内容を詳しく分析して、その真の狙いを探ってみます。
『楊井人文のニュースの読み方』は、今話題の複雑な問題を「ファクト」に基づいて「法律」の観点を入れながら整理して「現段階で言えること」を、長年ファクトチェック活動の普及に取り組んできた弁護士の楊井がお届けしております。
今回はサポートメンバー限定の記事です。無料読者は途中まで読めます。
独自の取材や調査・分析による記事は、サポートメンバー限定でお届けします（これまでの記事）。サポートメンバーはスレッドでの意見交換に参加できます。楊井の活動をサポートして、記事を継続的に読みたいという方は、ご登録を検討いただけますと幸いです（配信方針など詳しくはこちら）。
無料の記事も時々出しますので、無料読者の登録のままでも全く問題ありません。
なお、記事のSNSシェアは歓迎しますが、本文の無断転載・無断公開はお控えくださいますようお願いします。
研究者らの警鐘
OpenAIの見解分析に入る前に、研究者らから発せられてきた警鐘の数々を振り返っておきたいと思います。
まず、注目されたのが、3月22日、非営利団体 Future of Life Institute から発出された「巨大なAI実験の一時停止」を求める公開書簡です。
この書簡は「強力な AIシステムは、その効果がプラスであり、リスクが管理可能であると確信できる場合にのみ開発されるべき」と指摘し、すべての AI研究組織に「GPT-4よりも強力な AIシステムのトレーニングを少なくとも6か月間直ちに停止するよう求める」と表明したものです。
以下のように、AI業界の著名人が数多く名を連ねていました。
・AI研究、ディープラーニングの第一人者と言われるヨシュア・ベンジオ（Yoshua Bengio）氏
・AI研究者のバークレー大学教授、スチュアート・ラッセル（Stuart Russell）氏
・生成AI企業「Stability AI」CEOのエマド・モスタク（Emad Mostaque）氏
・Apple共同創業者の一人でコンピューター・サイエンティスト、スティーブ・ウォズニアック（Stephen Gary Wozniak）氏
・テスラ社CEOなどを務める起業家イーロン・マスク氏
公開書簡のサイトより。（日本時間2023年7月6日17時現在）
この後、4月12日には、国家レベルのAI規制機関の設置などの政策提言も追加発表していました。
この書簡にマスク氏が名を連ねていたことに着目して冷笑的にあしらう向きもあるようですが、彼は書簡の中心的な執筆者ではありませんし（FAQ参照）、非常に多くの人物が名を連ねたことを軽視すべきではないでしょう。
しかし、この公開書簡はメディアで多少話題になったとはいえ、現実のAI開発の一時休止という機運にはつながっていません。
筆者作成
次に、大きく注目を浴びたのは、AI研究の第一人者とされるジェフリー・ヒントン（Geoffrey Everest Hinton）氏の警告です。
ヒルトン氏はイギリス出身のカナダ人（トロント大学名誉教授）。5月初めに10年間務めたGoogleフェローを退職し、生成AIの危険性について警告を発し始めました。
ヒルトン氏のインタビューを読んでみると、危機感がかなり強いことが伝わってきますが、技術開発の中断は現実的でないとして「Future of Life Institute」の公開書簡には署名しなかったといいます。代わりに、政府が企業に対しAIが制御不能になってしまわないよう、十分な人材や資金を開発に投じるよう促すべきとの考えを示していました。
ただ、私の知る限り「AIが人類の脅威にならないようにするための技術開発」に公的資金が投じられるという動きは、まだ現実化していないと思われます。
こうした警鐘が相次ぐ中で、OpenAIのアルトマンCEOも、5月16日の米議会公聴会で、AI開発企業を免許制にし、公的な監視機関を設置することを提言したことが注目されました。
5月22日、超知能（Superintelligence）への対応を検討すべき時がきているとの見解を発表（これは重要な声明なので、のちに改めて触れます）。
5月末には、AI安全性センター（Center for AI Safety）の「AIリスクの声明」に、OpenAIのアルトマン氏ら有数のテクノロジー企業トップが名を連ねました。
ただ、一文だけの非常に短いメッセージで、具体的な行動を求めるものではなかったことに留意が必要です。
AIによる絶滅のリスクを軽減することは、パンデミックや核戦争などの他の社会規模のリスクと並んで世界的な優先事項であるべきです。
Mitigating the risk of extinction from AI should be a global priority alongside other societal-scale risks such as pandemics and nuclear war.
そして今回、OpenAIから新たな7月5日声明が出されたのです。
そこには、どういう狙いが込められていたのか。声明の中身を少し詳しく分析して「真意」を探ってみることにします。
（参考）7月5日声明に関する関連報道
OpenAIの声明を読み解く
まず、7月5日声明の骨子が記された、冒頭の文章を読んでみます。
私たちよりもはるかに賢いAIシステムを操作し制御するには、科学的および技術的なブレークスルーが必要です。この問題を4年以内に解決するために、私たちは Ilya Sutskever 氏と Jan Leike 氏が共同リーダーを務める新しいチームを立ち上げ、これまでに確保した計算処理の20%をこの取り組みに投じます。私たちは、参加してくれる優秀な機械学習（ML）研究者とエンジニアを探しています。
We need scientific and technical breakthroughs to steer and control AI systems much smarter than us. To solve this problem within four years, we’re starting a new team, co-led by Ilya Sutskever and Jan Leike, and dedicating 20% of the compute we’ve secured to date to this effort. We’re looking for excellent ML researchers and engineers to join us.
ここで明確に示されているのは「人間よりはるかに賢いAIシステム」の出現を前提に、4年以内の技術革新を目指すということです。
本文では、この方針についてより詳しい見解が示されています。
超知能（Superintelligence）は人類がこれまでに発明した中で最も影響力のあるテクノロジーとなり、世界で最も重要な問題の多くを解決するのに役立つ可能性があります。しかし、超知能の巨大な力は非常に危険な可能性もあり、人類の無力化、さらには人類の絶滅につながる可能性があります。
Superintelligence will be the most impactful technology humanity has ever invented, and could help us solve many of the world’s most important problems. But the vast power of superintelligence could also be very dangerous, and could lead to the disempowerment of humanity or even human extinction.
超知能は、今は遠い話のように見えますが、私たちはそれが10年以内に実現すると信じています。
While superintelligence seems far off now, we believe it could arrive this decade.
ところで、ここで近い将来実現すると言っている「超知能」（Superintelligence）とは、いったい何を指しているのでしょうか。
声明の注釈には、「超知能」とは「AGI」（汎用人工知能）ではなく、AGIを超えた知能だと説明しています。
OpenAIは、AGI（汎用人工知能）を「最も経済的に価値のある作業において人間よりも優れたパフォーマンスを発揮する高度に自律的なシステム」と定義し、AGIを実現することが使命とうたっている企業です（2018年策定のOpenAI憲章参照）。
「GhatGPT」もAGIの一種といえるのか、OpenAIの見解は定かでありませんが、今回の声明では「AGIを超えた知能」＝「超知能」の出現が現実化する、それも「10年以内に」という見通しも示したわけです。
なぜAGIの実現を掲げていた企業が、AGIを超える超知能の実現について言及するようになったのでしょうか。
そのヒントはOpenAIの「超知能のガバナンス」（Governance of superintelligence）と題する声明（5月22日）にありました。
この5月22日声明で、OpenAIはまず、「超知能」によって「私たちは劇的に豊かな未来を手に入れることができます」との考えを示しています。
そして、IAEA（国際原子力機関）のような規制機関が必要になるとリスク制御について言及しつつも、「なぜこの技術を開発する必要があるのか」という問いを立て、次のような見解を示していたのです。
私たちは、これ（引用注：超知能）が今日私たちが想像できるものよりもはるかに良い世界につながると信じています（教育、創造的な仕事、個人の生産性などの分野で、この初期の例がすでに見られています）。世界は多くの問題に直面しており、解決するにはさらに多くの支援が必要です。このテクノロジーは私たちの社会を改善することができ、これらの新しいツールを使用するすべての人の創造的能力は私たちを驚かせることは間違いありません。経済成長と生活の質の向上は驚くべきものとなるでしょう。
we believe it’s going to lead to a much better world than what we can imagine today (we are already seeing early examples of this in areas like education, creative work, and personal productivity). The world faces a lot of problems that we will need much more help to solve; this technology can improve our societies, and the creative ability of everyone to use these new tools is certain to astonish us. The economic growth and increase in quality of life will be astonishing.
超知能の創造を止めることは直感的に危険で、困難だと私たちは考えています。利点が非常に大きく、制作コストが年々減少し、制作主体が急速に増加し、それ（超知能）は本質的に技術的進歩の一部であり、それを阻止するなら世界的な監視体制のようなものが必要でしょうが、それが機能するかどうかは保証の限りでありません。
… we believe it would be unintuitively risky and difficult to stop the creation of superintelligence. Because the upsides are so tremendous, the cost to build it decreases each year, the number of actors building it is rapidly increasing, and it’s inherently part of the technological path we are on, stopping it would require something like a global surveillance regime, and even that isn’t guaranteed to work.
この文章は、技術進歩の先に、AGIを超える「超知能」を創造することは阻止すべきではない、たとえ世界的な監視体制を作っても阻止できるとは限らない、と“牽制”しているようにも読めます。
この声明から確認できるのは、OpenAIが、「AGIを超えた知能」（＝超知能）の開発にリスクがあることは認めながらも、止めるつもりはなく、むしろそれを早期に実現する意欲を隠していないということです。
「私たちはそれが10年以内に実現すると信じています」という7月5日声明の「自信」のような表明は、今回突如として現れたものではなく、すでに5月22日に示されていたのでした。
一方で、OpenAIは、これから出現するであろう「超知能」なるものを制御する技術を、現時点では持っていないため、急いで研究する必要があるというわけです。
現時点では、潜在的に超知能的なAIを操縦・制御し、AIの不正行為を防ぐための解決策はありません。… 人間は私たちよりはるかに賢いAIシステムを確実に監視することはできません。… 私たちの現在の調整技術は超知能に対応することはできません。私たちは新たな科学的および技術的なブレークスルーを必要としています。
Currently, we don't have a solution for steering or controlling a potentially superintelligent AI, and preventing it from going rogue. Our current techniques for aligning AI, such as reinforcement learning from human feedback, rely on humans’ ability to supervise AI. But humans won’t be able to reliably supervise AI systems much smarter than us, and so our current alignment techniques will not scale to superintelligence. We need new scientific and technical breakthroughs.
彼らは、これから「4年以内に」超知能を制御するための技術革新を目指す、という「信じられないほど野心的な目標」（an incredibly ambitious goal）を掲げていますが、そこで想定しているのは「超知能を制御するためのAI」です。
私たちの目標は、ほぼ人間レベルの自動調整研究者を構築することです。
Our goal is to build a roughly human-level automated alignment researcher.
要するに、OpenAIは「AGIを超えた超知能」の開発を進めていく意思（5月22日声明）と、その10年以内の実現に備え、制御するためのAIの技術開発に取り組む意思（7月5日声明）を明らかにしたことになります。
彼らは、制御技術の開発に「成功する保証はない」（we’re not guaranteed to succeed）とも言っています。そうであっても、AGIを超えた「超知能」の開発を突き進んでゆく可能性は否定していません。「超知能を制御する技術」が実現できるまで、「超知能」に向けた技術開発を一時的に停止するといった考えは示されていないのです。
「超知能を制御するためのAIを作るために、20%のコンピュータリソースを割く」とのメッセージも、裏を返せば、80%のリソースを引き続きAGI、あるいはAGIを超える超知能の開発に投じていくと解釈できます。
OpenAIは、自らの憲章でうたっているAGIを超えたものとしての「超知能」の開発を進めると表明したと読み取っていいのではないでしょうか。
（この後の内容）
▼「超知能」とは何か？
▼技術開発は「止められない」のか
▼生成AI活用に傾斜する日本政府
読者限定の内容も逃しません。