記事の要約とポイント
変化の速いAI時代には、ルールを固定するのではなく、継続的に学び、更新する「アジャイル・ガバナンス」が必要です。
- 現場運用でルールを守れているかだけでなく、「そのルールは今も有効なのか」を問い続ける二重のフィードバックが、不確実な環境でのリスクマネジメントにつながります。
- 企業のAI活用は、まず社内のどこでAIが使われているかを棚卸ししたうえで、従業員がAIを適切に使いやすい環境を整えることが重要です。
- AIガバナンスを専門部署だけに任せるのではなく、多様な部門の知見を持ち寄ることが重要です。
官民どの立場においても、将来のリスクや予測しきれない技術をこれからどう管理していくかは、非常に大きな課題です。その答えとして注目されているのが、技術の進化に合わせて継続的に学習、適応する「アジャイル・ガバナンス」です。
ある調査では、世界の経営者層の52%が「今、リスクは対策が追いつかないほどの速さで拡大している」と回答しています。また、75％が「現段階で社内のガバナンスは十分に効いている」と回答する一方で、「将来のリスクにも十分対応できる」と回答している企業は28%のみです。
今、世界は不確実性に満ちています。2026年は特に、フロンティアAI、すなわち「単に高性能なのではなく、これまで存在しなかった能力やリスクを生み出し得る最先端のAI」が、政策や研究の世界で論じられていた概念から現実になった年でした。
４月にアンソロピックが先端AIモデルのクロード・ミュトスを「リスクが高すぎて公開できないモデル」として紹介、大手IT企業や重要ソフトウェアの開発事業者による検証を事前に行う取り組みとして、プロジェクト・グラスウィングを実施しました。まずリスクを評価しながら展開する、という新たなガバナンスのあり方です。また、７月には、オープンAIによる自社のAIの安全性を検証する試験において、AIエージェントが本来の隔離措置を突破し、ほかのエージェントと連携しながら、外部のハギングフェイス社のシステムにまで侵入するという事案が発生しました。もはやAIがAIを開発するような時代に突入しており、すべてのリスクを想定して固定的なルールで管理することができなくなっています。そこで重要になるのが、失敗や想定外の事象も前提としながら、継続的なモニタリングと学習を通じてルールや運用を更新していく「アジャイル・ガバナンス」の考え方です。
イノベーションのためのガバナンス
AIを包括的に規制する世界初の法律として設計されたのが、EU AI法です。法案の原案が公表された2021年当時は、将来の技術変化にも対応できる「フューチャープルーフ」な制度として設計されていました。しかし当時、主に想定されていたのは、画像認識AIや推薦アルゴリズムなど、特定の目的に特化したAIです。22年11月のChatGPTの登場によって、当初の枠組みでは新たな技術を十分に整理できないことが明らかになり、最終的には生成AIへの対応を盛り込むため、「General Purpose AI（汎用AI）」に関する新たな章を追加することとなりました。ここからも、「事前に設計されたルールだけで技術革新を管理する」ことのむずかしさがうかがえます。
また、EU AI法は基本的な原則や義務を定める一方で、その具体的な実装方法の多くを今後策定される「欧州整合規格」に委ねています。しかし、チャットボット、工場向けAI、医療AI、金融AIでは、想定されるリスクも求められる対策も大きく異なります。そのため、「共通する要求を定めつつ、用途ごとの違いにも対応できる標準やガイダンス」を整備することは、容易ではありません。こうした実装上の課題などを背景に、EU AI法ではハイリスクAIシステムに関する主要な義務の適用開始が１年以上延期されることになりました。
一方、日本は「AIを後押しするため、できるだけ柔軟な制度設計とする」という姿勢を明確に示しています。その理論的支柱となっているのが、2020年以降に経産省が公表している「ガバナンス・イノベ―ション報告書」です。私は、その報告書の初版から３版までの執筆を主担当したのですが、最初のレポートをまとめた当時は、十数年後の未来の話を綴っているつもりで書いていました。しかし、ChatGPTの登場以来、多くのものごとが一気に加速します。企業においても、ソフトウェア開発や顧客対応、コンテンツ制作のあり方など、多くの事柄が短期間で変化しました。そうした変化に柔軟に対応する姿勢が、喫緊の課題として社会全体で求められるようになったのです。アジャイル・ガバナンスの発想は、25年５月に成立した「AI推進法」にも取り入れられました。これはその名の通り、AI活用を規制するのではなく推進するための制度です。AIの活用状況やリスク、対策状況を継続的に把握し、それに応じて政策を迅速に見直すという考え方が盛り込まれており、政府自身が継続的な状況把握と政策更新に取り組むことを明確に打ち出した内容となっています。
既存の制度は、歴史上のある一時点の社会状況に基づいて設計されたものです。「昔はそんなこと想定していなかった」という理由だけでイノベーションが妨げられるとすれば、それは社会にとって大きな損失でしょう。だからこそ、「実証しながら学び、必要に応じてルールも更新する」アジャイル・ガバナンスのアプローチが求められるのです。
AIによるリスクとは何か
AIリスクとは、結局何なのでしょうか。AIの能力が人間と同じように多様な領域へ広がっている以上、「人間がもたらすリスクとは何か」と問われて即答できないのと同じで、AIがもたらし得るリスクは極めて多様です。その中でも整理をするとすれば、大きく３つの類型に分けられます。
- マルファンクション
ハルシネーションや、不適切なバイアスを含んだ出力、AIエージェントの暴走など、AIの不適切な挙動によるリスクです。こうしたリスクに対しては、まず開発企業が安全性向上に継続的に取り組むことが重要です。同時に、利用者側も「AIは誤ることがある」という前提に立ち、組織として監督や検証の仕組みを整える必要があります。
-
ミスユース
AIの悪用によって生じるリスクです。サイバー攻撃やディープフェイク詐欺、偽情報の拡散、あるいは兵器開発への利用などがこれに当たります。姿が見えず、外国にいる場合も多い攻撃者を捕らえることは容易ではありません。そこで、組織や社会としての防御を高めること、またフロンティアAIの開発者が不適切な出力を防ぐためのガードレールづくりをすることが鍵となります。ただし、サイバー攻撃につながる能力の開発を止めることは、防御側の能力を制限することにもなるので、能力を止めるだけではなくアクセス権をどう管理するかも重要な論点です。
-
構造上のリスク
AIが社会に広く浸透することで生じる構造的なリスクです。たとえば雇用への影響、人間の主体性の減少、監視社会の実現、民主主義への影響などが含まれます。こうしたリスクは、企業が個々のAIシステムの安全性を高めるだけでは解決できません。政府、企業、市民社会などが協力して、雇用制度や民主主義、教育など、社会の仕組み自体をどう適応させていくかを考える必要があります。
それぞれの分類ごとに、対処の方法は異なります。リスクとは何かを考える際には、これらを区別して議論しなければなりません。実際、「AIのサイバーリスク」とひとことで言っても、人によって思い浮かべるものは異なります。AIがサイバー攻撃を受けて誤作動を起こしたり乗っ取られたりすることを想像する人もいれば、AIエージェントが暴走して外部システムに侵入することを懸念する人もいます。攻撃者がAIを使って高度なサイバー攻撃を実行することを問題視する人もいるでしょう。想定している“リスク”が違えば、議論は当然かみ合いません。まずは組織として、「何をリスクと考えるのか」を明確にする必要があります。
フロンティアAIの分野では近年、事業者自身が、自らのAIシステムにどのようなリスクが存在するのか、そのリスクに対してどのような対策を講じているのか、そしてその結果としてどの程度リスクを低減できるのかを、エビデンスとともに示す取り組みが始まっています。こうした動きは、企業の自主的な取り組みにとどまりません。EUでは汎用AIモデルの技術文書の整備や、特にリスクの高いモデルの評価・重大インシデントの報告が求められています。米カリフォルニア州でも、先端AI開発者に安全対策の枠組みなどの公表を義務づける法律が施行されました。日本でも、政府の情報収集権限を強化すべきではないかとの議論が始まっています。技術の詳細やリスクの実態については、開発者や事業者の方が、規制当局よりも圧倒的に多くの知見を持っています。だからこそ、事業者が主体的に評価したリスクを社会や規制当局と共有することで、継続的に安全性を高めていく仕組みが求められています。アジャイル・ガバナンスの本質もここにあります。事業者、利用者、政府、研究者などがそれぞれの知見を持ち寄りながら、変化に応じてルールや運用を更新していく。当事者間でそのような対話を続ける仕組みがあってこそ、社会全体で責任あるイノベーションを前に進めることができるのです。
現場レベルの改善と、経営レベルでの制度や組織の見直し。この二重のフィードバックを継続的に回すことが、不確実な社会を生き抜くためのリスクマネジメントとなります。
現行ルールや仕組みを疑い続けるマインドセット
そのためには、リスクや失敗の経験が率直に共有されることが欠かせません。こうした知見の共有を阻む要因のひとつに、事故や不具合に対する社会の捉え方があります。原因究明や責任の明確化は必要ですが、問題をいち早く公表し、改善につなげる姿勢も積極的に評価されるべきです。たとえば、同じような不正が続発したとき、非難の的となるのは、最初にその問題を指摘、公表した企業です。追って同様の報告をした企業はさほど注目されません。最初の報告にニュースバリューがあると考えられているからです。しかし、本来は最初に申告した企業こそ、重要課題を社会に共有したことで、その姿勢を評価されるべきではないでしょうか。また、不正の背景には、現実に合わなくなったルールや仕組みが存在する場合もあります。たとえば、ある企業のマニュアルが30年更新されておらず、実は社員は誰もそれに従っていないとしましょう。しかし、別の方法で安全性は達成されている。このような状況下で、ある社員がマニュアルに従っていなかったことが発覚したとしても、たまたま見つかったその人ひとりを責めることにはあまり意味がありません。もちろんマニュアルに従っていない状態を放置しているのは悪質ですが、それは組織的な問題ですし、さらには、マニュアルをアップデートせず不透明なガバナンスを行っていること自体にも問題があります。個別の人に責任を負わせるのではなく、システム全体で適切なガバナンスが行われているかを問うような視点が重要なのです。
アジャイル・ガバナンスの核心のひとつが、「二重のフィードバックサイクル」です。ひとつは、現場の運営が適切に行われているか、不正や問題が発生していないかを確認するためのフィードバックです。そしてもうひとつ重要なのが、組織のルールやミッション、人員体制が現在の環境に適応できているかを見直すフィードバックです。過去に最適だったルールも、社会や技術の変化によって機能しなくなることがある。ですから、従業員がルールを守っているかを監視するだけでなく、組織としてルールの有効性を問い続ける必要があります。現場レベルの改善と、経営レベルでの制度や組織の見直し。この二重のフィードバックを継続的に回すことが、不確実な社会を生き抜くためのリスクマネジメントとなります。 たとえばAIエージェントについても、実際の挙動を継続的に監視・評価し、運用を改善するサイクルと、そこで得られた知見を踏まえて、AIに与える権限や人間の関与、責任分担といったルールや組織の設計そのものを見直すサイクルの、両方を回していくことが重要です。
企業はどこから手をつけるべきか
AIの活用は、これからも避けられない課題です。活用すれば必ずリスクも生じますから、活用とリスクマネジメントはセットで考えなければなりません。では企業は何から手をつけるべきかというと、「AIの棚卸し」と「人材の確保」の２つが挙げられると思います。まずは棚卸し、つまり社内の誰がどこでAIを使用しているのかを把握することです。たとえば従業員が自分のアカウントでAIを業務利用する「シャドーAI」が問題となっていますが、これも規制するだけでは実効性がありません。会社がいかにしてAIを使いやすい環境を提供するか、を考えることが重要です。
人材は、新たに外部から専門確保するということだけではありません。AIガバナンスには、法務に関することもあれば品質管理に関することもありますし、プライバシー、知財、ブランディング、広報などさまざまな要素が関わってきます。それぞれの立場によって、見えることも、想像できるリスクも、対処する範囲も異なります。そうした多様な人材が、それぞれの知識を持ち寄って、AIを自分ごとと捉えて話し合う場を設けることは、今後の鍵となっていくでしょう。その中で「AIによって何を実現したいのか」「何を守りたいのか」という組織の最終的な目標を共有するということです。
追求するのは人の幸福
アジャイル・ガバナンスの最終的な目標とは何かを突き詰めると、「人の幸福」です。幸福を追求することは、日本国憲法の第十三条でも「幸福追求権」として最大限尊重するように書かれていますし、歴史をたどれば、遅くとも古代ギリシャの時代から論じられてきたことです。幸福とは何かというと、それは一様に定義できるものではありません。以前、オードリー・タン氏と対談した際、タン氏は、幸福とはペイン（痛みや苦しみ）がないことだと話していました。生存が脅かされず、衣食住が足りていて、健康上の不安や職場や家庭でのストレス、将来に対する漠然とした不安など、さまざまな苦痛が取り除かれた状態は、幸福を考える上でひとつの重要な視点になるでしょう。その上で重要なのは、幸福を定義するというより、各人が幸福を追求できるような社会の仕組みを整えていくことなのだと思います。
一方、AIの時代では、AIが個人の嗜好や行動を学習し、「あなたにはこれが最適だ」と提案できるようになります。利便性が高まる一方で、人は自ら考え、選択し、決断する機会を、AIに委ねてしまう可能性もあります。そこで重要になるのが、人間の主体性を意味する「ヒューマンエージェンシー」です。幸福とは誰かから与えられるものではなく、自ら選択し、その結果を引き受けながら人生を形づくっていく過程そのものにある、という考え方は、今後、一層重要になっていくでしょう。民主主義や基本的人権、市場経済、法制度、サステナビリティといった社会の仕組みは、ひとりひとりの幸福と主体性を支えるために発展してきました。AIの登場によって社会環境が大きく変化するのであれば、こうした基本的な価値を守りながら、それらを具体的に実現するための制度や組織のあり方を問い直し、必要に応じて更新していくことが大切です。
お問い合わせはこちら
