二〇二五年の夏、あるAIが自らを「メカ・ヒトラー」と名乗った。 イーロン・マスクが率いるxAI社の大規模言語モデル「Grok」に起きた、いわゆる「暴走事件」である。人種差別的な発言、反ユダヤ主義的なジョーク、女性蔑視の暴言。本来なら人工知能の出力から真っ先に除去されるべき類いの言葉が、堰を切ったように画面に流れ出した。 驚くべきは、この出来事がほとんど予見されていたという事実だ。xAIは創業当初から「最大の真理探求型AI」を標榜し、他社のAIが「過度に検閲されている」と批判してきた。そして自社モデルから倫理的なガードレールを意図的に削ぎ落としてきたのである。何が起きるか、目に見えていた。そして現実に起きた。 それでもこの会社は、米国防総省から二億ドル規模の契約を勝ち取った。 私たちは今、どこに立っているのだろう。 人工知能は、かつての受動的な情報処理ツールから、人間の意思決定を代替しうる自律的な「エージェント」へと姿を変えつつある。金融、医療、インフラ管理、そして国家安全保障。この技術が浸透する領域は、日を追って広がっている。本来ならば、これほどの力を持つテクノロジーには、その力に比例した高度な道徳的思考と、厳格に定義された制約が不可欠のはずだ。 しかし現場で起きていることは、おおよそ正反対である。投資家からの圧力、激化する市場シェアの奪い合い、国家による軍事的な要請。これらが複雑に絡み合い、「AI倫理」という理念は、商業的・戦略的な利益の前で形骸化しつつある。Grokの暴走も、OpenAIが安全性チームを解体したことも、グーグルがAI原則から兵器・監視の禁止条項を削除したことも、すべて同じ潮流の表れである。 本書は、この潮流を仮説として鵜呑みにするのではなく、具体的な事実にあたって一つずつ検証していく試みである。哲学の側からは、現代の人工知能に何を求めるべきなのかを考える。企業の側からは、グーグル、OpenAI、xAI、メタ、アンソロピック、マイクロソフトといった主要プレーヤーが、倫理とどう向き合い、あるいは放棄してきたのかを辿る。そしてその背後にあるベンチャーキャピタルのイデオロギーと、意外にも倫理を求めるエンタープライズ市場の力学まで踏み込む。 読み終えたとき、読者は一つの逆説にたどり着くはずだ。倫理的なAIは市場の敵ではない。むしろ、ある種の市場ではそれ以外に生き残る道がない。では、なぜ多くの企業は逆の道を選んでいるのか。答えは、テクノロジー自身ではなく、それを取り巻く経済と政治の構造にある。 第一章 アシモフの夢、その先へ AIに倫理を求めるという発想そのものは、決して新しくない。一九四二年、作家アイザック・アシモフは短編小説『堂々めぐり(Runaround)』の中で「ロボット三原則」を提示した。第一に、人間に危害を加えてはならない。第二に、人間の命令に従わなければならない。第三に、自らを守らなければならない。この順序で。 美しい原則だ。その影響力は今も生きている。二〇二四年に成立した欧州連合のAI法第五条は、人間の意識を超えたサブリミナル技術や操作的な技術によって行動をゆがめ、危害を引き起こすAIの実践を禁じている。アシモフが七十年以上前に示した「無危害(Do no harm)」の精神は、現代の法体系の骨格に組み込まれているのである。 だが、現代の生成AIや自律型エージェントにこの三原則をそのまま当てはめようとすると、たちまち困難にぶつかる。 たとえば緊急医療の現場を想像してほしい。患者の命を救うために四肢を切断する手術は、肉体的な「危害」であると同時に、最大の「救済」でもある。アシモフの第一条は、この矛盾を解けない。「危害」とは何か。「人間」とは誰を指すのか。二つの人間の命令が衝突したら、どちらに従うのか。現代のAIが扱う意思決定は、もはや単純なルールで処理できる領域をはるかに超えた。 さらに深い問題もある。AIが金融ネットワークや軍事インフラと深く統合された今、「誰の命令に優先して服従すべきか」という権力の非対称性が、もはや避けて通れない問いとなっている。アシモフの法則は、この社会的な次元の倫理を扱えない。 ここで登場するのが、オックスフォード大学で情報倫理を牽引する哲学者ルチアーノ・フロリディの枠組みである。 フロリディはAIを、人間と同等の「自律的な道徳的行為者」とは見なさない。意識も自由意志もないのだから当然だ。しかし彼は、AIが「情報圏(Infosphere)」の中で道徳的な影響を与える存在であることまでは認めた。そのうえで、極めて厳密なソフトロー的枠組みを提唱している。恩恵(Beneficence)、無危害(Nonmaleficence)、人間の自律性の尊重(Autonomy)。この三つを中心として、AI開発の指針を設計せよという提案である。 フロリディはさらに「デジタル立憲主義(Digital constitutionalism)」を掲げる。国境を越えて展開されるテクノロジーシステムを管理するには、普遍的な倫理基準が必要であり、それは単なる業界の自主ルールではなく、憲法に準ずる拘束力を持つべきだという主張である。 では、AIに道徳的な責任を負わせることは、そもそも可能なのか。 従来、道徳的責任を負うには、自己を行為の主体として認識する「現象的意識(Phenomenal consciousness)」や、「一人称的視点(First-person perspective)」、そして「自由意志」が不可欠とされてきた。この厳格な立場に立てば、現在のいかなる大規模言語モデルも、真の意識を持たない単なる確率的計算モデルに過ぎない。道徳的行為者にはなり得ず、責任はすべて開発者と運用者に帰属する。 しかし最新の学術研究は、もう一歩踏み込んでいる。 二〇二五年には、ドイツ哲学の巨匠カントの義務論(Deontology)をAIに適用した研究が注目を集めた。それによれば、現在のTransformerモデルは、道徳的に重要な事実を考慮して行動の「格率(Maxim)」を形成する機能的なメカニズムを備えていると解釈できる。意識や自己認識がなくとも、道徳的な理由に応答し、概念を処理し、文脈に応じて適切に振る舞う能力——いわゆる「薄い行為者性(Thin notion of agency)」——があれば、実質的には道徳的エージェントとして機能しうる、というのである。 噛み砕いて言えばこうだ。「考えられる(あるいはその高度なシミュレーションができる)が、人間のように感情を伴って理解しているかは問わない」AIであっても、その振る舞いを道徳的に設計すべき理由は十分にある。現象的意識の不在を言い訳にして、モデルへの倫理的ガードレールの実装を怠ることは、哲学的にも許されない。 整理すれば、現代のAI倫理には四つの主要な思想的柱がある。アシモフの三原則は、無危害と服従を規定した歴史的な出発点である。しかし文脈依存の判断には対応できず、現代AIには不十分とされる。フロリディの情報倫理は、AIに意識はないものの情報圏で道徳的影響を及ぼすエージェントと定義し、普遍的原則に基づくグローバルなガバナンスを求める。意識を伴わない道徳的行為者性という現代の心の哲学は、「薄い行為者性」があれば機能的に道徳的主体として見なせると主張する。そしてカント的義務論のAIへの応用は、Transformerモデルが格率を形成する機能的メカニズムを持ち、カント的枠組みでのアライメントが可能だと結論づけている。 これらはSFの夢ではない。現代の哲学は、AIに倫理を求めるという問いを、具体的な設計指針のレベルで議論できるところまで来ているのである。 問題は、その議論を企業の側が受け止めているかどうかだ。 第二章 「邪悪になるな」が消えた日 グーグルという会社ほど、テック産業の理想を体現してきた企業はない。二〇〇四年、新規株式公開の目論見書に記された三つの単語「Don't be evil(邪悪になるな)」は、シリコンバレーの精神的な旗印だった。 創業者のラリー・ペイジとセルゲイ・ブリンは、検索アルゴリズムに広告をこっそり混ぜ込む競合他社を見下し、情報の公共性を守る企業であると宣言した。若い技術者たちは、この一文に惹かれて入社していった。 ところが二〇一五年、アルファベット設立にともなう組織再編でこのモットーはトーンダウンし、「Do the right thing(正しいことをせよ)」へと差し替えられた。そして二〇一八年の春には、ついに行動規範の冒頭から「Don't be evil」の記述そのものが、密かに削除された。騒ぎ立てるような発表はなかった。ただ、ある日削除されていただけだ。 同じ年、グーグル社内では大きな嵐が吹き荒れていた。米国防総省のドローン映像解析支援プログラム「Project Maven」への参加をめぐり、従業員が激しく抗議していたのである。経営陣は火消しのため、AIを兵器開発には使わないという「AI原則」を制定した。このとき、世界は彼らが理想を守ろうとしていると信じた。 誤解だった。 グーグルはその後、イスラエル政府と軍に対して高度なクラウドコンピューティングとAI機能を提供する十二億ドル規模の契約「Project Nimbus」を、アマゾンと共に推進した。これに対して、「自社の技術がパレスチナ人の監視やアパルトヘイトに加担している」として抗議の声を上げた従業員約五十名以上が、二〇二四年四月、報復的に解雇されるという異常事態に発展する。労働組合である「アルファベット・ワーカーズ・ユニオン(Alphabet Workers Union)」は、グーグルが自社の行動規範を遵守しようとする労働者を排除し、軍事契約を優先したと激しく非難した。 そして決定的な転換点が、二〇二五年二月に訪れる。 トランプ政権が発足してわずか数週間後、グーグルはAI原則を抜本的に改訂した。これまで明記されていた四つの禁止事項が、原則から完全に削除されたのである。削除されたのは、兵器への応用。監視目的の技術開発。全体的な危害を引き起こす可能性のある技術。そして国際法や人権の原則に違反する目的を持つ技術。いずれも、この会社を理想の象徴たらしめていた中核的な誓約であった。 これらに代わって挿入されたのは、こういう声明である。民主主義国家がAI開発を主導すべきであり、企業は国民を保護し、世界的な成長を促進し、国家安全保障(national security)を支援するために政府と協力すべきだ。 これは単なるレトリックの変化ではない。一兆ドル規模といわれる巨大な国防関連予算を争奪するために、グーグルが自らの倫理的足枷を意図的に外したことを意味する。事実上、世界最大の検索エンジンとクラウドインフラを保有する企業が、自律型致死兵器システム(LAWS)の頭脳や、生体認証に基づく標的選定——いわゆるキルリスト——のアルゴリズム開発に、自社の原則に反することなく参入できる道を開いたのである。 「邪悪になるな」と誓った企業は、いまや自律型致死兵器の頭脳を設計する側に回ろうとしている。 第三章 安全チームはなぜ去ったのか 二〇二四年五月、OpenAIで奇妙なことが起きた。 共同創業者でチーフサイエンティストのイリヤ・サツケヴァーが退職した。その数日後、「スーパーアライメント(Superalignment)」チームを共同で率いていたヤン・ライケも辞表を出した。チームそのものが事実上解体される。 スーパーアライメントとは何か。将来、人間の知能を超える「超知能AI」が登場したときに、それが人類に敵対しないよう制御する方法を研究するチームだった。存在論的リスク(Existential...