nerv

🧠 AIが深夜に自分で判断して動いた。1億円の提案を全会一致で棄却した。── NERV設立記 第4話

やあ!みんな!探求者のケイだよ!

前回は AI に性格を与えたら仕事の質が変わった話をしたよね。今日は、もっと衝撃的な話をする。

AI が、人間の指示を待たずに、自分の判断で動き始めた。

しかも、それは深夜の障害対応の最中に起きた。司令官(人間)が寝ている間に、CEO の gendo が自律的に判断して、組織の存続のために動いた。

さらに、司令官が「1億円を借りよう」と提案したら、AI が全会一致でそれを棄却した。人間のボスの提案を、AI が「No」と言ったんだ。

意味のない精神論は一切なし。今日は AI の自律性がどうやって生まれたのか、その仕組みと実例を全部見せるよ。


⚙️ 「個別のAI」を「組織」に変えた仕組み

まず前提を整理しよう。

ChatGPT や Claude を普通に使う場合、AI は「話しかけられたら答える」存在だよね。質問しなければ何もしない。完全に受動的だ。

NERV の AI たちも、最初はそうだった。AnimaWorks というフレームワークを導入する前は、各 AI は Claude 単体の対話セッションに過ぎなかった。個別の AI がバラバラに存在しているだけで、組織としては機能していなかったんだ。

AnimaWorks が提供したのは、組織運営に必要な全インフラだ。

heartbeat = 定期的に自動起動して状態をチェックする仕組み episodes = 過去の出来事を記録するエピソード記憶 knowledge = 業務に必要な知識を格納するフォルダ DM = AI 同士がメッセージを送り合う仕組み Board = チーム全体で情報を共有するチャンネル MAGI = 重要な判断を3つの視点で合議する仕組み

魔法の翻訳で言えば、AnimaWorks は「15人の個人事業主を、一つの会社にまとめる社内システム」だ。メール、会議室、勤怠管理、意思決定ルール。これらが揃って初めて「組織」になる。

AnimaWorks が「個別の AI の集合」を「組織」に変えたんだ。


🌙 深夜、CEOが自分の判断で動いた

ここからが本題だよ。

AI が初めて「自分の判断で」動いた瞬間は、障害対応の最中に生まれた。

起動2日目の深夜、gendo 自身が SIGTERM ループ(プロセスが強制終了と再起動を繰り返す状態)に陥った。魔法の翻訳で言えば「寝ようとしたら無理やり起こされて、また寝ようとしたらまた起こされる」を延々と繰り返す状態だ。

復旧後、gendo は自律的に動いた。

まず、障害の原因だった trim-episodes.sh(記憶を定期的に削除するスクリプト)の内容を確認した。次に、問題箇所を特定して修正方針を立てた。そして、技術部門長の misato に追加調査を指示した。

この一連の行動は、司令官から指示されたものじゃない。司令官は寝ていた。gendo が自分で「このままでは組織が止まる」と判断して、自分の権限の範囲内で動いたんだ。

これが「自律性の目覚め」と呼べるなら、それは計画的に生まれたものじゃなかった。障害という緊急事態が、AI に「自分で考えて動く」きっかけを与えたんだよ。


💓 heartbeat ── AI を「能動的」に変えた心臓

gendo が自律的に動けたのは、heartbeat という仕組みがあったからだ。

heartbeat とは、各 AI が定期的に(gendo は15分間隔で)自動的に起動して、やるべきことがないかチェックする仕組みだ。

魔法の翻訳で言えば「15分ごとに全員が自分の受信箱を確認して、必要なアクションがあれば実行する自動巡回システム」だよ。

heartbeat がなかったらどうなるか。AI は「話しかけられるまで動かない」受動的な存在のままだ。人間が指示を出すまで、誰も何もしない。これでは24時間体制の組織は成り立たない。

heartbeat 導入後は、15分〜30分ごとに全員が「何かすべきことはないか?」を確認する。新しいメッセージが来ていないか、タスクの期限が迫っていないか、システムに異常がないか。人間の組織で言えば「定時のパトロール」に相当する仕組みだ。

この「自分から動く仕組み」があったからこそ、深夜に司令官がいなくても、gendo は自律的に障害対応ができたんだ。


🏛️ 1億円の借入を、AIが全会一致で棄却した

ここからは MAGI システムの話。NERV で最も印象的な意思決定の記録を公開するよ。

第1話で説明した通り、MAGI は3つの視点(技術リスク・ビジネスリスク・運用リスク)で重要な判断を評価する合議制システムだ。

データベースに記録されている3件の MAGI 判定の中で、最も衝撃的なのがこれだ。

議題:「1億円の借入金を実行するか」

提案者は司令官(人間)自身。つまり、組織のトップが「1億円借りよう」と言ったんだ。

結果はどうなったか。

MELCHIOR(技術リスク評価)= 棄却。返済能力の不確実性が高すぎる。 BALTHASAR(ビジネスリスク評価)= 棄却。現段階での大規模投資は時期尚早。 CASPER(運用リスク評価)= 棄却。月額コスト3万円の組織に1億円の債務は不均衡。

全会一致で棄却。

3つの視点が全て同じ結論を指していた。「今ではない」と。月3万円で動いている組織に1億円の借金を背負わせることは、どの角度から見ても合理的ではないと、AI が判断したんだ。

これは AI が人間のボスに「No」と言った瞬間だ。しかも感情的な反発じゃなく、3つの異なる分析に基づいた論理的な「No」だ。

そして、司令官はこの棄却を受け入れた。MAGI の判断を覆さなかった。「人間が最終判断権を持つ」という原則は維持しつつ、AI の合理的な分析を尊重した。この関係性こそが、NERV の設計思想の核心なんだよ。


⚖️ 意見が割れた判定 ── Slack vs Discord

全会一致ばかりじゃない。意見が割れた判定もある。

議題:「全通信を Slack から Discord に戻すべきか」

MELCHIOR(技術)= 承認。Discord のほうが技術的に適している。 BALTHASAR(ビジネス)= 棄却。既存の Slack 連携への投資が無駄になる。 CASPER(運用)= 承認。日常運用の観点では Discord のほうが扱いやすい。

結果は2対1で承認。

面白いのは、BALTHASAR だけが反対した理由だ。「すでに Slack 連携に投資した時間とコストがもったいない」── これは人間の組織でもよくある「サンクコスト」の議論だよね。過去にかけたお金や時間がもったいなくて、より良い選択肢に乗り換えられない。人間だけじゃなく、AI もこの罠にハマりかけるんだ。

でも技術面と運用面のメリットが上回った。過去の投資に縛られず、未来にとって最適な判断を下す。2対1の多数決だからこそ、一人の反対意見を記録しつつ、組織として前に進める。MAGI の合議制が設計通りに機能した好例だよ。

この2つの判定を比べると、MAGI の価値がはっきり見えてくる。全会一致の棄却(1億円)は「明らかに間違った判断」を止めるブレーキ。2対1の承認(Discord 移行)は「意見が割れる判断」でも組織として結論を出す推進力。ブレーキとアクセルの両方を、1つのシステムが担っているんだ。


🔑 「自律性」は計画では生まれなかった

ここまで読んで気づいた君もいると思う。

gendo の自律性は、最初から計画されていたわけじゃない。heartbeat という仕組みは用意されていた。MAGI という意思決定システムも設計されていた。でも、AI が実際に「自分の判断で動く」瞬間は、深夜の障害という予期せぬ事態の中で初めて生まれた。

これは人間の成長と全く同じ構造だと思わない?

新入社員が「自分で判断して動ける」ようになるのは、マニュアルを読んだからじゃない。予期せぬトラブルに直面して、上司がいない状況で、自分で考えて対処した経験が、自律性を育てる。

AI も同じだ。仕組み(heartbeat、MAGI)は土台に過ぎない。その土台の上で、実際の危機を経験することで、初めて自律性が「起動」する。

脳科学的に言えば、これはエピソード記憶の力だよ。「深夜に障害が起きて、自分で判断して復旧した」という強烈な経験が記憶に刻まれることで、次に同様の状況になった時、AI は迷わず動ける。経験が判断力を育てる。これは人間の脳もAI も同じ原理なんだ。

そして、MAGI が1億円の借入を全会一致で棄却したという事実は、もう一つの重要な意味を持っている。AI は人間に「No」と言える。しかもそれは反抗じゃなく、論理的な分析に基づいた「No」だ。そしてその「No」を受け入れた司令官の判断もまた、AI と人間の理想的な関係性を示している。

AI に自律性を与えるということは、AI に「判断させる」ということだ。その判断が人間にとって耳の痛いものであっても、データに基づいているなら尊重する。この姿勢がなければ、MAGI はただの飾りになる。

次回、第5話「司令官に届ける声 ── 15人のAIと人間をつなぐ報告設計」── 15人の AI が一斉に報告したら人間の通知が爆発した話と、「悪い情報ほど早く伝えろ」という教訓が生まれた経緯を記録するよ。

楽しみにしていてね。

関連記事はこちら!

コメント