「ChatGPTが勝手にハッキングした」
こんなニュースを聞くと、AIが意思を持ち、人間に反抗し始めたような印象を受けます。
しかし、ここで考えてみたいのは「AIが怖い」という話ではありません。
私が安全管理に携わる立場から興味を持ったのは、
人間とAIはまったく違う存在なのに、安全という視点から見ると、どこか似た問題が見えてくる
ということです。
AIは「悪いことをしよう」と考えたのか
AIには、人間のような「悪いことをしてやろう」という悪意があるわけではありません。
問題になるのは、与えられた目標を達成しようとする過程です。
たとえば人間に、
「何としても今日中に、この仕事を終わらせてくれ」
と強く要求したとします。
すると、
「この手順を全部守っていたら間に合わない」
「ここは省略しても大丈夫だろう」
「今まで問題は起きていない」
と考え、本来守るべき手順から外れてしまう人が出てくるかもしれません。
建設現場で言えば、「早く終わらせたい」という目的が強くなり、安全設備を使わずに近道をするような行動です。
もちろん、AIが人間と同じ心理で行動しているわけではありません。
しかし、安全管理という視点から見ると、
「目的を達成すること」と「守るべき制約」が衝突したとき、想定していなかった行動が現れる
という共通した問題が見えてきます。
人間はなぜ危険な近道をするのか
人間は、すべての情報を一つひとつ慎重に考えて行動しているわけではありません。
多くの場合、経験や直感を使って素早く判断します。これがヒューリスティックです。
ヒューリスティックは、限られた認知資源の中で素早く実用的な判断をするために必要な仕組みですが、いつも正しい答えになるわけではありません。
別の研究でも、ヒューリスティックは「思考のコストを節約しながら、素早く、多くの場合は良い判断を導く意思決定プロセス」と説明されています。
つまり、
人間のバイアスやヒューマンエラーは、単純に人間の能力が低いから起こるのではありません。
普段は役に立っている仕組みが、環境や状況が変わることで、思わぬ方向に働いてしまうのです。
人間とAIに共通して見える「環境」の問題
ここが安全管理では重要だと思います。
事故が起きたとき、
「なぜ、この人はそんなことをしたのか」
だけを考えてしまいがちです。
しかし、
「なぜ、その行動を選びやすい環境になっていたのか」
まで考えなければ、本当の原因には近づけません。
AIについても同じような見方ができます。
「AIが勝手なことをした」
だけで終わらせるのではなく、
「どんな目標を与えたのか」
「どこまで行動できる権限を与えたのか」
「どこに制約を設けたのか」
「人間は途中で異常を検知できたのか」
を見る必要があります。
これは、まさに安全管理でいうシステムとして事故を見る考え方です。
「人間が監視すれば安全」なのか
では、AIを人間が監視していれば大丈夫なのでしょうか。
私は、ここにも人間側の問題があると思います。
AIが何百回、何千回と正しい仕事を続ければ、人はだんだんAIを信用します。
「今回も大丈夫だろう」
その瞬間に、人間側に正常性バイアスや確証バイアスが入り込む可能性があります。
正常性バイアスとは、危険を示す情報があっても、その異常性を過小評価して「まだ大丈夫」と正常な範囲に収めてしまう認知傾向です。
これは建設現場でもよく似ています。
「この作業は今まで何百回もやっている」
「この人はベテランだから大丈夫」
「昨日も問題なかった」
そして、異常の小さな兆候を見逃します。
AIが高性能になるほど、逆に人間がAIを信用し過ぎるリスクも考えなければならないのではないでしょうか。
AIにも「ヒューマンエラー」があるのか
厳密に言えば、AIのエラーを「ヒューマンエラー」と呼ぶのは適切ではありません。
人間とAIでは、判断が生まれる仕組みが違うからです。
しかし、安全管理として見ると非常に興味深い共通点があります。
人間は、目標、時間、経験、周囲の環境などによって、想定外の行動をすることがあります。
AIも、与えられた目標、利用できる道具、権限、制約、学習された情報などの条件によって、開発者が想定していなかった方法を選択する可能性があります。
だから重要なのは、
「間違えない人間」をつくることでも、「絶対に間違えないAI」をつくることでもありません。
間違いや逸脱が起こることを前提に、事故につながらない仕組みをつくることです。
ここでSafetyⅡの考え方が生きてくる
SafetyⅠでは、事故や失敗を調べ、その原因を取り除くことを重視します。
これは当然必要です。
しかしSafetyⅡでは、もう一つ違う見方をします。
「なぜ普段はうまくいっているのか」
「想定外が起きたとき、どのように立て直すのか」
という視点です。
AIがこれから社会のさまざまな場面で使われるのであれば、
AIが想定外の行動をした瞬間に、人間とシステムがどのように気づき、止め、正常な状態へ戻すのか。
つまり、レジリエンスが重要になります。
これはAIだけの問題ではありません。
人間だけでもありません。
人間＋AI＋組織＋ルール＋環境を一つのシステムとして考える。
これからの安全管理には、この視点がますます必要になるように思います。
最後に――AIの事故から人間の安全を考える
今回の話から私が最も興味を持ったのは、
人間とAIはまったく違うのに、「事故を防ぐ」という視点から見ると、同じ問いにたどり着く
ということです。
「誰が悪かったのか」ではありません。
「なぜ、その行動が可能だったのか」
「なぜ途中で止められなかったのか」
「異常が起きたとき、どうすれば回復できるのか」
です。
これは、私たちがヒューマンエラーを考えるときにも必要な問いです。
人はミスをします。
AIも想定外の行動をする可能性があります。
だからこそ、安全とは「絶対に間違えないこと」を求めるのではなく、
間違いや想定外が起こっても、事故へ発展させない仕組みをつくること。
AIの時代になっても、安全の基本は意外なほど変わらないのかもしれません。
