社長、部下から上がってきた資料を「よくまとまっているな」と思って、そのまま判を押したことはありませんか。
いま、その「よくまとまっている」が一番危ない時代になっています。アメリカで、AIが作った誤った報告書をもとに軍が作戦を準備し、実行の直前で止まるという出来事が報じられました。関係者は「危うく戦争を始めるところだった」と語っています。
軍の話なので遠く感じるかもしれません。ですが、私がこの報道を読んで最初に思ったのは、「これは中小企業のほうが起きやすい」ということでした。今日は、この出来事を私ならどう読むか、そして御社ならどう備えるかを、順番にお話しします。
簡単に説明する動画を作成しました！
目次
AIの「それらしい報告書」で、作戦の直前まで進んだ
中国船が核兵器の部品を運んでいる、という誤った結論
アメリカの報道機関CNNが2026年9月18日、事情に詳しい関係者4人の話として伝えた内容はこうです。
今年の春、イランとの交戦中に、米軍の中で一つの報告書が回りました。中東にいる中国の船が、核兵器計画の部品を運んでいる、という内容です。警戒はすぐに高まり、武装した隊員が船に乗り込む準備をし、軍用機も飛び立ったと、複数の関係者が述べています。
ところが作戦の直前になって、担当者が「この報告書はどうやって作られたのか」を調べ直しました。その結果、作成した分析官が使った対話型のAIが、船の積み荷を取り違えていたことが分かりました。関係者はこの報告書を「完全に虚偽」だったと語っています。
間違いは「中身」ではなく「いつもの書式」で見逃された
分析官は、手元にあった積み荷の情報をAIに入力しました。AIは公開されている情報と機密の情報を組み合わせて、積み荷について誤った結論を出しました。分析官はその結論を、もう一度AIを使って、軍が普段信頼している「いつもの報告書の形」に整えて配りました。
なお、実際の積み荷が何だったのかは報道でも特定されておらず、国防総省もコメントしていません。
私がこの話で一番注目したのは、AIが間違えたことそのものではありません。間違った内容が「いつもの書式」になった瞬間に、誰も中身を疑わなくなった、という点です。形が整っていると、人は中身の確認を後回しにします。これは軍でも会社でも同じです。
私ならこの出来事を、こう読みます
これは「AIが間違えた話」ではなく「誰も確かめなかった話」
AIは、存在しない事実を、自信たっぷりの文章で返すことがあります。専門用語では「ハルシネーション」と呼ばれますが、要するに「もっともらしい間違い」です。
これは今のAIの性質で、すぐにはなくなりません。ですから私は、この出来事を「AIが危ない」という話としては読みません。「AIが出した答えを、元の資料と照らし合わせる人がいなかった」という、確認の手順の話として読みます。
AIは下書きを数分で作ってくれます。ただ、下書きが速くなっても、確認する時間は同じだけ必要です。その確認が抜けたまま承認だけが残ると、判を押した人は「中身を確かめていないのに、確かめたことになっている」状態になります。
これは大企業や軍の話ですが、中小企業のほうが穴は深いかもしれません
軍には、何重ものチェックの仕組みがあります。それでも、作戦の直前まで誰も気づきませんでした。
では御社はどうでしょうか。中小企業では、資料を作る人と確認する人が同じ、ということがよくあります。担当者が作り、そのまま社長が見て決める。間に誰も入らない。確認する人が少ない分、一人が見落とせば、そのまま外に出てしまいます。
一方で、中小企業には強みもあります。社長の目が現場まで届くことです。大企業のような大がかりな仕組みを真似する必要はありません。社長が「ここだけは必ず確かめる」と決めれば、それだけで会社全体の動きが変わります。ここが大企業にはない、御社の有利な点です。
御社で同じことが起きるとしたら、こんな場面です
戦争にはなりませんが、同じ流れは身近なところにあります。例えば、次のような場面です。
- 見積書や提案書の金額、数量、納期が、元の資料と少しずれている
- 取引先への回答メールに、打ち合わせで出ていない条件が書き足されている
- 補助金の申請書に、事実と違う実績や数字が入っている
- 社内会議の資料に、実在の取引先名と別の数字が組み合わさっている
怖いのは、全部がでたらめな場合ではありません。九割は正しく、一割だけずれている「ほぼ正しい資料」です。読む側は「いつもの担当者が作った、いつもの形の資料」だと思って信じてしまいます。その小さなずれが、取引先の信頼や、会社のお金に直結します。
社長が決めるべきことは、まず「どこまでAIに任せるか」
任せてよい仕事と、任せない仕事を一枚の紙に書く
AIを使うか使わないかを決めるのは、社長の仕事ではありません。社長が決めるべきは、まず「どこまで任せるか」です。
私なら、次のように分けて、一枚の紙にまとめることをお勧めします。
- 任せてよい：文章の構成案、論点の洗い出し、言い回しの整理、読みやすくする手直し
- 人が必ず確かめる：事実の要約、数字、取引先への説明、社外に出る文書
使うこと自体を禁止すると、社員は黙って使うようになります。そうなると、どこでAIが使われたのか、社長からは見えなくなります。禁止するより、範囲をはっきりさせたほうが安全です。
人が必ず確かめる項目を決めておく
次に、「ここだけは元の資料と照らし合わせる」という項目を決めます。私が企業の方にお勧めしているのは、次の項目です。
- 人の名前、会社名
- 日付、金額、数量
- 誰が何を言ったか
- 引用した資料の出どころ
この項目は、AIがもっともらしく間違えやすいところでもあります。逆に言えば、ここさえ押さえれば、大きな事故はかなり防げます。確かめていない項目は、決裁の資料に入れない。これを社内の約束にしておくのが良いと思います。
「AIを使ったか」ではなく「元の資料と照らしたか」を聞く
部下から資料が上がってきたとき、社長がかける言葉を一つ変えてみてください。
「これ、AIで作った？」と聞くと、社員は身構えます。そうではなく、「この数字、元はどの資料？」と聞くのです。この一言が習慣になると、社員は資料を作るときから、元の資料を意識するようになります。
社長の一言が、そのまま会社の確認の仕組みになる。これが中小企業ならではの強みだと、私は考えています。
私ならこう使います。確認を「仕組み」にする小さな工夫
下書きはAI、事実の確認は人、という順番を守る
私自身も、日々の仕事でAIを使っています。私にとってAIは、考えを整理し、たたき台を一緒に作る相棒のような存在です。ただし、順番は必ず守っています。
まずAIと一緒に下書きを作る。次に、その中の事実や数字を、自分で元の資料と照らし合わせる。最後に、自分の言葉で手直しをする。この順番を逆にしたり、二番目を飛ばしたりしないことだけは、徹底しています。
御社でも、この順番を社内のルールとして共有するだけで、速さを落とさずに事故を減らせます。
資料の最後に「確かめた元の資料」を一行書かせる
もう一つ、すぐにできる工夫があります。社内の資料や社外に出す文書の最後に、「確認した元の資料」と「確認した人の名前」を一行書いてもらうことです。
例えば「金額は〇月〇日付の見積書で確認、確認者：山田」といった具合です。これだけで、後から「誰が、何を見て確かめたか」をたどれるようになります。
AIを使ったかどうかを記録するより、何と照らし合わせたかを記録するほうが、何か起きたときに役に立ちます。
最後に名前を出す人が責任者、を社長自身が守る
部下が下書きをし、AIが整え、上司がざっと目を通して外に出した。その場合でも、責任を負うのは、最後に名前を出した人です。
この原則は、社長自身が守る姿勢を見せることが大切です。社長が中身を確かめずに判を押していると、社員も「確認したつもり」で出すようになります。反対に、社長が「この数字の元は？」と一度でも聞けば、会社の空気は変わります。
速さを保ったまま、事故を防ぐ会社になるために
禁止ではなく、確認の手順を決める
今回の報道が伝えているのは、「AIはまだ未熟だから使うな」という話ではありません。確かめずに通した判断が、国の大きな決定の一歩手前まで進んでしまった、という話です。
AIのもっともらしい間違いは、これからもなくなりません。なくならない前提で、「作る工程」と「確かめて承認する工程」を分けておく。それができる会社は、AIの速さを活かしながら、大きな失敗を避けられます。
御社の場合、どこから始めるか
とはいえ、どこから手をつければ良いかは、会社によって違います。社員の人数、扱う書類の種類、社外に出る文書の多さによって、確かめるべき場所は変わるからです。
まずは、社長が普段判を押している書類を三つ思い浮かべてみてください。その中で、AIが作った下書きが混ざっていそうなもの、間違えたら取引先に迷惑がかかるものはどれでしょうか。そこが、御社が最初に確認の手順を決めるべき場所です。
もし「うちの場合はどこから決めればいいか分からない」と感じたら、お気軽にご相談ください。御社の業務の流れをうかがったうえで、無理なく続けられる確認の仕組みを一緒に考えます。
DXやITの課題解決をサポートします！ 以下の無料相談フォームから、疑問や課題をお聞かせください。40万点以上のITツールから、貴社にピッタリの解決策を見つけ出します。
このブログが少しでも御社の改善につながれば幸いです。
もしお役に立ちそうでしたら下のボタンをクリックしていただけると、 とても嬉しく今後の活力源となります。 今後とも応援よろしくお願いいたします！
IT・通信業ランキング | にほんブログ村  |
もしよろしければ、メルマガ登録していただければ幸いです。
【メルマガ登録特典】AI戦略で10年以上勝ち続ける実践バイブル『AI競争勝者の法則』をプレゼント！
今すぐプレゼントを受け取る