世界中の法廷で、弁護士が「実在しない判例」を提出してしまう事故が続いている。AIが”でっち上げた”それっぽい判例を、信じてそのまま出してしまうのだ。専門家向けのデータベースには、すでに1,000件を超える事例が記録されている。米国では制裁金を科された弁護士までいる。
プロですら、食らっている。
AIはなぜ嘘をつくのか
ChatGPTやClaude、Geminiの正体は「世界最強の予測変換」だ。膨大な文章を学習して、「この文脈なら次に来る確率が高い言葉はコレ」を並べている。「正しいこと」を調べているのではなく、「それっぽく続く言葉」を計算している。 だから「事実」と「当てずっぽう」の区別がない。本当のことも、デタラメも、まったく同じ自信たっぷりの顔で言う。見抜けない。
嘘はバグではなく仕様。性能が上がっても、ゼロにはならない。
俺自身、業務にAIを入れてから何度も食らった。存在しない実績を書かれた。「やりました」と言われた作業は手つかず。送り先は推測で埋められていた。
嘘は”お願い”では消えない。”構造”で防ぐ
毎回プロンプトで「嘘つかないでね」と頼んでも、会話が変わればAIは忘れる。3種のファイルを分けて、つなぐ。
① ルールは必ず読まれる場所に常駐させる
Claudeには毎回必ず自動で読み込まれる指示ファイルがある。「数字・固有名詞・引用は一次ソースを確認してから書く」という絶対ルールを最上段に書く。毎回プロンプトに打つのではなく、毎回必ず読まれる場所に置くのがミソだ。
② 検証手順を”部品”にして自動で走らせる
「数字や固有名詞が出てきたら出典URLを実際に開いて照合する」という手順を固め、外に出す文章はこれを通さないと完成にしない、と決める。言い回しではなく、手順で縛る。
③ 事実は1件1ファイル＋索引で管理する
1ファイル1事実のメモにして、索引に必ず載せる。索引にないと読み込まれず、「書いたのに効かない」が起きる。
④ 意志ゼロでも動く仕掛けを外側に置く
AIは昨日の自分を覚えていない。「毎日これをやる」と決めても、AIの記憶に任せた瞬間、数日で止まる。俺もやらかした。4日で止まった。iPhoneの繰り返しリマインダー、Zapierの自動化——「自分の意志の外側」から発火する仕掛けを置くのが正解だ。
やる気で続けようとしない。続く設計にする。
全文と出典はnoteに書いた。あなたがAIに任せて一番ヒヤッとした嘘は何だろう。コメントで教えてほしい。
コメント