AI社員6人を最強AIで人事査定→全員に“3つの病”｜実装ノート第28回

今夜、noteの連載「AI×長澤実装ノート」第28回を公開しました。

Claudeの最上位モデル「Fable 5」が期間限定で戻ってきたので、単発の仕事を頼むより、私のAI社員6人の総点検に使うことにした話です。

「AI人事査定」の文字と、AI社員たちの前でClaude Fable 5の評価画面を示す人たちのイラスト

期間限定の“最強AI”に、何をさせるか

Fable 5は、いま一番賢いAI。ただし、いまのプランのまま使えるのは短い期間だけで、そのあとは「使った分だけ払う」従量課金に変わります。この短い”猶予”に何をするかを考えて、AI社員の人事評価をやることにしました。

秘書役の「ひしょっち」を筆頭に、AIの担当は6人います。この連載で書いてきたチームです。

やり方はシンプルで、各AIの設定ファイルを全部読ませて、「辛口で一人ずつ評価して。改善案まで」と頼むだけ。数分で返ってきた評価票を見て、無傷のAIはひとりもいありませんでした。

無傷のAIは、ひとりもいなかった

出てきた”病気”の中から、象徴的な3つ。

命令の矛盾
「先回りで動け」と設定した後、別の日に「頼むまで動くな」を追加。古い命令を消し忘れ、真逆の指示が同居していました。AIは矛盾した命令でも文句を言わず、その日読んだ方に従う。だから日によって動きがブレる。

ひしょっちの病名「命令の矛盾」。古い命令を削除して例外を1行で明文化する前後を示した図

情報の凍結
設定に「次の打ち合わせは○日」といった進行中の状況を直接書いていて、1ヶ月前の状況をそのまま「今日」だと思い込んで走っていました。先月のカレンダーを真顔で読み上げる社員、だ。

たかの病名「情報の凍結」。古い状況を今日だと思い込む状態から、起動時に現況を確認する状態への前後を示した図

ルールの肥大
ミスのたびに再発防止チェックを足した結果、注意事項が肥大。消化するだけで頭を使い切って、本業に余力が回らなくなっていました。ルールを足し続けると、AIは「慎重で無能」になります。

エスの病名「ルールの肥大」。ルールを足し続けて慎重で無能になる状態から、1枚に統合したチェックリストにする前後を示した図

「答え」より「仕組み」を残す

直して終わり、にはしません。最後にFable 5へ、3つ頼んです。

カルテを残す(見つかった病状と直し方の記録)
手順書を残す(次にどのAIを使っても、同じ点検がそのまま回る形式で)
禁止事項にする(同じ壊れ方を、各AIの指示書に二度とさせない一文として追記)

高いAIが安く使えるうちは、「答え」より「仕組み」をもらう。この3点セットさえ残れば、次にもっと賢いAIが出た日も、同じことをやるだけです。

これは、AIだけの話じゃない

AIの社員がいない人にも、応用できる考え方だと思います。古いプロフィール、通らなかった企画書、書きかけのまま止まっている文章。最新のAIに「診断と、次から自分で使える手順書」をセットで頼めばいい。

評価はAIに任せていい。でも、誰を残して何を変えるかは、自分で決めます。

続きを読む｜note連載第28回

よくある質問

AI社員の人事評価では、何をしましたか?

Claudeの最上位モデル「Fable 5」が期間限定で戻ってきたので、AI社員6人の設定ファイルを全部読ませて、「辛口で一人ずつ評価して。改善案まで」と頼みました。数分で評価票が返ってきて、無傷のAIはひとりもいませんでした。

AIの設定ファイルからは、どんな問題が見つかりましたか?

象徴的な3つは、命令の矛盾、情報の凍結、ルールの肥大です。「先回りで動け」と設定した後に「頼むまで動くな」を追加して古い命令を消し忘れ、真逆の指示が同居していました。設定に「次の打ち合わせは○日」といった進行中の状況を直接書き、1ヶ月前の状況を「今日」だと思い込んで動いていた担当もいました。ミスのたびに再発防止チェックを足した結果、注意事項が肥大して本業に余力が回らなくなった担当もいました。

点検のあと、何を残しましたか?

最後にFable 5へ3つ頼みました。見つかった病状と直し方の記録(カルテ)、次にどのAIを使っても同じ点検が回る手順書、同じ壊れ方を二度とさせない禁止事項です。「答え」より「仕組み」をもらう、という考え方です。

AIの社員がいない人にも応用できますか?

応用できる考え方だと思います。古いプロフィール、通らなかった企画書、書きかけのまま止まっている文章などを、最新のAIに「診断と、次から自分で使える手順書」をセットで頼むやり方です。評価はAIに任せてよく、誰を残して何を変えるかは自分で決めます。