①これまでは「凝ったプロンプト術」が効いた

前々回・前回で見たとおり、少し前のAIは「ステップごとに考えて」や「考え方の見本」を足すと正答率が大きく伸びました。そこから、役割を演じさせる・専門家になりきらせる・手順を細かく指定する…といった“プロンプト術”が花盛りになりました。

では、その後どんどん賢くなった最新AI（GPT-4oやClaude、さらに”自分で考える”推論モデル）でも、同じ技は効き続けるのでしょうか？ それを正面から検証したのがこの研究です。

②今回の一手：賢いAIで技を測り直す

研究チームは、コード生成など5種類の作業について、いろいろなプロンプト術を最新の賢いAIに当て直して効果を測りました。少し前のAIで生まれた技が、今も通用するのかを確かめたわけです。

③結果：技を足しても、ほとんど伸びない

コード生成テストの正答率がこちらです。賢いAIに凝った技を足しても、伸びはごくわずか。そして“自分で考える”推論モデルは、素直に頼むだけで一番高いという結果でした。

しかも推論モデルでは、簡単な作業にまで凝った指示をするとかえって遠回りして無駄が増える場面も報告されています。「凝れば凝るほど良い」は、もう過去の話になりつつあります。

④では、何が今も効くのか

研究が指摘した、今でも効くものは明確です。それは”言い回しの工夫”ではなく、実際の手がかり。たとえばAIに一度やらせて結果（エラーや実行結果）を見せて直させる、あるいは作業に必要な具体的な情報・前提を渡すこと。実際、実行結果を見せるループを外すと正答率は5.5ポイント落ちました。

⑤明日からのAI活用へ

3回の話をまとめると、こうなります。AIが賢くなった分、私たちがやることは「凝る」から「正しく伝える」へ。

たとえば——患者説明文を作らせるなら「あなたは一流の歯科医師です」と演じさせるより、実際の症例の前提や、過去にうまくいった説明文を渡すほうが効きます。凝った肩書きより、具体的な材料。