AI活用

AIの答えが「惜しい」…「ステップごとに考えて」の一言で正答率が激変する

歯科×AI活用

プロンプトの基本/Zero-shot-CoT

AIの答えが「惜しい」…「ステップごとに考えて」の一言で正答率が激変する

自費の見積もりやリコール率の集計をAIに頼んだら、答えがしれっと間違っていた——。その原因は「AIが結論を急ぐ」こと。質問の前にたった一言を足すだけで、計算・推論の正答率が跳ね上がります。

論文
Large Language Models are Zero-Shot Reasoners
著者
Kojima T, ほか(東京大学・Google Research)
掲載
NeurIPS 2022
種類
ベンチマーク実験(AIの推論能力の検証)
PMID
—(arXiv:2205.11916)

AIは、なぜ「いきなり答え」を間違えるのか

ChatGPTのようなAIに、ちょっとした計算や場合分けを頼むと、もっともらしい顔で間違えることがあります。「3クール×自費単価の合計は?」「この条件だと何本?」——答えは一瞬で返ってくるのに、よく見ると数が合わない。

理由はシンプルで、AIは結論を急ぐと、途中の考える手順を飛ばしてしまうから。人間でも、暗算で一気に答えを出そうとすると間違えますよね。筆算で一段ずつ書けば正解にたどり着く。AIもまったく同じでした。

今回の一手:質問の前に「ステップごとに考えて」

東京大学とGoogleのチームが試したのは、拍子抜けするほど単純な方法です。質問の前(または「答えは…」の前)に、「Let’s think step by step(ステップごとに考えてみましょう)」という一文を足すだけ。例を見せたり、専門的な設定をしたりは一切しません。

つまり: お手本(例文)を用意しなくても、「順を追って考えて」と促す一言だけで、AIは自分で推論の手順を書き出すようになる。これを著者らは Zero-shot-CoT(ゼロショット思考連鎖) と名づけました。

結果:一言で、正答率が数倍に

代表的な3つの課題で、普通に質問した場合と「ステップごとに考えて」を足した場合を比べた結果がこちらです。

普通に質問
「ステップごとに考えて」を追加

0 33.3% 66.7% 100% 正答率 (%) 17.7% 78.7% 10.4% 40.7% 12.8% 91.4% 計算問題 文章題 コインの裏表 薄い棒=普通に質問/濃い棒=一言を追加(AIモデル: text-davinci-002)

一言を足すだけで、計算問題は17.7→78.7%、文章題は10.4→40.7%、コインの裏表(手順を追う問題)は12.8→91.4%に。

とくに計算問題は約4倍、手順を追う問題は7倍以上。お手本を見せる従来のやり方(例文を8個提示しても正答率は33.8%どまり)よりも、「考え方を書かせる」ほうがずっと効いたのが要点です。

なぜ効くのか:答えではなく「過程」を書かせる

「ステップごとに考えて」と言われると、AIはまず途中の考え=計算過程や場合分けを文章で書き出します。すると、その書き出した手順を土台に最後の答えを導くので、いきなり結論を出すより間違いが減る。人間が「とりあえず筆算してみる」と正解率が上がるのと同じ理屈です。

逆に言えば、AIは賢くなかったのではなく、持っている力を引き出せていなかっただけ。プロンプト(指示の出し方)ひとつで眠っていた能力が表に出る——これがこの論文の面白さです。

明日からのAI活用へ

歯科の現場でも、AIに「考えさせる」場面は意外と多いはずです。使い方は簡単で、計算や場合分け・段取りを頼むとき、末尾にこの一言を足すだけ。

そのまま使える一言: 「ステップごとに(順を追って)考えてから答えてください」

たとえば——自費治療の見積もり内訳を出させるとき、リコール率や来院数の集計ロジックを確認したいとき、保険点数の算定条件を場合分けしてほしいとき、勉強会の段取りを時系列で組ませたいとき。「答えだけ」より「過程つき」で出させたほうが、間違いにすぐ気づけるのも実務上の大きな利点です(途中式が見えるので検算できる)。

ここだけ、冷静に補助線
これは2022年の少し前のAIモデルでの実験です。最新のAIは複雑な推論を自動で行う場面も増え、簡単な質問ではこの一言が不要なこともあります。ただ、込み入った計算・条件分岐では今でも有効。また、これは「正しく考える」効果であって「正しい知識を持つ」保証ではありません。出てきた数字や条件は、必ずご自身で確認を。“手間ゼロで精度が上がる保険”として持っておくと便利です。

今日のひとこと

AIに計算や段取りを頼むときは、「ステップごとに考えて」の一言を添える。たったこれだけで、AIは過程を書き出し、答えの精度がぐっと上がります。しかも過程が見えるから、こちらも検算できる。

出典:Kojima T, Gu SS, Reid M, Matsuo Y, Iwasawa Y. Large Language Models are Zero-Shot Reasoners. NeurIPS 2022(arXiv:2205.11916)。
本記事は論文の要点を歯科従事者向けにまとめた解説です。AIの出力は誤りを含むことがあります。臨床・経営の判断は必ずご自身で内容を確認してください。
歯科論文と歯科でのAI活用をわかりやすく|prime-dentalnet.com