AI活用

AIに難しい仕事を任せるなら、「答えの見本」より「考え方の見本」

歯科×AI活用

プロンプトの基本/Chain of Thought(思考の連鎖)

AIに難しい仕事を任せるなら、「答えの見本」より「考え方の見本」

AIに少しこみ入った作業を頼むと的外れ——その多くは「見本の見せ方」が原因です。答えだけの見本ではなく、たどり着くまでの考える過程を見せると、AIは急に賢く振る舞います。これが今のAIブームの土台になった有名論文です。

論文
Chain-of-Thought Prompting Elicits Reasoning in Large Language Models
著者
Wei J, ほか(Google Research, Brain Team)
掲載
NeurIPS 2022
種類
ベンチマーク実験(AIの推論能力の検証)
PMID
—(arXiv:2201.11903)

「答えだけの見本」では、AIは手順を真似できない

AIに何かを頼むとき、私たちはよく「お手本」を1〜2個見せます。たとえば「Q:◯◯ → A:◯◯」のように、質問と答えのペアを示すやり方です。ところが、こみ入った計算や場合分けでは、この「答えだけの見本」だとAIはうまく真似できません。途中をすっ飛ばして、それらしい答えを出してしまう。

人間でも、答えだけ書かれた問題集を渡されても解き方は身につきませんよね。AIも同じでした。

今回の一手:見本に「考える過程」を書き込む

Googleのチームが試したのは、見本の答え部分に「どう考えてその答えに至ったか」を一段ずつ書き足すこと。「テニスボールが5個、3個入りの缶を2つ買ったから5+6=11個」のように、思考の道筋まで見せたのです。

つまり: お手本を「Q→A」から「Q→(考える過程)→A」に変えるだけ。これを Chain of Thought=思考の連鎖 と呼びます。AIは見本の”考え方”を真似て、自分でも順を追って解くようになります。

結果:専用に訓練したAIすら上回った

難しい文章題のテスト(GSM8K)での正答率がこちらです。考え方の見本を見せるだけで、わざわざ専用に訓練したAIや、それまでの世界最高記録すら超えました。

従来のやり方
思考の手本を見せる

0 33.3% 66.7% 100% 正答率 (%) 18% 33% 55% 57% お手本=答えだけ 専用に微調整したAI 従来の最高記録 思考の手本を見せる 難しい文章題ベンチマーク GSM8K(AIモデル: PaLM 540B)

答えだけの見本では18%。考える過程を見せると57%に跳ね上がり、専用訓練したAI(33%)や従来の最高記録(55%)を上回った。

なぜ効くのか:手順を真似て、自分で考える

AIは見本から「形」を真似ます。答えだけ見せれば答えだけを真似て当てずっぽうになる。考える過程を見せれば、過程ごと真似て順を追って解く。だから難しい問題でも正解にたどり着きやすくなる、というわけです。

面白いのは、この力が大きなAIほど強く出ること。小さいAIではあまり効かず、十分に賢いAIで初めて「考え方を真似る」能力が花開きました。

明日からのAI活用へ

前回の「ステップごとに考えて」(一言を足すだけ)が手軽版なら、今回はその上位版=自分の考え方を見本で見せるやり方です。AIに任せたい作業が複雑なほど効きます。

そのまま使えるコツ: 頼みたい作業を、まず自分で1例だけ「こう考えて、こう判断して、こうなる」と順に書いて見せる。そのうえで本番の依頼をする。AIはあなたの判断の筋道を真似てくれます。

たとえば——問診メモから注意点を抽出させたいなら、1件だけ「この記述に注目→だからこのリスク」と思考を書いて見本にする。自費カウンセリングの説明文を作らせるなら、1パターンだけ「相手の不安→それに答える順番」を書いて渡す。見本の質が、出力の質を決めます。

ここだけ、冷静に補助線
これも2022年の研究で、当時の大きなAIで検証されたものです。最新AIは見本なしでも考える場面が増えましたが、「自分の判断の型」を真似てほしいとき、見本を見せる効果は今も健在。なお、AIが過程をうまく書けても結論が正しいとは限りません。出てきた内容は必ずご自身で確認を。面白い結果で、続報も含めAI活用の基本として押さえておきたい一本です。

今日のひとこと

AIに難しい仕事を任せるなら、答えの見本ではなく「考え方の見本」を見せる。あなたの判断の筋道を1例書いて渡すだけで、AIはその型を真似て、ぐっと賢く働いてくれます。

出典:Wei J, Wang X, Schuurmans D, et al. Chain-of-Thought Prompting Elicits Reasoning in Large Language Models. NeurIPS 2022(arXiv:2201.11903)。数値は本文Figure 2(GSM8K)より。
本記事は論文の要点を歯科従事者向けにまとめた解説です。AIの出力は誤りを含むことがあります。臨床・経営の判断は必ずご自身で内容を確認してください。
歯科論文と歯科でのAI活用をわかりやすく|prime-dentalnet.com