AI活用

「あなたは一流の歯科医師です」——AIに役割を演じさせても、答えは賢くならない

歯科×AI活用

プロンプトの新常識/ペルソナ設定の検証

「あなたは一流の歯科医師です」——AIに役割を演じさせても、答えは賢くならない

AIに頼むとき「あなたは◯◯の専門家です」と役割を与える人は多いはず。各社の公式ガイドも勧める定番技です。ところが大学院レベルの難問で検証したら、専門家を演じさせても正答率は上がらず、むしろ下げる役割設定すらありました。

論文
Prompting Science Report 4: Playing Pretend — Expert Personas Don’t Improve Factual Accuracy
著者
Basil S, Shapiro I, Mollick E, ほか(ペンシルベニア大学 Wharton校)
掲載
Generative AI Labs, Wharton(2025・テクニカルレポート)
種類
実証研究(6モデル・大学院レベル難問で検証)
PMID
—(Wharton GAIL Report 4)

「役割を演じさせる」は、公式も勧める定番だった

「あなたは世界トップクラスの物理学者です。専門知識をもとに答えてください」——こういう役割設定(ペルソナ)は、Google・Anthropic・OpenAIの公式ガイドでも”良い手法”として紹介されてきました。なんとなく、専門家になりきらせれば賢く答えてくれそうな気がしますよね。

でも本当に正答率が上がるのか? Wharton校のチームが、まじめに測りました。

今回の一手:役割あり/なしを難問でガチ比較

6種類のAIに、科学・工学・法律の大学院レベルの難問(人間の博士でも正答率65%という超難問セット)を解かせ、次の3パターンを「役割なし」と比べました。

比べたもの: ①問題に合った専門家(物理の問題に「物理の専門家」)②分野違いの専門家(法律の問題に「物理の専門家」)③わざと知識の低い役割(素人・子ども・幼児)。基準は「役割なしで、そのまま質問」。

結果:専門家でも変わらず、幼児では下がる

役割なし(基準=0)と比べた正答率の変化です。専門家を演じさせてもほぼ動かず、知識の低い役割では明確に下がりました。

専門家ペルソナ(差なし)
知識の低いペルソナ(悪化)

0 ペルソナなし=基準 -5 正答率の変化(%ポイント) -1.0 物理の専門家 +0.2 数学の専門家 -1.8 素人 -5.2 幼児になりきり GPT-4o・大学院レベルの難問(GPQA Diamond)。専門家ペルソナは有意差なし、幼児は有意に低下

専門家ペルソナは±1ポイント前後で統計的な差なし。一方「幼児になりきり」は5.2ポイントも下がった(有意)。役割名は知識を足さない。

6モデルを通して、専門家ペルソナに一貫した上乗せ効果はなし。分野違いの専門家を当てると下がることもあり、知識の低い役割はおおむね害になりました。

なぜ効かないのか:役割名は知識を増やさない

当たり前のようで大事な点です。「あなたは専門家です」と言っても、AIが持っている知識そのものは増えません。肩書きはAIの中身を変えないのです。むしろ「幼児になりきって」のような指示は、わざと幼く振る舞おうとして正解から遠ざかる——役割に引っ張られてしまう、というわけです。

明日からのAI活用へ

誤解しないでほしいのは、ペルソナが「無意味」ではないこと。役割設定は口調や視点を変えるには有効です(やさしい言葉で、患者さん目線で、など)。効かないのは「正解率を上げる目的」のとき。

そのまま使える整理: ①正確さがほしい質問に、専門家の肩書きを付けても無駄(基本は不要)。②「やさしく」「患者さん向けに」など口調・視点を変えたいときだけ役割を使う。③正確さを上げたいなら、肩書きより具体的な情報や前提を渡す(前回の話と同じ)。

たとえば——AIに専門的な相談をするとき「あなたは歯科の専門家です」と書く必要はありません。それより知りたい条件や背景を具体的に書くほうが、ずっと良い答えが返ってきます。

ここだけ、冷静に補助線
これは「客観的な正解がある選択問題」での話で、文章のトーンや創作には当てはまりません。また一部のモデル(Gemini系)では例外的な挙動も見られました。ペルソナは”味付け”には便利、”正確さ”の底上げには期待しない——そう切り分けて使うのがおすすめです。きれいに常識を検証してくれた、気持ちのいい一本です。

今日のひとこと

AIに「あなたは専門家です」と役割を演じさせても、正答率は上がりません。肩書きはAIの知識を増やさないから。役割設定は口調や視点を変える”味付け”に使い、正確さがほしいときは具体的な情報を渡しましょう。

出典:Basil S, Shapiro I, Shapiro D, Mollick E, Mollick L, Meincke L. Prompting Science Report 4: Playing Pretend — Expert Personas Don’t Improve Factual Accuracy. Generative AI Labs, The Wharton School, 2025。数値はGPQA Diamond・GPT-4oのベースライン比(RD)より。
本記事は論文の要点を歯科従事者向けにまとめた解説です。AIの出力は誤りを含むことがあります。臨床・経営の判断は必ずご自身で内容を確認してください。
歯科論文と歯科でのAI活用をわかりやすく|prime-dentalnet.com