①「うちは10万トークン読めます」の落とし穴

AIの性能競争で目立つのが「入力できる長さ（コンテキスト）」。「128,000トークン（本一冊分）OK」のように宣伝されます。だから私たちも、長い資料やマニュアルを丸ごと貼って「要約して」「ここから探して」とやりがちです。

でも、”入れられる量”と”ちゃんと理解できる量”は同じなのでしょうか？ それを精密に測ったのがこの研究です。

②今回の一手：入力量を変えて理解度を測る

研究チームは、AIに与える文章の長さを少しずつ変え、容量の何割まで埋めると理解が落ちるかを1,000サンプルで細かく調べました。文章を不自然に水増しせず、自然な長さで測ったのがポイントです。

③結果：4割を超えたあたりで、崖のように落ちる

容量の40%までは安定していた理解力が、50%に近づくと急落しました。

怖いのは、これがなだらかな低下ではなく”崖”だということ。40%まではちゃんと読めているので、つい安心して詰め込む。すると、ある一線を越えた瞬間に理解が崩れる——気づきにくい落とし穴です。

④なぜ起きるのか：見かけ倒しの「長文対応」

著者はこれを「浅い長文適応」と呼びます。AIは短〜中くらいの長さなら上手にこなせるよう仕上がっているけれど、本当に長くなると同じようには処理しきれない。「128K読めます」は”入れられる箱の大きさ”であって、”箱いっぱいまで理解できる”という意味ではなかった、というわけです。

⑤明日からのAI活用へ

対策は、長文を「全部渡す」から「絞って渡す」へ。

たとえば——分厚いマニュアルから一点を調べたいなら、全部を貼らずに該当しそうな章だけを渡す。長い問診記録を要約させるなら、何件かに分けて要約し、最後にまとめる。そのほうが速くて正確です。