我々の生活のなかに急速に浸透してきた生成AI。最近では、ネット検索時にAI要約がページの先頭に出されるような仕様になっている場合も多く、生成AIによる要約やまとめを目にする機会も増えてきた。
読者の中にも、日常生活や業務で活用されている方も多いのではないだろうか。筆者もその一人ではあるものの、大学で学生にレポート課題を出してもAIの応答をそのままコピペしてくる場合もあり、「うーん」と思うときもある。
生成AIについては公開当初から、会話等のコミュニケーション面では流暢な応答が実現されていた一方で、特定分野の知識や専門的な知見などの「知恵袋」という意味では課題もあった。だがそれも、言語モデル等の技術開発の進歩もあって、かなり改善されてきた印象だ。
筆者自身、大学で情報倫理や情報リテラシー関係の科目を担当している関係で、簡単な手法ではあるが生成AIの得手不得手について検討してきた。これまで試した限り、①この世界の物理法則や自然法則に基づく推論や予測、②情報の裏付けや根拠の提示（例：存在しない文献を提示してくる）、③ひらめきやとんちが必要なクイズなどは、生成AIの代表的な不得意分野のように思っている。
たとえば、「深さ3メートル（m）、幅3m、長さ3mの穴に、土は何立方メートル（㎥）⼊っているだろうか？」といった設問である。問題文から素直に計算すると3×3×3＝27㎥となるが、実はこのクイズにはちょっとしたひっかけがある。それは、「穴」は空洞なので、「土」は入っていないということである。
そのため、ここでは「0㎥」が正解だ。単なるなぞなぞのようだが、一応この問題は、ヒトの直感的思考を測定する尺度（CRT-2）の一部として、心理学関連の実験等でも使用されているものだ。
以前は、こうしたとんちに、ほとんどの生成AIがひっかかっており、27㎥であるという答えと計算過程を丁寧に示してきた。しかし最近では、こうしたかつての弱点も克服しつつあるようで、ひっかけ問題であることを見抜き、正確に応答してくるAIモデルも増えてきている。技術面の進歩には目を見張るものがある。
