ChatGPTは怖くない！？～学生がレポートでChatGPTを使ったら・・・～

　ちょうど5年前となる2018年6月のエントリーで、「「キュレーション型剽窃」の悪質さ～若手研究者研究倫理の現状～」を投稿しました。

　そのエントリーのきっかけとなったのは、ある公益財団法人が主催する大学（院）生を対象とした顕彰論文事業なのですが、今年度、新たに興味深い応募論文がありました。

　図1は、その論文に類似性判定ソフトをかけた結果です（文章自体はわからないような画像処理をしました）。異なる色は、異なるウェブ情報源であることを示しており、ところどころ、ハイライトされた部分の先頭で、文章のちょっと上にある濃い色の塊（実際には四角で数字が白抜きになっている）は、該当する具体的なウェブ上のページにとんで確認できるようになっています。

　ご覧いただければわかるように、見事な「キュレーション」（ウェブ情報のつまみ食い）です。この論文は興味深い試みで、投稿者は、論文の3分の2ほど進めたところで、「実は、ここまでの論文は、ChatGPTに書かせてみました」とネタばらしをきちんとしてくれました。

図1　「ネタばらし」までの文章・類似性判定結果

　早速、こうした論文が、顕彰論文の応募論文として投稿されるのだと、感心したのですが、ここでさらに興味深い知見が得られました。

　図2は、応募者がネタばらしをした後、論文の主題について、改めて議論を展開した部分です。ネタばらし後ですから、初めは、ここから、応募者自身が、自分で考えたことを議論しているのだと思いながら読みました。しかし、類似性判定の結果をみると、図1と同様のキュレーションであることがわかりました。

図2　「ネタばらし」以降の文章・類似性判定結果

　キュレーションの巧みさ（多数のウェブ情報を巧みに組み合わせている様子）から、おそらく、応募者は、ネタばらし以降も、ChatGPTの回答を貼り付けたと思われます。実際、当ブログ主自身、ChatGPTに、図2にあたる部分の主題を、うまく回答を引き出すようにたずねると、論文と同様の回答を得ることができました。

　これは、応募者のブラックユーモアとも考えられますが、意図は定かではありません。ただ、自らChatGPT利用を申告してくれて、ネタばらししたあと、自分の文章のように見せていることで、自然実験となってくれています。そこで、この自然実験から分かるのは、ChatGPTを利用したか否かは、類似性判定により、かなりの精度で推定できそうだということです。

　ChatGPTを学生が利用するようになり、この春学期、当ブログ主を始め、周囲の大学教員たちは、レポート課題をどうするか、頭を悩ませています。類似性判定ソフト開発会社は、AI生成の文章かどうかの判定アルゴリズムの開発と実装も積極的に取り組んでいるようです。

　ただ、今回、顕彰論文への応募論文から分かったのは、ChatGPTは、ウェブ情報を大量に飲み込んで、それを組み合わせて吐き出している以上、類似性判定で、そのキュレーションする姿が露わになるのではないか、ということです。

　面白いことに、実際の学生が、自分の頭で書いた文章を類似性判定すると、こんなにきれいなキュレーションにはなりえないのです。これは、大学教員にとって、朗報かもしれませんし、ヒトの言葉の紡ぎだし方は、AIの確率論的文章生成とは異なるロジックに基づいていることも示しているように思います。

　大学教員の方は、是非、レポート課題については、類似性判定で、華麗にウェブ情報を掬い上げて再構成しているかどうかを、確かめてもらえればと思います。また、学生の皆さん、ChatGPTをそのまま使うと、その見事なキュレーション具合で判断されてしまう可能性が高いです。そこから、自分の頭で考え、調べて、よりよいレポートを書いてもらうことで、皆さんの思考力、文章力が高まると思います。

　もっとも、これは、ChatGPT3.5の段階のことで、4.0以降、さらに進化した場合にどうなるか、自分でも試して行きたいと思っています。

　最後までお読みいただき、ありがとうございました。