AIに少し重めの作業を頼む。しばらくすると、「完了しました」と返ってくる。でも、ほんまに全部できてるんかな、と思う。
結局また、「本当に全部できてる？」「もう一回見返して」と頼む。これ、地味に面倒です。
AIに任せたいのに、最後の確認だけ毎回こっちに戻ってくる。しかも「見返して」と言うと、何か直してくれることもある。だから余計に、毎回言ってしまいます。
「もう一回考えて」だけでは足りないらしい
そんなときに見つけたのが、Huangらの Large Language Models Cannot Self-Correct Reasoning Yet という研究です。
この研究では、AIに外部から正解やヒントを与えず、自分だけで推論の間違いを直させても、安定して良くなるわけではありませんでした。場合によっては、見直した後の方が答えが悪くなることもありました。
え、そうなんや。私はAIの答えが怪しいとき、普通に「もう一回見返して」と頼んでいました。
でも考えてみると、「見返して」では何を見るのかが決まっていません。
- 文章の内容を見るのか
- 抜けを見るのか
- 最初の依頼どおりになっているかを見るのか
そのあたりまでAI任せです。そこで、確認の仕方を少し変えてみました。
「見返して」から「最初の依頼と見比べて」へ
たとえばAIに、「記事を書いて。参考にした論文のリンクを入れて。最後に読者が試せることも書いて」と頼んだとします。
これまでなら、完成したあとに不安になったら「もう一回見返して」と頼んでいました。それを、最初の依頼と完成物を照らし合わせる確認に変えます。
読者がそのまま試せる形にすると、こんな指示です。
最初の依頼と完成物を見比べて、
条件を一つずつ確認して。やっていることは似ています。でも、見ているものが違います。
前は、できあがった文章をもう一度見てもらう。今度は、最初の依頼と完成物を照らし合わせる。ここが違います。
実際に、抜けを1件拾えた
実際にこの考え方で試したところ、作業した側では「PASS」になっていたのに、別の確認では必須項目の抜けが1件見つかりました。そこを直して、もう一度確認するとPASS。
一回だけなので、「この方法なら見落としがなくなる」とまでは言えません。ただ少なくとも今回は、いつもの「見返して」では拾えていなかった抜けを、別の確認で拾えました。
ここはちょっと面白かったです。これからもう少し試して、次の3つを見ていこうと思っています。
- 「見返して」と言う回数が減るのか
- やり直しまで減るのか
- 逆に、確認の手間が増えるだけなのか
もしChatGPTに何度も「本当にできてる？」「もう一回見返して」と言っているなら、次に少し重めの仕事を頼むときだけ、この指示に変えてみる。
一度試してみる価値はありそうです。