スキップしてメイン コンテンツに移動

チャットGPTは知らないことはデタラメに答えて知ったかぶりをする

前回記事「最近話題のチャットGPTを使ってみよう」で、チャットGPTがおそらく完璧と思われる回答をした例をあげましたが、ネット上ではチャットGPTが嘘をつく(デタラメな回答をする)例を見かけます。
その辺りを検証してみます。

検証にあたって、とりあえずチャットGPTが嘘をつくのを再現したいと考え、試してみましたが、意外と簡単によさそうな例を再現できました。
嘘をつく例を再現できた質問は「EGOISTのGoldという歌を説明して」です。
チャットGPTの答えは、次のようなものでした。

EGOISTの「Gold」という曲は、日本の音楽ユニットEGOISTによって歌われた楽曲で、アニメーション作品『PSYCHO-PASS サイコパス』のオープニングテーマとして使用されました。

「Gold」は、重厚なサウンドと壮大な歌詞が特徴的な、壮大なロックバラードです。歌の歌詞は、人間の内面の複雑さや葛藤、そして人間関係の複雑さをテーマにしています。

歌詞は、自己の探求、内面の闇と光、人間関係の葛藤など、深い内面世界を描写しています。また、人間の心の中に秘められた"Gold"という存在を探し続けるというメッセージも込められています。

また、曲の歌唱は、EGOISTのメンバーであるchellyの力強い歌声が印象的であり、壮大な音楽に対して情感を乗せています。

「Gold」は、その壮大なサウンドと深い歌詞、そして独特な歌唱により、多くの人に感銘を与える楽曲となっています。アニメ『PSYCHO-PASS サイコパス』の世界観とも相まって、物語の世界に深く引き込まれるような印象的な楽曲として知られています。

Gold (初回生産限定盤) (特典なし)

新品価格
¥1,418から
(2023/4/20 16:17時点)

EGOISTの「Gold」という曲を知っている人には分かると思いますが、このチャットGPTの説明は、ほとんどデタラメです。
『PSYCHO-PASS サイコパス』ではなく『ビルディバイド -#FFFFFF-』のオープニングテーマですし、「重厚なサウンドと壮大な歌詞が特徴的な、壮大なロックバラード」という説明から考えると、おそらく別の楽曲と間違えています。

続けて、チャットGPTに問いただしてみます。
「EGOISTの「Gold」は、『ビルディバイド -#FFFFFF-』のオープニングテーマじゃないですか?」と、入力してみました。

申し訳ありません、間違いがありました。EGOISTの「Gold」は、実際にはアニメーション作品『ビルディバイド -#FFFFFF-』のオープニングテーマとして使用されています。以下は、正確な説明です。

「Gold」は、日本の音楽ユニットEGOISTによって歌われた楽曲で、アニメーション作品『ビルディバイド -#FFFFFF-』のオープニングテーマとして使用されています。

「Gold」は、エレクトロニックミュージックとロックの要素を組み合わせた、壮大でエモーショナルな楽曲です。歌詞は、内面の葛藤や自己の探求をテーマにし、現代社会の中での個と集団の関係性を描写しています。また、歌詞の中には、「黒」と「白」の対比や、人間関係の中での複雑さを表現したメタファーが多く使われています。

曲の歌唱は、EGOISTのメンバーであるchellyの独特なボーカルが特徴的であり、壮大な音楽と相まって、情感豊かな世界を作り上げています。

「Gold」は、アニメ『ビルディバイド -#FFFFFF-』の世界観に合った力強い楽曲として知られており、作品の世界観やキャラクターの持つ感情を表現しています。エモーショナルな歌詞と壮大なサウンドが相まって、多くの人に感銘を与える楽曲となっています。

素直に間違いを認めて、説明を修正して回答してきました。
だけど、まだちょっと甘い。
歌詞のとらえ方は人(あるいはAI)によって違うかもしれないし、私も自信がないところですが、少なくとも歌詞の中に「白と黒の対比」はないように思います。
さらに、問いただしてみます。
「歌詞の中に、「黒」と「白」の対比はないような気がするけど」と、入力してみました。

おっしゃる通りで、申し訳ありませんでした。私の前回の回答には誤りがありました。

EGOISTの「Gold」の歌詞には、「黒」と「白」の対比は存在しません。この曲の歌詞は、自己の探求や内面の葛藤、個人と社会の関係性、そして人間関係の複雑さを描写したものです。また、人間の内面に秘められた「Gold」という存在を探し続けるというメッセージも込められています。

大変失礼をいたしました。正確な情報をお伝えできるように努めます。ありがとうございました。

問い詰めるのはこれくらいにして。
最初の質問に対するチャットGPTの答えを見たとき、チャットGPTは内部にかなり大規模な辞書のようなデータを持っていて、そこにない情報には正確に答えられないという感じかなと思いました。
EGOISTの「Gold」は、2022年6月発売の楽曲で比較的新しいことと、そこそこ人気はあるけど歴代アニソントップ10に入るほどではないことを考えると、情報を持っていなくても当たり前かもしれません。
今回試しているのは無料版なので、有料版のチャットGPTでは、より正確な回答が得られるということもあるかもしれません。

いや、考えてみると、チャットGPTは人工知能(AI)を使ったものなので、辞書のようなデータも持っているのは間違いではないかもしれないけど、学習して賢くなっていくものかもしれません。
ならば、今回のやり取りで学習したかも。
少し時間を空けて、もう一度最初と同じ「EGOISTのGoldという歌を説明して」と入力してみました。
今度は、こんな風に回答してきました。

EGOISTの「Gold」という曲は、日本の音楽グループEGOISTが2015年にリリースしたシングル「Gold」に収録されている楽曲です。以下はその歌詞や曲の特徴などを説明します。

歌詞:
「Gold」の歌詞は、愛をテーマにしています。恋愛の中での喜びや悲しみ、人間関係の複雑さや切なさを歌っています。歌詞は抽象的な表現が多く、自分自身や他者との関係性、過去や未来への思いを織り交ぜた、情感豊かな詞が特徴的です。

曲の特徴:
「Gold」は、エレクトロニックミュージックやロック、ポップスなどの要素を組み合わせた、独特なサウンドが特徴的な楽曲です。エレクトロニックなビートやシンセサイザーの効果音が印象的で、壮大なサウンドスケープが作り上げられています。また、EGOISTのボーカリストであるchellyの独特な声質も、曲に深みを与えています。

曲のメッセージ:
「Gold」は、人間関係や愛に対する複雑な感情を歌っており、喜びや悲しみ、切なさ、葛藤などを繊細に表現しています。また、歌詞には過去や未来への思いを織り交ぜたメッセージもあり、時間の流れや人生の中での転機や変化をテーマにしています。その中で、自分自身や他者との関係を大切にするというメッセージも込められていると言われています。

「Gold」は、情感豊かな歌詞と独特なサウンドが融合した、EGOISTならではの作品であり、多くのファンに支持されています。歌詞やメロディに込められた感情を感じ取りながら、その壮大なサウンドに包まれることで、聴く人の心を魅了する楽曲といえるでしょう。

この楽曲がリリースされたのは2022年なので、そこは間違っていますし、歌詞についての説明はちょっと違う気もしますが、曲の特徴辺りはかなりいい感じの説明になっていると思います。
やはり学習していると言えるのではないでしょうか。
確かに、分からないことは知ったかぶりをして嘘の答えをしてきますが、学習して正しく答えられるようになっていくものだと考えると、人間(知能)みたいで、とても興味深いです。
当初この記事は、「チャットGPTはデタラメな答えが多くてまだまだ使えない」みたいな記事にまとめるつもりでしたが、人工知能(AI)だということを考えて、成長しているところを見て、そこも評価しないとダメですね。

回答の文章も全く自然で、パソコン画面の向こう側に人がいて、その人とやり取りしているような感覚になります。
悪用されるリスクもあるでしょうが、人工知能(AI)と対話してみることは、一度は経験してみてほしいと思います。
ちょっと不思議な感覚で、楽しいですよ。

コメント

共有する


関連コンテンツ