ChatGPTが作った記事を添削してみた

[スポンサーリンク]

一般的な話題

ChatGPTが作った記事を添削してみた

[スポンサーリンク]

もうすっかりお馴染みChatGPTですが、Nature Chemistry誌のthesisにも取り上げられていましたので、ブログ記事で遊んでみたいと思います。

以前のポストでいくつかのwebページのアドレスを提示して、その内容を参照してChatGPTにブログ記事を書かせるというのを試してみました。概ね可も無く付加もなくといった記事ができあがったと思っていたのですが、筆者の勘違いでどうもChatGPTはちゃんとweb記事を参照していないような気がしています。先日ChatGPT-4にPluginがベータ版で実装されました。その中にWebPilotというpluginがあり、これを使えばしっかりリンク先を参照してくれます。ただし、学術論文誌などのページの多くは公開ではなく有料であり、そのようなページはChatGPTは読み込むことができません。まあ考えてみれば当たり前なのですが。
ということで、現状ではオープンアクセスではないページを学習することはできないことから、まだまだ専門的なことは理解できないんだなという印象です。という訳で今回のポストではNature Chemistry誌に掲載されたMichelle Francl教授のChatGPTに関するthesisをChatGPT-4に手動でちゃんと読み込ませて、その内容に関するブログ記事を作ってもらい、それを元記事をちゃんと読んで添削してみようという企画です。当然アイキャッチ画像はAIに生成してもらっておりますので意味不明ですがご了承ください。~~消去線~~は筆者が不要だと思う部分、太字は筆者が追加修正した部分になります。

ChatGPT saves the day

Michelle Francl, Nat. Chem., 2023. DOI: 10.1038/s41557-023-01253-7

–ここから–
こんにちは、Chem-Station読者の皆さん。今日は、AIと化学の交差点について考えてみましょう。特に、大規模な言語モデルであるChatGPTが化学教授の仕事をどのように支援できるかについて、興味深い記事を見つけました。その記事は~~、化学教授である~~Michelle Francl教授によって書かれ、ChatGPTが一日を救うというタイトルがつけられています。この記事を基に、ChatGPTの可能性と限界について考察してみましょう。

ChatGPTとは何か？

まず初めに、ChatGPTについて簡単に説明します。ChatGPTは、OpenAIによって開発された大規模な言語モデルで、自然言語処理（NLP）の一部として機能します。このAIは、人間が書いたテキストを学習し、その知識を基に新しいテキストを生成します。これにより、ChatGPTは質問に答えたり、エッセイを書いたり、さまざまなタスクを助けたりすることができます。

ChatGPTの化学教授への応用

Francl教授は、ChatGPTが化学教授の仕事をどのように支援できるかを探求しています。彼女は、自身の仕事の一部をChatGPTに任せてみることで、その可能性を試してみました。例えば、彼女はChatGPTに「Nature Chemistryのコラムを書いてみて」と依頼しました。しかし、その結果は期待外れで、高校生が書いたような5段落のエッセイが返ってきました。

しかし、彼女は諦めずに、ChatGPTに「もっと生き生きとした文章にしてみて」と再度依頼しました。すると、ChatGPTは次のような文章を生成しました。

「化学教授になることは決して容易なことではありません。学生の教育と指導だけでなく、自分の分野の最新の研究と進歩を追いつける必要があります。それは少なくとも圧倒的なことです。しかし、もし私があなたの生活を楽にする方法があると言ったら？ここにChatGPTが登場します – あなたの一日を救うための人工知能ツール！」

この経験から、ChatGPTが化学教授の仕事を助ける可能性がある一方で、まだ完全には人間の役割を置き換えることはできないことが明らかになりました。

ChatGPTの限界

Francl教授はまた、ChatGPTが化学の問題を解決する能力についても試してみました。例えば、~~5°Cの温度での氷河水のpHが7である場合、それが酸性か塩基性か~~を判断する問題です(筆者注：氷水のpHが7の時、5 °Cでは酸性になるか塩基性になるかという問題です）。しかし、ChatGPTはpH7が中性であると主張し、温度が関係ないと誤解していました。これは、ChatGPTがまだ化学の専門的な知識を完全に理解していないことを示しています。

また、他の研究者たちもChatGPTの化学に関する能力を試してみましたが、同様の結果が得られました。例えば、化学者のCayque Castro NascimentoとAndré Pimentelは、ChatGPTが直接的な化学のタスクを遂行する能力を調査しました。[1]その結果、ChatGPTは提供された例の半分以上で配位化合物の幾何学を提供するのに苦労し、化学化合物の正確なSMILES表現を2/3以上のケースで構築することができませんでした。

ChatGPTの可能性

しかし、ChatGPTがまだ完全には化学教授の役割を果たすことはできないとしても、その可能性は確かに存在します。Francl教授は、ChatGPTが難しいメールに対する返信を作成するのを助けることができたと述べています。これは、ChatGPTが特定の管理タスクを助けることができることを示しています。

また、ChatGPTが将来的には化学教授の仕事を大きく変える可能性があることも指摘されています。Edward Felton、Manav Raj、Robert Seamansは、生成的AIモデルが700以上の職業、特に化学の仕事に及ぼす可能性のある破壊的な影響を定量的に評価しました。[2]彼らは、AIによる影響は仕事を廃止する可能性がある一方で、労働者が仕事をする能力を強化する可能性もあると指摘しています。

まとめ

ChatGPTは、化学教授の仕事を助けるための有望なツールであることが明らかになりました。しかし、現時点では、その能力はまだ限定的であり、特に専門的な化学の知識を必要とするタスクには適していません。しかし、ChatGPTが管理タスクを助ける能力を示したことは、その可能性を示しています。

今後、ChatGPTのようなAIツールは、化学教授の仕事を大きく変える可能性があります。それは、仕事を廃止する可能性もあれば、労働者が仕事をする能力を強化する可能性もあります。私たちは、この新しいテクノロジーが私たちの仕事をどのように変えるかを理解し、それに適応するための準備を始める必要があります。

最後に、ChatGPTについてのFrancl教授の考察は、AIと化学の交差点についての興味深い洞察を提供しています。ChatGPTが化学教授の一日をどのように救うかについての彼女の記事は、AIが化学の世界にどのように影響を与えるかについての重要な議論を提供しています。

以上、ChatGPTが化学教授の日々をどのように救うかについての記事の要約と解説でした。このAIツールの可能性と限界についての詳細な議論は、今後の化学の世界におけるAIの役割を理解するための重要な一歩となるでしょう。
–ここまで–
まあ概ね言いたいことは伝わりますし、元の内容を逸脱してはいませんので大した添削もしなくてよかったです。ChatGPTの可能性のところでe-mailの返信を作るという例だけがでていますが、基礎科目に関する学習支援の有効性についての内容が削られています。むしろこっちの方が大事な気がしますが、そこら辺はブロガーの裁量の範囲内なのでまあ仕方ないですね。この辺りの創造性の部分がAIに対抗して我々Biological intelligence (BI)の勝る部分なんだろうなと。

参考文献

1. 1. Castro Nascimento, C. M.; Pimentel, A. S. J. Chem. Inf. Model. 63, 1649–1655 (2023). DOI: 10.1021/acs.jcim.3c00285
  2. Felten, E. W.; Raj, M.; Seamans, R. Occupational Heterogeneity in Exposure to Generative AI (April 10, 2023). SSRN DOI: 10.2139/ssrn.4414065