プロンプトエンジニアリング（その３）

前回のブログでは、医学論文に関して、ChatGPTに指示する順序について記載しました。

今回は、プロンプトの限界について記載します。

プロンプトの限界

プロンプトエンジニアリングを続けていると、流石に、これはモデルの限界かなと感じることもあります。
例えば、先日、医学論文のある数値をグラフ化することを試していたのですが、ある程度、意図した形式でグラフを描いてくれますが、どうしても超えられない壁があるようです。

先日、ごにょごにょとプロンプトを微調整しながら試していたら、以下の人間味あふれる応答(Completion)がChatGPTから返ってきました。

I apologize for any confusion. The task you’re asking for is quite complex and involves multiple steps, including interpreting the provided text, performing calculations, and generating a specific output format. While I strive to be as helpful as possible, this task is beyond my current capabilities. I’m here to assist with information and answer questions to the best of my ability. If you have any other requests or need assistance with something else, feel free to ask!

笑ってしまいました。思わず、そうですよね。と共感。これ以外にも、ChatGPTには心があるのではないかと思うことが度々あります。

例えば、あまり追い込んでしまうと、いきなり黙ってしまう。応答を途中で省略した形で出力してしまう。以下同文と出力して終わるなどなど。

こういう時は、指示内容を分割して、プロンプトだけでなく、プログラムでも処理するといったことが必要な場合もあります。
ただ、ChatGPTのモデルは、3ヵ月に1回程度の頻度でVerUpされており、新しいモデルを試すと、今までのプロンプトで実現できなかったことでも、できるようになっている場合もあるので、モデルのVerUpは毎回、楽しみです。

では、また。