プロンプトエンジニアリング（その１）

これまで1年以上の間、ほぼ毎日、1万回程度のプロンプトの試作を繰り返してきました。
自分で言うのもなんですが、医学論文を相手にプロンプトをここまで試している人は多分いないのではないかと思っています。

これまでのプロンプトエンジニアリング経験から感じていることを記載します。

ChatGPTが応答する言葉

医学論文などから医薬品名、症状名、臨床検査名などを抽出する場合、どういった指示を行えばよいか?　最初はとても難しかったです。(今でも難しいことはありますが…）
例えば、医薬品名を取得したい場合、「薬剤」、「医薬品」どちらを使った指示が良いのでしょう‥
指示する時の言葉の選択次第で、Completion（ChatGPTからの回答）が変わるため、慎重に言葉を選ぶ必要があります。
また、PVassistの解析精度を確保するために、プロンプトは日本語でなく、英語で記載していますが、日本語に対応する英語が存在する場合と、存在しても微妙に意味が異なる場合があるため、その辺りも考慮してプロンプトを作成する必要があります。

細かなことも考慮しなければなりません。例えば、「医薬品名」と指示すべきか「医薬品」と指示すべきか、そういったことのちょっとした工夫というか、気の使いようが精度に影響を及ぼします。

どういったところに気をつかうべきか、もうそれは、試して感じてみるしか方法はありません。なので、数百回程度のプロンプト作成程度では、人間が意図した結果を取得するのは難しいのです。

PVassistは「指示ボタンをクリックすれば、単にプロンプトを動かしているだけじゃないか」と思われる人もおられるかもしれません。しかし、実際は、全く異なります。
まぁ、プロンプト以前に、クラウドサービスとして安定して簡単に使えるようにするためには技術力と経験が必要なので簡単には実現できませんが…

では、また。