ChatGPTを使おうと思ったきっかけ

今日は、私が「GhatGPTは凄いかも?」と思った理由を書いてみようと思います。

私は、2019年に、日本語の医学論文中の固有表現（医薬品名、症状名など）を抽出するクラウドサービスのプロトタイプをCTOの大谷と開発したことがあります。

開発前に、某大手電機メーカーの人工知能研究所の研究員（自然言語処理30年のスペシャリスト）に相談したところ「手堅くLSTMでやってみるのが良いかなと思います。最近Googleが発表したBERTを使ってみるのも面白いかもしれませんが、未だ事例や文献が少なく、特に日本語ではチャレンジになりますけれど…」と言われました。

私は、やるなら最先端でやらないと面白くないからな。と思い、研究員に、手伝っていただけないか?と頼み込み、BERTでチャレンジしました。当時、タイミングよく、京都大学/黒橋先生の研究室がBERT日本語Pretrainedモデルを出されていました。そこで、そのモデルを利用させていただき、医学論文中の固有表現（医薬品名、症状名など）を抽出するモデルを開発しました。

最初に、転移学習用の学習データとして1万件の論文を使用しました。その前処理やアノテーションを自動化をする仕組みの開発から行ったのですが、よい経験になりました。精度も、思った以上に良かったので、BERTの能力に驚いたことを覚えています。

その3年後に、ChatGPTが騒がれ出したので、BERTでチャレンジした固有表現抽出をChatGPTで興味本位で試してみました。

驚くことに、ChatGPTで1行書くだけで、日本語の医学論文から固有表現をそこそこの精度で抽出してきました。これは、衝撃でした。あれほど苦労して実現したことを、ファインチューニング無しで、たった1行で解いてしまった。1つの基盤モデルで様々なタスクに適応できる(マルチタスク)能力の一端を感じました。

2018年10月にBERTが発表され、4年後の2022年11月にChatGPTが発表されているのですが、この4年間の進化は凄まじいと思いました。

人工知能（AI：Artificial Intelligence）という言葉は、1956年に米国の計算機科学研究者ジョン・マッカーシーが初めて使った言葉ですが、その62年後にBERTが発表され、その4年後にChatGPTの発表です。この4年間、凄いと思いませんか?

私は、このLLMの衝撃をきっかけに、PVassistを開発しました。当初、GPT3.5で開発していたのですが、GPT4に変えてから、更に凄くなったことを体感しています。

ChatGPTの価格は、コンテキストサイズによって異なり、GPT3.5の10倍、20倍ですが…

では、また。