ChatGPTやLLMをこちらの思い通りのチャットボットになってもらうための手法はいくつかあります。
- プロンプトをゴリゴリと書いて、ChatGPTをこちらの意図通り動かす
- 文書をEmbeddingしてそれをベクトルデータベースに格納し、最適な文書を引っ張り、参照させながら、ユーザーの意図通りに動かす
- データを用意してChatGPTをファインチューニングさせる。
- LLaMA(Metaの開発したLLM)に自前のデータ加えた分野特化LLM作る
様々な方法がある中で、今回はファインチューニングを行う方法について解説します。
ここで言うファインチューニングは、よりパラメータ数の少ないニューラルネットワークを作り、そちらのパラメータだけをアップデートするParameter efficient fine-tuning(PEFT)と呼ばれる手法の話です。
層全体のパラメータ更新ではなくて、層の中の一部のパラメータの更新をします。
こちらの詳しい話について、株式会社pipon代表の北爪がVoicyでも解説しています！通勤の際に短時間で情報をINPUTすることができます！
https://voicy.jp/channel/545/626975
piponではエンジニアの皆様に業務委託や副業でAI・データサイエンスの案件をご紹介しています！
piponの案件にご興味がある方は以下のフォームにご登録ください。案件をご案内します。 https://share.hsforms.com/1qk0uPA_lSu-nUFIvih16CQegfgt
