ChatGPT・LLMのファインチューニングについて徹底解説

この記事を書いた人

北爪 聖也

株式会社pipon代表取締役。 キャリアはADK(広告代理店)でテレビ広告運用をして残業120時間するが、ネット広告では自分の業務がAIで自動化されていることに驚愕する。そこで、機械学習受託会社に転職し、技術力を身につけた後、piponを創業。現在、製薬業界、大手監査法人、EC業界、様々な業界でAI受託開発事業を運営。

X Facebook YouTube

ChatGPTやLLMをこちらの思い通りのチャットボットになってもらうための手法はいくつかあります。

• プロンプトをゴリゴリと書いて、ChatGPTをこちらの意図通り動かす
• 文書をEmbeddingしてそれをベクトルデータベースに格納し、最適な文書を引っ張り、参照させながら、ユーザーの意図通りに動かす
• データを用意してChatGPTをファインチューニングさせる。
• LLaMA(Metaの開発したLLM)に自前のデータ加えた分野特化LLM作る

様々な方法がある中で、今回はファインチューニングを行う方法について解説します。

ここで言うファインチューニングは、よりパラメータ数の少ないニューラルネットワークを作り、そちらのパラメータだけをアップデートするParameter efficient fine-tuning(PEFT)と呼ばれる手法の話です。

層全体のパラメータ更新ではなくて、層の中の一部のパラメータの更新をします。

こちらの詳しい話について、株式会社pipon代表の北爪がVoicyでも解説しています！通勤の際に短時間で情報をINPUTすることができます！

https://voicy.jp/channel/545/626975

piponではエンジニアの皆様に業務委託や副業でAI・データサイエンスの案件をご紹介しています！

piponの案件にご興味がある方は以下のフォームにご登録ください。案件をご案内します。 https://share.hsforms.com/1qk0uPA_lSu-nUFIvih16CQegfgt