ChatGPT や Claude のような LLM（大規模言語モデル）は、いきなり完成品として生まれるわけではありません。「事前学習 → 追加学習 → 推論」という 3 つの段階を順番に通って、ようやく私たちが使える形になります。この記事では、その 3 段階を初めての人でも分かるように分解し、「ファインチューニング」がどこに位置するのか、そして実務で耳にする RAG との使い分けまで、図を交えて整理します。
FIG.1 学習（前半2つ）でモデルを「作り」、推論で毎日「使う」
ざっくり言うと、最初の 2 段階＝「モデルを作る」工程、最後の推論＝「作ったモデルを使う」工程です。作るのは年に数回の大仕事ですが、使うのは毎日・毎秒。だからコストの出どころも段階ごとに大きく違います。順に見ていきましょう。
01事前学習：言葉と世界の知識を覚える
事前学習（Pre-training）は、まっさらなモデルに 「言語の使い方」と「世界の知識」を一気に詰め込む段階です。やっていることは意外と単純で、「次に来る単語を当てる」という穴埋めをひたすら繰り返すだけ。Web ページ・書籍・論文・コードなど、数十兆語ぶんのテキストで延々と予測練習をさせます。
「単語当て」を天文学的な量こなすうちに、モデルの内部には文法・常識・簡単な論理のパターンが自然と蓄積されます。これがあとの全段階の「土台」になります。
- データ：Web・書籍・論文・コードなど、数十兆トークン規模
- やること：次トークン予測（巨大な穴埋め問題）
- 規模：フロンティアモデルで 1 万〜2 万枚以上の GPU を数週間〜数ヶ月連続稼働
- 費用：2026 年級の最前線モデルで 1 回あたり 2〜5 億ドル規模（電力が GPU 以上のボトルネックになりつつある）
- 担い手：OpenAI・Anthropic・Google・Meta・Mistral など、ごく一部のプレイヤー
つまり事前学習は 「資金力のある組織がまとめてやる、一番お金のかかる工程」。私たち利用者がこの段階に手を出すことはまずありません。
02追加学習：人に役立つ・安全に振る舞うよう躾ける
事前学習を終えたモデルは、知識はあっても 「ただの高性能な次単語予測機」にすぎません。質問にきちんと答えたり、危険な要求を断ったり、自然に会話したりはまだ苦手です。そこで 追加学習（Post-training）で「人の役に立つ振る舞い」を後から教え込みます。ここで初めて 「ファインチューニング」という言葉が登場します。
FIG.2 追加学習は「手本で覚える → 好みに寄せる → 推論力を鍛える」の積み重ね
SFT（教師ありファインチューニング）
「質問 → 理想的な回答」のお手本ペアを大量に見せて学習させます。これでモデルは「指示に従って、会話の形で答える」基本を身につけます。追加学習の最初のステップです。
RLHF（人間のフィードバックによる強化学習）
人間が「回答 A と回答 B、どっちが良い？」を選び、その好みのパターンを報酬モデルとして学習。それを使ってモデルをさらに調整します。長らく ChatGPT などの定番手法でした。
DPO（直接選好最適化）
RLHF の簡略版。報酬モデルを別に作らず、「良い／悪い」ペアから直接調整します。仕組みがシンプルで扱いやすく、近年広く使われています。
Constitutional AI（憲法AI）
Anthropic が開発し、Claude シリーズに採用。原則文書（Constitution＝憲法）に照らして、AI 自身が自分の回答を批評・改善するループを回します。人間のラベル付けの一部を AI 自身の判断（RLAIF）で置き換えるのが特徴で、2026 年初頭にこの憲法は更新されています。
2026 年の追加学習は「これ一本」ではなく、目的別の手法を積み重ねる組み立て式になっている。
ひとつ補足しておくと、RLHF だけ・DPO だけという時代はすでに終わりつつあります。2026 年の最新モデルは、SFT（指示の習得）→ 選好最適化（DPO など、好みの調整）→ 検証可能な報酬での強化学習（GRPO・DAPO など、数学やコードのように正解を機械採点できる課題で推論力を鍛える）を組み合わせた「モジュール式」が主流です。人間が一つひとつ採点する方式から、自動検証や AI 同士のフィードバックへ重心が移ってきた、と覚えておけば十分です。
03推論：私たちが毎日使うフェーズ
推論（Inference）は、できあがったモデルに プロンプトを入れて答えを受け取る、実際の利用段階です。ChatGPT に質問を打ち込んで返事が来る——あれが推論です。
- 1回あたりのコスト：数円〜数十円程度（モデルと入出力の長さで変動）
- 応答時間：おおむね 0.5 秒〜数十秒
- 積み上がり：1 人が 1 日に何十回、それが数百万人——と掛け算されると莫大に
注目したいのは、一発の費用は小さくても、利用回数が膨大なので合計が巨大になること。2026 年現在、サービスによっては 推論コストの累計が、最初の学習コストを上回るケースも珍しくありません。だから各社「いかに安く速く推論するか」（後述の蒸留など）に必死なのです。
04利用者側のファインチューニング：選択肢は3つ
ここまでは「モデルを作る側」の話でした。では、自分（利用者）の手元でモデルを微調整したいときはどうするか。主な選択肢は次の 3 つです。
フルファインチューニング
モデルの全パラメータを再学習する正攻法。ただし数十万〜数百万 GPU 時間が必要で、大規模モデルでは現実的ではありません。基本は「やらない」選択肢。
LoRA / QLoRA
本体は凍結したまま、小さな「低ランク行列」だけを追加して学習する省エネ手法。学習するパラメータを最大 99% も減らせるため、少ない GPU で短時間に回せます。2026 年でファインチューニングが必要な場面の大半はこれで足りる、実用の本命です。
Adapter / Prefix Tuning
本体を凍結し、追加の小さな層だけを学習する手法。LoRA に近い軽量アプローチで、用途に応じて使い分けます。
ポイントは、「ファインチューニング＝全部を学習し直す」ではないこと。実務ではほぼ LoRA / QLoRA を指すと考えてよく、「軽量ファインチューニングの現実解」として名前を覚えておきましょう。
05ファインチューニングと RAG、どっちを使う？
初学者が一番混同しやすいのが、ファインチューニングと RAG（検索拡張生成）の違いです。両者は「自社向け AI を作る」点では似ていますが、向いている仕事が違います。
FIG.3 FT＝モデルの中身に焼き込む／RAG＝モデルは触らず外から根拠を渡す
言い換えると、ファインチューニングは「人格・口調・得意技」を体に覚えさせるイメージ、RAG は「資料を手渡して、それを見て答えてもらう」イメージです。新しい知識を足したいだけなら、わざわざ再学習せず RAG で資料を渡すほうが速くて安全。下表を目安にしてください。
| RAG が向く | ファインチューニング（LoRA）が向く |
|---|---|
| 新しい知識・最新情報を入れたい | 専門的なスタイルや口調を覚えさせたい |
| 情報が頻繁に更新される（再学習したくない） | 独自タスク（分類・抽出など）の精度を上げたい |
| 回答の根拠（出典）を示したい | 毎回プロンプトで指示する手間を減らしたい |
そして実務でよくある正解は 「どちらか一方」ではなく「両方」です。LoRA でドメインの口調・タスクを教え込み、RAG で最新・顧客固有のデータを差し込む——この組み合わせが、最も強力なアプリ構成としてよく採用されます。
Common Misunderstandings
初学者がよくする3つの勘違い
3 段階の関係を取り違えると、不要な作業や誤った設計につながります。よくある誤解を先に潰しておきましょう。
「最新情報は学習で入れる」
頻繁に変わる情報を入れたいだけなら、ふつうは再学習ではなく RAG。学習は時間もお金もかかります。
「FT＝全部学習し直し」
実務のファインチューニングはほぼ LoRA。本体は凍結し、小さな差分だけを足すので軽い。
「学習さえ終われば安い」
使うたびにかかる 推論コストが積み上がる。合計では推論が学習を上回ることも。
062026年に押さえておきたい流れ
最後に、この分野の「今」を 4 つだけ。細部より「方向感」をつかめれば十分です。
- 追加学習のモジュール化：RLHF 一辺倒から、SFT＋選好最適化（DPO 等）＋検証可能な報酬での強化学習（GRPO・DAPO 等）を組み合わせる方式へ。
- 合成データの拡大：人手のラベルに頼らず、AI 同士で学習データを生成・採点する流れが広がっている。
- 蒸留：大きなモデルの知識を小さなモデルへ移し、推論コストと遅延を削減する。前述の「推論コスト問題」への現実的な打ち手。
- 継続学習：運用しながら学び続ける方向の研究も進行中。
07まとめ
LLM は 「事前学習で世界の知識を、追加学習で人への合わせ方を身につけ、推論で実際に使う」の 3 段階で動きます。ファインチューニングは追加学習の一部であり、利用者の手元では LoRA / QLoRA という軽量手法が現実解。そして 新しい知識を足したいだけなら、多くの場合は再学習せず RAG とプロンプトの工夫で十分です。「作る工程」と「使う工程」を分けて捉えるだけで、AI まわりのニュースやコストの話がぐっと読み解きやすくなります。
