いま話題の生成AI（ChatGPT、Claude、Gemini など）は、ほぼすべてTransformerという同じ土台の上に立っています。その心臓部がAttention（アテンション）という仕組み。本記事は、数式を覚えなくても「中で何が起きているのか」を図でつかむことを目的に、Attention から最新モデルの設計までを一本の線でたどります。
Under the Hood
01Transformer は「全部いっぺんに見る」仕組み
Transformer は 2017 年の論文「Attention Is All You Need」で登場したアーキテクチャです。それまで主流だった RNN や LSTM は、文章を左から1単語ずつ順番に処理していました。これだと処理が遅く、文が長くなるほど最初のほうの単語を「忘れて」しまうのが弱点でした。
Transformer はここを根本から変えます。文中の単語を同時にまとめて見て、どの単語とどの単語が関係しているかを一度に計算する。だから速く、しかも文の端と端のような離れた単語どうしの関係もきちんと拾えます。
FIG.1 順番に渡す RNN に対し、Transformer は全単語の関係を一度に見る
02Attention ＝「どの単語をどれだけ気にするか」
Attention は一言でいうと、「ある単語を理解するために、文中の他のどの単語を、どれだけ重視するか」を計算する仕組みです。人間が文を読むときも、無意識に重要な語に注目していますね。それを数値でやるのが Attention です。
たとえば「彼は銀行で休んだ」という文。「銀行」が金融機関なのか川の岸（土手）なのかは、それだけでは決まりません。同じ文の「休んだ」という語に注目することで、「ここは座って休める場所＝土手寄りかな」と意味が定まっていきます。Attention は、こうした単語どうしのつながりの強さを一つひとつ数値にしていきます。
FIG.2 線が太いほど注目が強い。意味を決める手がかりの語ほど重みが大きくなる
03Q・K・V — 検索にたとえると分かる
では、その「注目の強さ」をどう計算するのか。Transformer は各単語から Q・K・V という 3 種類のベクトル（数値の並び）を作ります。図書館での本探しにたとえると直感的です。
- Query（クエリ／Q）：「いま自分が探しているのはこんな情報」という問い合わせ
- Key（キー／K）：「私はこういう情報を持っています」という見出し・ラベル
- Value（バリュー／V）：実際に渡される中身そのもの
処理の流れはこうです。ある単語の Q を、文中すべての単語の K と照合して「どれくらい合うか（関連度）」を計算する。関連度の高い相手ほど、その単語の V（中身）を多めに受け取る。これを全単語ぶん混ぜ合わせたものが、その単語の新しい表現になります。
具体的には、Q と K の内積で関連度の生スコアを出し、√（次元数）で割って大きくなりすぎを抑え、softmaxで「合計が 1 になる割合」に変換します。その割合で V を重み付けして足し合わせる——これが Attention の中身です。式は softmax(QKᵀ / √d) × V の一本だけ。図で押さえれば怖くありません。
FIG.3 Q を全 K と照合 → softmax で割合化 → その割合で V を混ぜる（関連が強い V₂ が濃く効く）
大事なのは、この計算が全単語ぶん同時に走ること。順番待ちがないので、GPU で一気に並列処理できます。これが「Transformer は速い」と言われる正体です。
04Multi-Head Attention ＝「複数の視点で同時に見る」
Attention を 1 回だけ行うと、単語どうしの関係を「1 つの見方」でしか捉えられません。そこで Transformer は、同じ計算を複数セット並列で走らせます。この一つひとつをヘッド（Head）と呼びます。
各ヘッドは、たまたま違う関係に注目するように学習されます。あるヘッドは文法的なつながり（主語と動詞）、別のヘッドは意味の近さ、また別のヘッドは指示語の対応（「それ」が何を指すか）といった具合。最後に全ヘッドの結果を束ねて 1 つにまとめます。複数の専門家が同じ文を別々の角度から読み、意見を持ち寄るイメージです。
FIG.4 複数ヘッドが別々の観点で並列処理し、結果を 1 つに統合する
05語順をどう教えるか — 位置エンコーディング
Attention は全単語を同時に見るため、そのままだと「どの単語が何番目か」という順番の情報が消えてしまいます。「猫が魚を食べた」と「魚が猫を食べた」を区別できないと困りますね。
そこで位置エンコーディングで「これは N 番目の単語」という位置の手がかりを各単語に埋め込みます。初期の Transformer は sin・cos の波を使う方式でしたが、近年の主流は RoPE（回転位置埋め込み）です。RoPE は Q と K を位置に応じて回転させることで、単語どうしの相対的な距離を自然に表現します。学習が要らず、訓練時より長い文章にも比較的うまく対応できるため、Llama 3、DeepSeek、Gemma、Qwen など現在の主要モデルで広く採用されています。
06もう一つの柱 — FFN（フィードフォワード）
Attention で「どの単語に注目するか」を整理したあと、各単語は FFN（フィードフォワードネットワーク）という小さなニューラルネットを通ります。FFN は単語ごとに独立して働き、Attention でまとめた情報をさらに加工して表現力を高める役割です。
地味に見えますが、実は LLM のパラメータ（学習した知識の入れ物）の大半はこの FFN にあります。Attention が「関係を見つける係」だとすれば、FFN は「知識を蓄えて変換する係」。Transformer はこの 2 つを何十層も積み重ねることで、深い理解と生成を実現しています。
Scaling Smart
Mixture of Experts ＝「必要な専門家だけ起こす」
モデルを賢くするには規模（パラメータ）を増やすのが効きますが、全部を毎回計算するとコストと消費電力が跳ね上がります。そこで近年の主役が MoE（Mixture of Experts／混合専門家）。FFN を多数の「専門家」に分け、入力の単語ごとにその一部だけを起動する仕組みです。
FIG.5 ルーターが単語ごとに担当の専門家だけを起こす（休止中の専門家は計算しない）
たとえば DeepSeek V3 は総パラメータ約 6,710 億のうち、1 単語あたり実際に動くのは約 370 億（全体の約 1/18）だけ。Llama 4 や、リークされた GPT-4 の構成も MoE と見られています。「巨大な知識量」と「現実的な推論コスト」を両立するための定番設計になっています。
07同じ部品で、用途が分かれる
Transformer は同じ Attention 部品を組み合わせつつ、構成によって 3 タイプに分かれます。いまの生成 AI（ChatGPT、Claude など）はすべてデコーダ型です。
| タイプ | 役割と代表例 |
|---|---|
| エンコーダ型 | 文の理解・分類・検索向き（例：BERT） |
| デコーダ型 | 次の単語を予測して文章を生成（例：GPT、Claude、Llama、Gemini） |
| エンコーダ・デコーダ型 | 翻訳・要約など入力→出力の変換（例：T5） |
「文章を作る AI」が軒並みデコーダ型なのは、「これまでの文に続く次の 1 単語を当てる」を高速にくり返すのが、対話や執筆と相性が良いからです。
08全体ブロックを 1 枚で
ここまでの部品が、実際にはどう積み上がっているか。デコーダ型 Transformer の 1 ブロックは、おおむね次のように「Attention → FFN（または MoE）」を 1 セットにして、何十層も重ねた構造です。
FIG.6 埋め込み＋位置情報 →「Attention → FFN／MoE」を N 層 → 次の単語を予測
最新モデルのニュースも、結局は この 1 枚の図の各部品をどう磨いたかの話に落ちる。
09仕組みが分かると、ニュースが読める
Transformer の構造を押さえると、日々の AI ニュースが急に意味を持ちます。よく出る用語を、本記事の部品に対応づけておきましょう。
長いコンテキスト
一度に読める文章量の話。Attention と位置エンコーディング（RoPE 等）の工夫が効くところ。
アクティブ・パラメータ
MoE で「毎回実際に動く」パラメータ数。総数と別に書かれていたら MoE のサインです。
マルチモーダル
画像や音声も「トークン」に変換すれば、同じ Attention で扱える。だから同じ土台で拡張できる。
10まとめ
Transformer は、Attention で関連する単語を見つけ、Multi-Head で多角的に捉え、FFN（や MoE）で表現を深める——この組み合わせを何層も積んだアーキテクチャです。Q・K・V は「問い・見出し・中身」、Multi-Head は「複数の視点」、MoE は「必要な専門家だけ起こす」。この 3 つの直感さえ持っておけば、数式を追わなくても最新モデルの設計やニュースの勘所がつかめます。次に新しいモデルの発表を見たら、「これは図のどの部品を改良したのだろう？」と問いかけてみてください。
