LLMのPretraining：データ、計算資源、Scaling Laws、コスト

目的関数は何も変わりません。modelはいまも次のtokenを予測し、lossはいまもChapter 8の因数分解に適用したChapter 4 のcross-entropyであり、optimizerはいまもChapter 6 のAdamWです。Pretrainingは新しいalgorithmではありません。予算化が必要になるほど大きなcorpus上で、同じalgorithmを実行することです。 それを可能にするものが2つあります。labelは無料です。位置$t$のtargetは$t+1$のtokenであり、すでにtextの中にあるからです。そしてChapter 6の最後のsectionが反論を取り除きました。古典的な規則が許すよりはるかに多くのparameterを持つmodelは崩壊せず、改善します。出てくるものはbase modelです。つまり、回答するものではなく、textを続けるものです。

予算化する前に数えなければなりません。そしてこの分野では、次の1つの式で数えます。

ここで$N$はparameter数、$D$は学習token数、$C$は総floating-point operationsです。Kaplan et al. はこれを2段階で導出しています。¹ Forward：parameterごと、tokenごとに2 FLOPs。matrix multiplyでは各parameterがtokenごとに1回使われ、1回の乗算と1回の加算があるからです。Backward：forwardの2倍。Chapter 5 のbackward passは各layerで2つのgradientを計算するからです。1つはlayerの入力に関するgradientで、signalが進み続けるためのもの。もう1つは重みに関するgradientです。どちらもforwardと同じサイズのmatrix multiplyなので、$4N$です。

導出はこれで全部です。そして信じるより、確認する価値があります。PyTorchには実FLOPカウンターtorch.utils.flop_counter.FlopCounterModeが付属しており、modelがdispatchするすべてのoperationをinterceptして実際の作業量を合計します。4桁のスケールにわたって実行します。最大のものは、shapeだけを割り当てmemoryを割り当てないmeta device上で実行します。

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

forward+backwardをforwardで割った比率は3.000で、すべてのscaleで完全に一致します。たまたま良い近似になったのではなく、導出を何も知らないカウンターが、上の算術恒等式を丸い数として返したということです。

測定されたtotalは、$N$がembedding行列を数える場合、$6ND$より3 %から17 %上にあります。この但し書きは重要です。というのも、2本の基礎論文は$N$の数え方が違うからです。Kaplanは「すべての語彙embeddingと位置embedding」を除外します。そうすると「著しくきれいなscaling laws」が得られるからです（§1.3）。ChinchillaのAppendix Fは「総parameter数にembedding行列も数える」と述べています。² 広い語彙と狭いhidden dimensionでは、最初の行が示すように、両者は9倍違います。

残る差分は、$6ND$が意図的に省いたものです。attention scoreです。KaplanのEq. (2.2)はforward costを$2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$と書き、第2項を落とします。$d_{\text{model}} \gg n_{\text{ctx}}/12$だからです。2020年には安全でしたが、いまはそれほど安全ではありません。そして$T/d$が大きくなるにつれて比率が上にずれる理由でもあります。だからこそ、ここでは2つの行が$T$ = 1,024を共有しており、$d$が768から1,600になると比率は1.145から1.100へ下がります。これはChapter 9が導入し、Chapter 16 が価格に変える$O(T^2)$ costです。

Computeはrunにどれだけ時間がかかるかを決めます。memoryはそれを開始できるかを決めます。plain fp32 AdamWで学習すると、各parameterは4つの数を持ちます。重み、そのgradient、そしてAdamのrunning mean $m$ とvariance $v$です。Chapter 6で手作業で作った2つの平均です。4つの数がそれぞれ4 bytesなので、activationが1つもない時点でparameterあたり16 bytesです。8 GBのノートPC GPUで、graphが生きていないstep上の点におけるresident allocationを測定すると、次のようになります。

予測と測定は3 %以内で一致します。驚くべきなのは最後の列です。activationがmodelを圧倒しています。 persistent stateに89 MBしか必要としない同じ580万parameterのmodelが、batch 128では4,681 MBのactivationを必要とします。modelの52倍です。そしてその多くはtransformerですらありません。logitです。tokenごとに語彙サイズのvectorが1つあり、entryあたり4 bytesです。最後の行では512 MB、最初の行では393 MBです。語彙サイズはChapter 7で選ばれました。そしていまも、何がGPU cardに収まるかを決めています。

どの項が支配的になるかはrunのshapeに依存します。だからMicikevicius et al. はmemoryが「activationに支配される」と言い³、一方でZeROは15億parameterのmodelにはmodel stateだけで「少なくとも24 GB」が必要だと言います。⁴ ZeROは別の経路で同じ16 bytesに到達します。fp16 weightsに$2\Psi$、fp16 gradientsに$2\Psi$、fp32 master weightsとAdamの2つのmomentにそれぞれ$4\Psi$です。これは700億parameterでは1.12 terabytesであり、activationが1つもない時点で80 GB GPUが14枚分です。

frontier scaleでは、これらはどれも1つのdeviceに収まりません。したがってrunは同時に4通りに分割されます。Data parallelismはすべてのGPUにmodelのcopyを置き、gradientを平均します。これはdefaultであり、ZeROがoptimizer stateの冗長なcopyを持たないことで改善する対象です。Tensor parallelismは個々の行列をdevice間で分割します。Pipeline parallelismは各deviceに連続したlayer群を与えます。Context parallelismはsequence自体を分割します。これは$T$がattention項を支配するほど長くなったときにだけ必要です。Llama 3のTable 4は4つすべてを同時に列挙しています。tensor 8、context最大16、pipeline 16、data最大128、合計16,384枚のH100 GPUです。⁵ このcourseで述べるのはここまでです。distributed training engineeringはそれだけで1学期分あり、StanfordのCS336がその1学期、lecture 5から8で、code付きです。⁶ 委任のあとに残るのは1つの数、model FLOPs utilisationです。これはGPUのpeak演算能力のうち実際のrunが達成する割合であり、整った$6ND$をwall-clock timeへ、したがってお金へ変換します。

2020年1月、Kaplan et al. はtransformerのgridを学習し、test lossが3つのresourceそれぞれについて、6桁を超える範囲でpower lawに従うことを見つけました。¹ §1.2には3つのfitされたlawがあります。

dataについては$\alpha_D \approx 0.095$、最適配分されたcomputeについては$\alpha_C^{\min} \approx 0.050$が対応します。定数は普遍的ではなく、論文自身もそう述べています。「$N_c$、$C_c^{\min}$、$D_c$の正確な数値は語彙サイズとtokenizationに依存し、したがって根本的な意味を持たない」。

指数は非常に小さいです。parameterを10倍にしても、残りのlossを$10^{0.076} \approx 1.19$倍だけ下げるにすぎません。何でもないように聞こえます。そしてここではそれが最も重要な事実です。returnはひどいが、止まりません。 小さな指数を持つpower lawは、次の1桁も効くことを約束します。前回ほどではないにせよ、永遠に効くのです。computeを買うことは賭けではなくなり、公表された交換レートに基づく購入になります。まさにそれが資本を解き放ったargumentでした。

次に処方箋が来ました。そしてこの論文はここで、業界に多額の費用を負わせる形で間違っていました。KaplanのTable 6は$N_{\text{opt}} \propto C^{0.73}$と$D_{\text{opt}} \propto C^{0.27}$を与えます。computeを10倍にするなら、modelは5.4倍大きくし、textは1.9倍しか増やさない、というものです。abstractは明確です。「compute効率の観点で最適な学習は、非常に大きなmodelを比較的控えめな量のdataで学習し、収束よりかなり前で止めることを含む」。分野はその通りにしました。GPT-3は1,750億parameterに3,000億token、⁷ Gopherは2,800億に3,000億、Megatron-Turing NLGは5,300億に2,700億です。² 全体として、parameterあたり0.5 tokenから2 tokenでした。

2022年3月、Hoffmann et al. は7,000万から160億parameterまでの400を超えるmodelを学習し、3つの独立した経路で反対の結論に到達しました。² Table 2は$N_{\text{opt}} \propto C^{a}$における指数$a$を0.50、0.49、0.46と報告しています。Kaplanの0.73に対してです。平たく言えば、model sizeとtraining dataは同じ比率で増やすべきだということです。

彼らの2つ目のapproachは、この章の冒頭のsweepで100万分の1のscaleで再現したものです。budgetを固定し、そのbudgetぴったりで多くのsizeを学習し、final lossをmodel sizeに対してplotします。

held-out lossはtokenあたりのnatsで、括弧内はparameterあたりのtoken、太字は各budgetで最良のmodelです。dashは実行していない点です。budgetがcorpusに含まれる以上のtextを要求したか、そのsweepの範囲外のsizeだったためです。

列を下に読んでください。lossは下がり、底を打ち、また上がります。modelはbudgetに対して小さすぎるのとまったく同じくらい、大きすぎることがあります。$10^{14}$では、295,808ではなく665,280 parameterを選ぶpenaltyは0.08 natsです。上でfitしたenvelopeでは、正しいsizeのmodelが18 %少ないcomputeで到達するlossに相当します。shapeを間違えるとbudgetの5分の1を捨てることになります。これは400個のmodelではなく、1枚のGPUで午後のうちに得られるChinchillaのFigure 3です。

次に横に読んでください。$10^{13}$では最良のmodelはsweepした中で最小のものです。$10^{14}$では295,808 parameterで、両側に挟まれています。budgetが大きくなるとoptimumは右へ移動します。それが修正の全内容です。論文の3つ目のapproach、すべてのrunに対するsurface $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ をfitし、$C = 6ND$の制約下で最小化します。

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

Kaplanの0.73に対して、ノートPCから0.46です。3つのbudgetだけでfitして3桁一致したのは幸運です。1桁目が一致したのは幸運ではありません。指数は移動します。定数は移動しません。というのも、ここでのoptimumにおけるtoken-to-parameter比は20ではなく170から540だからです。理由は3つあり、どれも示唆的です。$E$はゼロにfitされます。lossが4 natsを超えているrunでは、Chinchillaのfitを支配するentropy floorにまったく近づいていないからです。Batch sizeとlearning rateは各点ごとにtuneせず固定しました。これはstep数が最も少ないrunに不利です。そしてそれは大きなmodelです。$10^{13}$ FLOPsでは、128万parameterのmodelはoptimizer stepを合計159回しか得られません。Kaplanの$S_{\min}$項がどんなmodelにも必要だと言う数千stepを大きく下回ります。scaling lawはあるregimeの内部でfitされるものであり、これはChinchillaより6桁下にあります。

したがって論文のabstractは「現在のlarge language modelsは著しくundertrainedである」と述べます。Chinchillaがその実証です。700億parameterを1.4兆tokenで学習し、Gopherの2,800億parameter・3,000億tokenと同じ総computeで、57個のMMLU taskのうち51個で上回り、67.5 %対60 %でした。² 4分の1のsize、4.5倍のtext、同じお金、より良いmodelです。

この有名な比率には2つの注意点があります。「parameterあたり20 token」という文は論文にはありません。論文が述べているのは「model sizeが2倍になるたびにtraining tokenの数も2倍にすべき」ということだけです。20という値はTable 3と、Chinchilla自身の70 B on 1.4 Tからの推論です。そしてその精度は公表値より悪いです。Besiroglu et al. はFigure 4をdigitiseして再fitし、元のparametersは「再構成dataにうまくfitしない」、intervalは「data point数を考えると信じがたいほど狭い」とし、正直なrangeをparameterあたり「4から40」tokenとしました。⁸

Chinchillaのmethodの1つの詳細は、Chapter 1 がlearning-rate scheduleについてした約束を回収します。cosine scheduleはtoken budgetに合わせなければなりません。 1,000万tokenを見るmodelは、1,000万tokenでlearning rateをゼロへdecayさせる必要があります。1億token用のscheduleを与えて早く止めると、まだ高すぎるrateで下降途中のlossを読んでいることになります。Chinchillaはまさにこれをcontrolするため、各modelを4つのcycle lengthで学習しています。上のsweepも同じ理由でscheduleをbudgetから設定しています。

それらはこの分野で最も有用な経験的結果であり、日常的に過大に売り込まれています。限界は4つあります。

それらが予測するのはlossであって、capabilityではありません。 左辺はheld-out text上のcross-entropyです。これらの論文には、modelが正しいSQLを書くか、有害なrequestを拒否するか、toolを使うかについての主張を認めるものは何もありません。これはChapter 5のlessonの繰り返しです。lossの予測は、あなたが支払っているbehaviourの予測ではありません。

それらはfitされたものであり、導出されたものではありません。 $\alpha_N = 0.076$を生み出す理論はありません。定数はtokenizerとともに動きます。Chapter 8で説明したように、2つのtokenizer間でperplexityを比較することが無意味なのはそのためです。またdata mixture、architecture、optimizerともに動きます。公開されたlawはすべて、それを生み出したsetupのlawです。だからMetaはLlama 3の前に自分たちのlawをfitし直しました。⁵

それらは各stepに新しいtokenがあることを仮定します。これは静かに無限corpusを仮定しているということです。Muennighoff et al. はそれが尽きたとき何が起きるかを測定しました。repeated dataの最大4 epochまではほとんどcostがありません。440億unique tokenを4回見た87億parameterのmodelは、1,780億unique token上の同じmodelより「validation lossがわずか0.5 %高い」だけで終わりました。一方で、約16 epochを超えると追加computeは何も買いません。⁹

そして、もう誰もcompute-optimalには学習していません。 Chinchillaが最小化するのは学習のcostです。deploymentされたmodelはその後、生成tokenごとにおよそ$2N$ FLOPsを永遠に支払います。LLaMA 1はそれを明確に言いました。「目標とするperformance levelが与えられたとき、好ましいmodelは学習が最速のものではなく、inferenceが最速のものである」。¹⁰ Sardana et al. は代わりに$6ND_{\text{train}} + 2ND_{\text{inference}}$を最小化することで形式化し、10億requestを見込むなら「Chinchilla-optimalより小さく長く」学習すべきだと見つけました。¹¹ Llama 3の§9.1も同意しています。小さなmodelは「compute optimal trainingの点をはるかに超えて」学習され、「training computeをinference efficiencyと交換している」のです。⁵ その比率は時代遅れではありません。ただし、もはや問われていない問いに答えているのです。

lossは滑らかに下がります。benchmark scoreは時々そうではありません。Wei et al. は、あるtaskがtraining computeの桁をまたいでもchanceに留まり、その後jumpする事例を集めました。GPT-3でおよそ$2 \times 10^{22}$ FLOPsのところに3桁算術が現れ、MMLUは$3$から$5 \times 10^{23}$のあいだで当てずっぽうを上回る、というものです。そしてそのpatternに名前を付けました。「ある能力は、小さいmodelには存在せず、大きいmodelには存在するならemergentである」。¹² もしそれが実在する性質なら、安い実験から外挿するのは危険です。あなたが買おうとしているcapabilityは、手の届くどのscaleにも存在しないかもしれないからです。

Schaeffer、Miranda、Koyejoは、その大半は測定のartefactであり、mechanismは算術だと論じました。¹³ tokenごとのlossは滑らかに下がるので、1 tokenが正しい確率$\exp(-\mathcal{L})$は徐々に改善します。modelを$L$-token answer全体のexact string matchで採点すると、その確率を$L$乗することになります。滑らかなcurveを大きなpowerに上げると崖のように見えます。同じoutputに対して、すべてを要求するのではなくtokenを数えるmetricに替えると、「familyのperformanceはscaleの増加に伴って滑らかに、連続的に、予測可能に改善する」のです。

彼らのauditで覚えるべき数はこれです。「BIG-Benchの39個のpreferred metricsのうち、emergenceを示すものは最大5個」であり、2つの不連続metricが主張されたcaseの92 %超を占めます。同時に彼らの注意書きも覚えるべきです。「本論文のいかなる内容も、large language modelsがemergent abilitiesを示し得ないと主張するものと解釈されるべきではない」。chart上のjumpは、別途示されるまではmetricについての証拠です。Chapter 29 では、それがあなた自身の問題になります。hard-cutoff metricを選ぶことは、気づかないままあなたが行うdecisionだからです。

corpusはpretraining runのうち、式が付いていない部分であり、最も重大なdecisionの多くが置かれている場所です。raw materialはweb crawlです。Common Crawlの2026年8月archiveには「21.4億web pages、または360 TiBのuncompressed content」があります。1か月分で、無料でdownloadできます。¹⁴ そのまま使えるものはほとんどありません。T5 paperはcrawlが「主としてgibberishや、menu、error message、duplicate textのようなboiler-plate textから成る」と述べ、そこで導入されたC4 pipelineは粗いheuristicのlistです。terminal punctuationで終わる行だけを残す、3文未満のpageを捨てる、curly braceや公的な卑語listのwordを含むpageを捨てる。月間20 terabytesのtextを約750 GBにします。¹⁵

粗い、というのが正しい言葉です。Dodge et al. はそれらのfilterが何を除去するかをauditし、卑語blocklistが**African-American Englishのdocumentの42 %、Hispanic-aligned Englishの32 %を削除する一方で、White-aligned Englishでは6.2 %**であることを見つけました。結果としてcorpusの97.8 %は最後のcategoryになりました。¹⁶ dialectについて意見を持たないruleが、意見を持っていたのです。

次にdeduplicationです。これはhousekeepingではありません。Lee et al. はC4内で61-word sentenceが61,036回繰り返されていることを見つけ、deduplicationによってmodelが「記憶したtextをemitする」rateが、生成tokenの1.9 %から0.19 %へ10分の1に下がることを示しました。¹⁷ ただし、多ければ良いわけではありません。FineWebのteamは96個のcrawl全体でglobalにdeduplicateし、4兆tokenを得ましたが測定可能なgainはありませんでした。その後、crawlごとに別々にdeduplicateし、20兆tokenを得て、既存のbest corpusに匹敵しました。¹⁸

次にcontaminationです。Llama 3は自分自身のcontaminationを測定し公開しました。AGIEvalの98 %、BIG-Bench Hardの95 %、HellaSwagの85 %がtraining setと8-gramでoverlapしており、MMLUについてはoverlapが高すぎて「良いperformance gain estimateを得ることは不可能」です。⁵ GPT-3の§4は、benchmarkをdata内に残したfiltering bugを報告し、戻る方法はありませんでした。「cost considerationsのため、modelを再学習することは不可能だった」のです。⁷

Provenanceは未解決の部分です。 The PileにはBooks3という100.96 GiBのcomponentが含まれていました。corpusの12 %であり、paper自身のconsent tableによれば、private torrent tracker由来の本です。¹⁹ 著作権claimの後、2023年8月にofflineになりました。2026年9月時点の法的立場は未確定で、trendとして引用される3つの米国判決は互いに一致していません。Alsupは、合法的に取得された本での学習を「きわめてtransformative」と認定する一方で、pirated copiesから作られたlibraryはそうではないとし、Anthropicはその半分について**$1.5 billion**で和解しました。対象は482,460 works、1つあたりおよそ$3,000で、2026年7月20日に承認されました。²⁰ ChhabriaはMetaにsummary judgmentを認めつつ、自身のrulingは「Metaが著作権materialsをlanguage modelsの学習に使うことが合法であるという命題を支持するものではない」、ただ「これらのplaintiffsが誤ったargumentをした」だけだと書きました。²¹ BibasはRoss Intelligenceに不利な判断を下す際、「今日私の前にあるのはnon-generative AIだけである」と述べました。²² この問いについて判断した米国appellate courtはありません。

lossでは扱えない部分を人間が担います。 TIMEは2023年1月、OpenAIのためにSama社を通じてtoxic textをlabelしていたworkerが、児童性的虐待、拷問、自傷を描写するpassageを読みながら「時給およそ$1.32から$2」を手取りとして得ていた一方、OpenAIはその作業にSamaへ時給$12.50を支払っていたと報じました。Samaはpay rangeとquotaの双方に異議を唱えています。²³ これはpretrainingそのものではなく、pretraining周辺のfilteringです。しかし同じ請求書に載っており、人間が座る場所です。

電力は現実であり、たいてい誤引用されます。 最も慎重に公開された数字はBLOOMのものです。1,082,990 GPU-hours、433 MWh、runについて24.7 tonnes of CO₂ equivalent、製造とidle nodeを含めると50.5です。²⁴ Patterson et al. はGPT-3を1,287 MWh、552 tonnesとしています。²⁵ 注意点が2つあります。BLOOMの優位はefficiencyではなく、57 g CO₂ per kWhのフランス原子力gridによるものです。OPT-175Bより多くのenergyを使っています。そして分野で最も引用されるemissions figure、Strubell et al. のneural architecture searchに対する626,155 lbは、後に88倍高すぎることが示されました。searchがproxy上で実行されたのに、full model sizeで走ったと仮定していたからです。²⁶ LBNLのframingが擁護可能なものです。米国data centresは2024年に192 TWhを使用し、国内電力の4.7 %でした。これは1つのrunではなく、industryに付く数字です。²⁷

貫く線は、Bender et al. がdocumentation debtと名付けたものです。「datasetが文書化されておらず、かつ事後に文書化するには大きすぎる状況に自分たちを置くこと」。²⁸ 上の事実はすべて、誰かが調べたから存在します。大半の人が使うmodelの背後にあるcorporaについては、誰も調べられません。

ここからは誰もが欲しがる算術です。4つの引用済みinputから作るので、古くなったときにどれを置き換えるべきかが明らかです。

最後の2列を一緒に読んでください。$10,000なら、借りたnode 1台で2週間以内に50億parameterのmodelが得られます。$100,000,000では、算術は5,460億parameterを示します。そして12,000台のH100を3か月間つなぐ必要があります。これはcredit cardで借りるものではありません。およそ$100,000を過ぎると、binding constraintはお金ではなくclusterになります。

このようなtableを信じる前に、実際のcostが公開されているrunと照合してください。llm.cは、GPT-2 124Mを8×A100 nodeで「約90分」、「約$20」で再現し、GPT-2 1.6Bを8×H100 nodeで24時間、$672で再現しています。³¹

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

どちらも約15 %以内です。この種のestimateに値する精度はおよそその程度であり、通常引用される精度よりはかなり良いものです。

このsubjectで最も繰り返される数字は、2019年に約$43,000かかったGPT-2-class modelを、今日では数十ドルで再現できるというものです。現代側はよくdocumentedされています。歴史側はそうではありません。

Today. Karpathyのnanochat READMEにはこうあります。「you can train your own GPT-2 capability LLM ... for only $48 (~2 hours of 8XH100 GPU node) ... On a spot instance, the total cost can be closer to ~$15」。³² ここでの「GPT-2 capability」は正確で公開されています。GPT-2のCORE score 0.256525を上回ることです。leaderboardのbest entryは2026年3月14日時点で1.65 hoursです。$48はGPU-hourあたり$3を仮定しており、Lambdaのlist price $3.99より低いです。listでは約$64に近くなります。

In 2019. primary sourceはありません。OpenAIはdurationもcostも公開していません。chainは2019年2月のThe Registerから始まります。「256 Google TPU3 cores」と報じましたが、priceもdurationもありません。次に2019年6月のSyncedが、hardware costはGoogle Cloudで1時間$256だと指摘し、明示的に「OpenAI didn't specify the training duration」と述べました。$43,008は、1時間$256に、誰もsourceを示したことのない168時間という仮定を掛けたものです。

したがって正直なheadlineはこうです。GPT-2の公開benchmark scoreに一致するmodelは、今日ではrented hardware上で$100を大きく下回る額で学習できます。一方、2019年のcostは公開されておらず、有名なestimateはdurationについてsourceのない推測に依存しています。 collapseは本物で、現代側はcredit cardを持つ誰にでも再現できます。しかしratioは、存在しない数字に対する算術です。公開されたtraining cost全般の状態がこれです。GPT-3 paperにはdollar amountはまったくなく、Table D.1の$3.14 \times 10^{23}$ FLOPsだけです。⁷ Llama 3 paperにもありません。⁵ あなたが読んだtraining costはすべて、FLOP count、hardware assumption、price assumptionからのestimateです。常に、誰のassumptionかを問う価値があります。

出てくるものは、固定された時点で組み立てられた固定corpusを見ています。そこから2つの性質が従います。

1つ目はknowledge cutoffです。収集日以降のことをmodelは何も知りません。「不確か」なのではなく、何も知りません。そしてそう言うようには学習されていないため、そう言う代わりに流暢に作話します。Llama 3.1のmodel cardは2023年12月としています。³³ すべてのmodelにそれがあり、deploymentではなくtraining dataの性質です。回避策はretrieval problemであり、それがChapter 19 です。

2つ目は、base modelは回答するのではなく補完するということです。「What is the capital of France?」を与えると、もっともらしいcontinuationは別のquestionかもしれません。corpusではそのstringがexercise listに最もよく現れるからです。

text completerはassistantではありません。instructionに従いません。corpusの中には、requestが続けられるべきではなく従われるべきだと示すものが何もなかったからです。2人の参加者によるconversationという概念もありません。有害なpromptの最もprobableなcontinuationを喜んで生成します。probableだけが、それが最適化された唯一のものだからです。

それを回答するものに変えるには、第2段階が必要です。そのcostは第1段階の1 %にも満たず、内容はほとんどすべて、望むbehaviourのexampleを見せ、その後model自身のoutputのpairを比較することです。その段階から、instruction following、chat templates、refusals、そして――多くの人が驚くことに――toolを呼び出す能力が生まれます。Chapter 11 がその段階です。supervised fine-tuning、RLHF、DPO、GRPO、そして「aligned」とは何を意味し、誰が決めるのかという問いです。

この章と併せて読む価値があるものとして、Karpathyのbuild-nanogptと付随するvideoがあります。GPT-2の完全な再現を、この章ではできないpaceでend to endに歩きます。またStanford CS324, Large Language Models もあります。dataとenvironmental impactに関するlecturesは、このcourseが一度だけ扱って委任するmaterialを、上のsectionより深く掘り下げています。