Pretraining ενός LLM: δεδομένα, compute, scaling laws και κόστος

Τίποτα στον στόχο δεν αλλάζει. Το μοντέλο εξακολουθεί να προβλέπει το επόμενο token, το loss εξακολουθεί να είναι η cross-entropy του Κεφαλαίου 4 εφαρμοσμένη στην παραγοντοποίηση του Κεφαλαίου 8, ο optimizer εξακολουθεί να είναι το AdamW του Κεφαλαίου 6. Το pretraining δεν είναι νέος αλγόριθμος· είναι ο ίδιος αλγόριθμος που τρέχει σε corpus αρκετά μεγάλο ώστε το run να πρέπει να προϋπολογιστεί. Δύο πράγματα το κάνουν αυτό δυνατό: οι ετικέτες είναι δωρεάν, αφού ο στόχος για τη θέση $t$ είναι το token στο $t+1$ και υπάρχει ήδη στο κείμενο· και η τελευταία ενότητα του Κεφαλαίου 6 αφαίρεσε την ένσταση, επειδή ένα μοντέλο με πολύ περισσότερες παραμέτρους απ’ όσες επιτρέπουν οι κλασικοί κανόνες δεν διαλύεται, βελτιώνεται. Αυτό που προκύπτει είναι ένα base model — κάτι που συνεχίζει κείμενο αντί να απαντά.

Πριν μπορέσει να προϋπολογιστεί οτιδήποτε από αυτά πρέπει να μετρηθεί, και ο κλάδος το μετρά με έναν τύπο:

όπου $N$ είναι ο αριθμός παραμέτρων, $D$ τα training tokens και $C$ οι συνολικές floating-point operations. Οι Kaplan et al. το παράγουν σε δύο βήματα.¹ Forward: 2 FLOPs ανά παράμετρο ανά token, αφού κάθε παράμετρος σε έναν matrix multiply χρησιμοποιείται μία φορά ανά token, σε έναν πολλαπλασιασμό και μία πρόσθεση. Backward: διπλάσιο του forward, αφού το backward pass του Κεφαλαίου 5 υπολογίζει δύο gradients σε κάθε layer — ως προς τα inputs του layer, ώστε το σήμα να συνεχίσει να ταξιδεύει, και ως προς τα weights του — το καθένα ένας matrix multiply στο μέγεθος του forward, άρα $4N$.

Αυτή είναι όλη η παραγωγή, και αξίζει να την ελέγξετε αντί να την πιστέψετε. Το PyTorch διαθέτει έναν πραγματικό FLOP counter, torch.utils.flop_counter.FlopCounterMode, που παρεμβάλλεται σε κάθε operation που dispatch κάνει ένα μοντέλο και αθροίζει την πραγματική δουλειά. Τρέξτε το σε τέσσερα orders of magnitude, το μεγαλύτερο στη συσκευή meta, που δεσμεύει shapes και όχι μνήμη:

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

Ο λόγος forward+backward προς forward είναι 3.000, ακριβώς, σε κάθε κλίμακα: όχι μια προσέγγιση που τυχαίνει να είναι καλή, αλλά η αριθμητική ταυτότητα παραπάνω επιστρεφόμενη ως στρογγυλός αριθμός από έναν counter που δεν ξέρει τίποτα για την παραγωγή.

Το μετρημένο σύνολο κάθεται έπειτα μεταξύ 3 % και 17 % πάνω από $6ND$, μόλις το $N$ μετρήσει τους embedding πίνακες — και αυτή η πρόταση έχει σημασία, επειδή τα δύο ιδρυτικά papers μετρούν το $N$ διαφορετικά. Ο Kaplan αποκλείει «all vocabulary and positional embeddings» επειδή έτσι «produces significantly cleaner scaling laws» (§1.3)· το Appendix F του Chinchilla λέει «we also count embeddings matrices in the total parameter count».² Για ένα ευρύ λεξιλόγιο και ένα στενό hidden dimension τα δύο διαφέρουν κατά παράγοντα εννέα, όπως δείχνει η πρώτη σειρά.

Το υπόλοιπο κενό είναι αυτό που το $6ND$ σκόπιμα παραλείπει: τα attention scores. Η Eq. (2.2) του Kaplan γράφει το forward cost ως $2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$ και πετά τον δεύτερο όρο επειδή $d_{\text{model}} \gg n_{\text{ctx}}/12$ — ασφαλές το 2020, λιγότερο ασφαλές τώρα, και ο λόγος που ο λόγος παρασύρεται προς τα πάνω καθώς το $T/d$ μεγαλώνει — γι’ αυτό δύο σειρές εδώ μοιράζονται ένα $T$ ίσο με 1.024 και ο λόγος πέφτει, από 1.145 σε 1.100, όταν το $d$ πηγαίνει από 768 σε 1.600. Είναι το κόστος $O(T^2)$ που εισήγαγε το Κεφάλαιο 9 και το Κεφάλαιο 16 μετατρέπει σε τιμή.

Το compute αποφασίζει πόσο θα διαρκέσει ένα run· η μνήμη αποφασίζει αν μπορεί να αρχίσει. Εκπαιδεύστε με απλό fp32 AdamW και κάθε παράμετρος κουβαλά τέσσερις αριθμούς: το weight, το gradient του, και τον τρέχοντα μέσο $m$ και τη διακύμανση $v$ του Adam — τους δύο μέσους που χτίστηκαν με το χέρι στο Κεφάλαιο 6. Τέσσερις αριθμοί των τεσσάρων bytes ο καθένας είναι 16 bytes ανά παράμετρο, πριν από ένα και μόνο activation. Μετρημένο σε GPU laptop 8 GB, παίρνοντας τη resident allocation στο σημείο του step όπου δεν υπάρχει ζωντανό graph:

Η πρόβλεψη και η μέτρηση συμφωνούν εντός 3 %. Η έκπληξη είναι η τελευταία στήλη: τα activations επισκιάζουν το μοντέλο. Το ίδιο μοντέλο 5,8 εκατομμυρίων παραμέτρων που χρειάζεται 89 MB persistent state χρειάζεται 4.681 MB activations σε batch 128 — πενήντα δύο φορές το μοντέλο — και μεγάλο μέρος αυτού δεν είναι καθόλου ο transformer. Είναι τα logits, ένα διάνυσμα μεγέθους λεξιλογίου ανά token στα τέσσερα bytes ανά entry: 512 MB στην τελευταία σειρά, 393 MB στην πρώτη. Το μέγεθος λεξιλογίου επιλέχθηκε στο Κεφάλαιο 7, και ακόμη αποφασίζει τι χωρά στην κάρτα.

Ποιος όρος κυριαρχεί εξαρτάται από το shape του run, γι’ αυτό οι Micikevicius et al. λένε ότι η μνήμη «is dominated by activations»³ ενώ το ZeRO λέει ότι ένα μοντέλο 1,5 δισεκατομμυρίου παραμέτρων χρειάζεται «at least 24 GB» μόνο σε model states.⁴ Το ZeRO φτάνει στα ίδια 16 bytes από άλλη διαδρομή — $2\Psi$ για fp16 weights, $2\Psi$ για fp16 gradients, $4\Psi$ το καθένα για τα fp32 master weights και τις δύο moments του Adam — που για 70 δισεκατομμύρια παραμέτρους είναι 1,12 terabytes, δεκατέσσερις GPUs των 80 GB πριν από ένα και μόνο activation.

Τίποτα από αυτά δεν χωρά σε μία συσκευή σε frontier scale, οπότε το run χωρίζεται με τέσσερις τρόπους ταυτόχρονα. Data parallelism βάζει ένα αντίγραφο του μοντέλου σε κάθε GPU και μέσους όρους των gradients — η προεπιλογή, και εκείνο που βελτιώνει το ZeRO αρνούμενο να κρατά redundant αντίγραφα του optimizer state. Tensor parallelism χωρίζει μεμονωμένους πίνακες ανάμεσα σε συσκευές. Pipeline parallelism δίνει σε κάθε συσκευή μια συνεχόμενη ομάδα layers. Context parallelism χωρίζει την ίδια την ακολουθία, απαραίτητο μόνο όταν το $T$ γίνει αρκετά μακρύ ώστε να κυριαρχήσει ο όρος attention. Ο Πίνακας 4 του Llama 3 παραθέτει και τα τέσσερα ταυτόχρονα: tensor 8, context έως 16, pipeline 16, data έως 128, σε 16.384 H100 GPUs.⁵ Αυτό είναι όλο που θα πει αυτό το μάθημα γι’ αυτό· η μηχανική distributed training είναι ένα δικό της εξάμηνο, και το CS336 του Stanford είναι αυτό το εξάμηνο, διαλέξεις 5 έως 8, με τον κώδικα.⁶ Αυτό που επιβιώνει από την ανάθεση είναι ένας μόνο αριθμός, model FLOPs utilisation — το κλάσμα της peak αριθμητικής μιας GPU που επιτυγχάνει ένα πραγματικό run — που είναι αυτό που μετατρέπει το τακτοποιημένο $6ND$ σε wall-clock χρόνο και επομένως σε χρήμα.

Τον Ιανουάριο του 2020, οι Kaplan et al. εκπαίδευσαν ένα grid από transformers και βρήκαν ότι το test loss ακολουθεί power law σε καθέναν από τους τρεις πόρους για περισσότερα από έξι orders of magnitude.¹ Το §1.2 τους δίνει τρεις fitted laws:

με συνοδούς $\alpha_D \approx 0.095$ για data και $\alpha_C^{\min} \approx 0.050$ για optimally allocated compute. Οι σταθερές δεν είναι καθολικές, και το paper το λέει: «the precise numerical values of $N_c$, $C_c^{\min}$ and $D_c$ depend on the vocabulary size and tokenization and hence do not have a fundamental meaning.»

Οι εκθέτες είναι μικροσκοπικοί: δέκα φορές περισσότερες παράμετροι αγοράζουν έναν παράγοντα $10^{0.076} \approx 1.19$ από το υπόλοιπο loss. Αυτό ακούγεται σαν τίποτα, και είναι το πιο σημαντικό γεγονός εδώ — οι αποδόσεις είναι απαίσιες και δεν σταματούν ποτέ. Ένα power law με μικρό εκθέτη υπόσχεται ότι το επόμενο order of magnitude θα βοηθήσει, λιγότερο από το προηγούμενο, για πάντα. Η αγορά compute παύει να είναι τζόγος και γίνεται αγορά με δημοσιευμένη ισοτιμία, που είναι ακριβώς το επιχείρημα που ξεκλείδωσε το κεφάλαιο.

Μετά ήρθε η συνταγή, και εδώ το paper έκανε λάθος με τρόπο που κόστισε στη βιομηχανία πολλά χρήματα. Ο Πίνακας 6 του Kaplan δίνει $N_{\text{opt}} \propto C^{0.73}$ και $D_{\text{opt}} \propto C^{0.27}$: δέκα φορές το compute σημαίνει μοντέλο 5,4 φορές μεγαλύτερο που τροφοδοτείται με μόνο 1,9 φορές περισσότερο κείμενο. Το abstract είναι ρητό — «optimally compute-efficient training involves training very large models on a relatively modest amount of data and stopping significantly before convergence.» Ο κλάδος έκανε ακριβώς αυτό: GPT-3 είναι 175 δισεκατομμύρια παράμετροι σε 300 δισεκατομμύρια tokens,⁷ Gopher 280 δισεκατομμύρια σε 300 δισεκατομμύρια, Megatron-Turing NLG 530 δισεκατομμύρια σε 270 δισεκατομμύρια.² Μισό token έως δύο tokens ανά παράμετρο, παντού.

Τον Μάρτιο του 2022, οι Hoffmann et al. εκπαίδευσαν πάνω από 400 μοντέλα από 70 εκατομμύρια έως 16 δισεκατομμύρια παραμέτρους και έφτασαν στο αντίθετο συμπέρασμα από τρεις ανεξάρτητες διαδρομές.² Ο Πίνακας 2 τους αναφέρει τον εκθέτη $a$ στο $N_{\text{opt}} \propto C^{a}$ ως 0.50, 0.49 και 0.46, έναντι του 0.73 του Kaplan. Με απλά λόγια: το μέγεθος του μοντέλου και τα training data πρέπει να μεγαλώνουν στην ίδια αναλογία.

Η δεύτερη προσέγγισή τους είναι εκείνη που αναπαράγεται από το sweep στην κορυφή αυτού του κεφαλαίου, στο ένα εκατομμυριοστό της κλίμακας: ορίστε ένα budget, εκπαιδεύστε πολλά μεγέθη ακριβώς σε αυτό το budget, σχεδιάστε το final loss ως προς το μέγεθος του μοντέλου.

Held-out loss σε nats ανά token, tokens ανά παράμετρο σε αγκύλες, έντονα για το καλύτερο μοντέλο σε κάθε budget· η παύλα είναι σημείο που δεν τρέχτηκε, επειδή το budget απαιτούσε περισσότερο κείμενο από όσο χωρά το corpus ή το μέγεθος έπεφτε έξω από εκείνα που σαρώθηκαν εκεί.

Διαβάστε προς τα κάτω σε μια στήλη: το loss πέφτει, βρίσκει πάτο και ξανανεβαίνει. Ένα μοντέλο μπορεί να είναι υπερβολικά μεγάλο για το budget του εξίσου εύκολα όσο και υπερβολικά μικρό — στο $10^{14}$ η ποινή για την επιλογή 665.280 παραμέτρων αντί 295.808 είναι 0,08 nats, που στο envelope που fit έγινε παραπάνω είναι το loss που ένα σωστά μεγέθους μοντέλο φτάνει με 18 % λιγότερο compute. Η επιλογή λάθος shape πετά ένα πέμπτο του budget. Αυτό είναι το Figure 3 του Chinchilla σε ένα απόγευμα σε μία GPU αντί με τετρακόσια μοντέλα.

Τώρα διαβάστε οριζόντια. Στο $10^{13}$ το καλύτερο μοντέλο είναι το μικρότερο που σαρώθηκε· στο $10^{14}$ είναι 295.808 παράμετροι, με σημεία και από τις δύο πλευρές. Το optimum μετακινείται δεξιά καθώς το budget μεγαλώνει, που είναι όλο το περιεχόμενο της διόρθωσης. Fit στην τρίτη προσέγγιση του paper — την επιφάνεια $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ πάνω από κάθε run — και ελαχιστοποιήστε με περιορισμό $C = 6ND$:

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

0.46, από ένα laptop, έναντι του 0.73 του Kaplan. Συμφωνία σε τρία ψηφία από fit τριών budgets είναι τύχη· συμφωνία στο πρώτο δεν είναι. Ο εκθέτης ταξιδεύει — η σταθερά όχι, αφού ο λόγος token-προς-παράμετρο σε αυτά τα optima είναι 170 έως 540, όχι 20. Τρεις λόγοι, όλοι διδακτικοί. Το $E$ fit-άρει στο μηδέν επειδή σε loss πάνω από 4 nats το run δεν είναι πουθενά κοντά στο entropy floor που κυριαρχεί στο fit του Chinchilla. Το batch size και το learning rate κρατήθηκαν σταθερά αντί να γίνουν tuned ανά σημείο, κάτι που δυσκολεύει όποια runs παίρνουν τα λιγότερα steps — και αυτά είναι τα μεγάλα μοντέλα: στο $10^{13}$ FLOPs ένα μοντέλο 1,28 εκατομμυρίων παραμέτρων παίρνει 159 optimizer steps συνολικά, πολύ κάτω από τις λίγες χιλιάδες που ο όρος $S_{\min}$ του Kaplan λέει ότι χρειάζεται κάθε μοντέλο. Ένα scaling law fit-άρεται μέσα σε ένα καθεστώς, και αυτό εδώ κάθεται έξι orders of magnitude κάτω από του Chinchilla.

Εξ ου και το abstract του paper: «current large language models are significantly undertrained». Το Chinchilla είναι η επίδειξη — 70 δισεκατομμύρια παράμετροι σε 1,4 τρισεκατομμύρια tokens, το ίδιο συνολικό compute με το Gopher των 280 δισεκατομμυρίων σε 300 δισεκατομμύρια, να το κερδίζει σε 51 από 57 MMLU tasks, 67,5 % έναντι 60 %.² Τέσσερις φορές μικρότερο, τεσσερισήμισι φορές περισσότερο κείμενο, ίδια χρήματα, καλύτερο μοντέλο.

Δύο επιφυλάξεις για εκείνη τη διάσημη αναλογία. «Είκοσι tokens ανά παράμετρο» δεν είναι πρόταση στο paper, που λέει μόνο ότι «for every doubling of model size the number of training tokens should also be doubled»· το 20 είναι συμπέρασμα από τον Πίνακα 3 και από το ίδιο το Chinchilla των 70 B σε 1,4 T. Και η ακρίβειά του είναι χειρότερη από τη δημοσιευμένη: οι Besiroglu et al. έκαναν refit από digitisation του Figure 4, βρήκαν ότι οι αρχικές παράμετροι «fit the reconstructed data poorly» με intervals «implausibly tight given the number of data points», και έβαλαν το ειλικρινές εύρος στο «between 4 and 40» tokens ανά παράμετρο.⁸

Μια λεπτομέρεια της μεθόδου του Chinchilla εξαργυρώνει μια υπόσχεση που έδωσε το Κεφάλαιο 1 για learning-rate schedules. Το cosine schedule πρέπει να ταιριάζει με το token budget. Ένα μοντέλο που θα δει 10 εκατομμύρια tokens πρέπει να κατεβάσει το learning rate του στο μηδέν στα 10 εκατομμύρια tokens· δώστε του schedule μεγέθους 100 εκατομμυρίων, σταματήστε το νωρίς, και διαβάζετε loss μεσούσης της καθόδου σε rate πολύ υπερβολικά υψηλό. Το Chinchilla εκπαιδεύει κάθε μοντέλο σε τέσσερα cycle lengths για να ελέγξει ακριβώς αυτό· το sweep παραπάνω ορίζει το schedule του από το budget για τον ίδιο λόγο.

Είναι το πιο χρήσιμο εμπειρικό αποτέλεσμα στον κλάδο και υπερπουλιούνται συστηματικά. Τέσσερα όρια.

Προβλέπουν loss, όχι ικανότητα. Η αριστερή πλευρά είναι cross-entropy σε held-out κείμενο. Τίποτα σε αυτά τα papers δεν νομιμοποιεί ισχυρισμό για το αν ένα μοντέλο θα γράψει σωστό SQL, θα αρνηθεί ένα επιβλαβές αίτημα ή θα χρησιμοποιήσει tool. Αυτό είναι ξανά το μάθημα του Κεφαλαίου 5: μια πρόβλεψη του loss δεν είναι πρόβλεψη της συμπεριφοράς για την οποία πληρώνετε.

Είναι fitted, όχι derived. Καμία θεωρία δεν παράγει $\alpha_N = 0.076$. Οι σταθερές μετακινούνται με τον tokenizer — γι’ αυτό μια σύγκριση perplexity ανάμεσα σε δύο tokenizers είναι χωρίς νόημα, όπως εξήγησε το Κεφάλαιο 8 — και με το μείγμα δεδομένων, την αρχιτεκτονική και τον optimizer. Κάθε δημοσιευμένος νόμος είναι νόμος του setup που τον παρήγαγε, γι’ αυτό η Meta έκανε refit το δικό της πριν από το Llama 3.⁵

Υποθέτουν ένα φρέσκο token για κάθε step, που σιωπηλά υποθέτει ένα άπειρο corpus. Οι Muennighoff et al. μέτρησαν τι συμβαίνει όταν αυτό τελειώσει: έως τέσσερα epochs επαναλαμβανόμενων δεδομένων κοστίζουν σχεδόν τίποτα — ένα μοντέλο 8,7 δισεκατομμυρίων παραμέτρων σε 44 δισεκατομμύρια μοναδικά tokens που τα είδε τέσσερις φορές τελείωσε «only 0.5 % higher validation loss» από το ίδιο μοντέλο σε 178 δισεκατομμύρια μοναδικά — ενώ μετά από περίπου δεκαέξι epochs το πρόσθετο compute δεν αγοράζει τίποτα.⁹

Και κανείς δεν εκπαιδεύει compute-optimal πια. Το Chinchilla ελαχιστοποιεί το κόστος του training· ένα deployed μοντέλο έπειτα πληρώνει περίπου $2N$ FLOPs ανά παραγόμενο token, για πάντα. Το LLaMA 1 το είπε καθαρά: «given a target level of performance, the preferred model is not the fastest to train but the fastest at inference».¹⁰ Οι Sardana et al. το τυποποίησαν ελαχιστοποιώντας αντί γι’ αυτό $6ND_{\text{train}} + 2ND_{\text{inference}}$, και βρήκαν ότι όποιος περιμένει ένα δισεκατομμύριο requests πρέπει να εκπαιδεύει «smaller and longer than Chinchilla-optimal».¹¹ Το §9.1 του Llama 3 συμφωνεί: τα μικρά μοντέλα του εκπαιδεύονται «far beyond the point of compute optimal training, effectively trading training compute for inference efficiency».⁵ Η αναλογία δεν είναι παρωχημένη· απαντά μια ερώτηση που δεν είναι πλέον αυτή που τίθεται.

Το loss πέφτει ομαλά. Τα benchmark scores μερικές φορές όχι. Οι Wei et al. συνέλεξαν περιπτώσεις όπου ένα task κάθεται στο chance σε orders of magnitude training compute και μετά πηδά — τριψήφια αριθμητική που εμφανίζεται στο GPT-3 περίπου στα $2 \times 10^{22}$ FLOPs, MMLU που ανεβαίνει πάνω από την τύχη μεταξύ $3$ και $5 \times 10^{23}$ — και ονόμασαν το pattern: «an ability is emergent if it is not present in smaller models but is present in larger models».¹² Αν αυτό είναι πραγματική ιδιότητα, η παρέκταση από φθηνά πειράματα είναι μη ασφαλής, επειδή η ικανότητα που αγοράζετε μπορεί να μην υπάρχει σε καμία κλίμακα που μπορείτε να αντέξετε να δοκιμάσετε.

Οι Schaeffer, Miranda και Koyejo υποστήριξαν ότι το μεγαλύτερο μέρος του είναι artefact της μέτρησης, και ο μηχανισμός είναι αριθμητικός.¹³ Το per-token loss πέφτει ομαλά, άρα η πιθανότητα ένα token να είναι σωστό, $\exp(-\mathcal{L})$, βελτιώνεται σταδιακά. Βαθμολογήστε το μοντέλο με exact string match πάνω σε απάντηση $L$-token και υψώνετε αυτή την πιθανότητα στη δύναμη $L$ — μια ομαλή καμπύλη υψωμένη σε μεγάλη δύναμη μοιάζει με γκρεμό. Αλλάξτε σε metric που μετρά tokens αντί να απαιτεί όλα τους, στις ίδιες εξόδους, και «the family's performance smoothly, continuously and predictably improves with increasing scale».

Το audit τους είναι ο αριθμός που πρέπει να θυμάστε — «of the 39 preferred metrics in BIG-Bench, at most 5 display emergence», με δύο discontinuous metrics να ευθύνονται για πάνω από 92 % των claimed cases — και το ίδιο και η προειδοποίησή τους: «nothing in this paper should be interpreted as claiming that large language models cannot display emergent abilities». Ένα άλμα σε γράφημα είναι απόδειξη για το metric μέχρι να φανεί το αντίθετο. Το Κεφάλαιο 29 είναι εκεί όπου αυτό γίνεται δικό σας πρόβλημα, επειδή η επιλογή ενός hard-cutoff metric είναι απόφαση που θα πάρετε χωρίς να το καταλάβετε.

Το corpus είναι το μέρος ενός pretraining run χωρίς εξίσωση συνδεδεμένη μαζί του, και εκεί όπου ζουν οι περισσότερες αποφάσεις με συνέπειες. Η πρώτη ύλη είναι ένα web crawl: το αρχείο Αυγούστου 2026 του Common Crawl περιέχει «2.14 billion web pages or 360 TiB of uncompressed content», έναν μήνα του, δωρεάν για download.¹⁴ Σχεδόν τίποτα δεν είναι χρησιμοποιήσιμο όπως είναι. Το paper του T5 λέει ότι το crawl «largely comprises gibberish or boiler-plate text like menus, error messages, or duplicate text», και το C4 pipeline που εισήγαγε είναι μια λίστα από ωμές heuristics — κρατήστε μόνο γραμμές που τελειώνουν σε terminal punctuation, πετάξτε σελίδες με λιγότερες από τρεις προτάσεις, πετάξτε κάθε σελίδα που περιέχει άγκιστρο ή λέξη από δημόσια λίστα βωμολοχιών — μετατρέποντας είκοσι terabytes μηνιαίου κειμένου σε περίπου 750 GB.¹⁵

Ωμές είναι η λέξη. Οι Dodge et al. έκαναν audit στο τι αφαιρούν αυτά τα filters και βρήκαν ότι η blocklist βωμολοχιών διαγράφει 42 % των εγγράφων σε African-American English και 32 % σε Hispanic-aligned English, έναντι 6,2 % σε White-aligned English, αφήνοντας ένα corpus 97,8 % της τελευταίας κατηγορίας.¹⁶ Ένας κανόνας χωρίς άποψη για διάλεκτο είχε μία.

Μετά deduplication, που δεν είναι νοικοκύρεμα: οι Lee et al. βρήκαν μια πρόταση 61 λέξεων επαναλαμβανόμενη 61.036 φορές στο C4, και έδειξαν ότι το deduplicating κόβει δεκαπλάσια τον ρυθμό με τον οποίο τα μοντέλα «emit memorized text», από 1,9 % των generated tokens σε 0,19 %.¹⁷ Το περισσότερο δεν είναι καλύτερο, όμως — η ομάδα του FineWeb έκανε deduplication global σε 96 crawls, πήρε 4 τρισεκατομμύρια tokens και καμία μετρήσιμη βελτίωση, μετά έκανε deduplication σε κάθε crawl χωριστά, πήρε 20 τρισεκατομμύρια, και ταίριαξε το καλύτερο υπάρχον corpus.¹⁸

Μετά contamination. Το Llama 3 μέτρησε το δικό του και το δημοσίευσε: 98 % του AGIEval, 95 % του BIG-Bench Hard και 85 % του HellaSwag επικαλύπτονταν με το training set κατά 8-grams, και για το MMLU overlap τόσο υψηλό ώστε «it is impossible to get a good performance gain estimate».⁵ Το §4 του GPT-3 αναφέρει ένα filtering bug που άφησε benchmarks στα δεδομένα χωρίς επιστροφή: «because of cost considerations it was infeasible to retrain the model».⁷

Η provenance είναι το άλυτο μέρος. Το Pile κυκλοφόρησε ένα component 100,96 GiB με όνομα Books3 — 12 % του corpus και, σύμφωνα με τον πίνακα consent του ίδιου του paper, βιβλία από ιδιωτικό torrent tracker·¹⁹ κατέβηκε offline τον Αύγουστο του 2023 μετά από καταγγελία copyright. Η νομική θέση τον Σεπτέμβριο του 2026 παραμένει αβέβαιη, και οι τρεις αποφάσεις στις ΗΠΑ που αναφέρονται ως τάση διαφωνούν μεταξύ τους. Ο Alsup βρήκε ότι το training σε νόμιμα αποκτημένα βιβλία ήταν «exceedingly transformative» ενώ έκρινε ότι μια βιβλιοθήκη φτιαγμένη από πειρατικά αντίγραφα δεν ήταν, και η Anthropic συμβιβάστηκε για εκείνο το μισό με $1,5 δισεκατομμύριο καλύπτοντας 482.460 έργα, περίπου $3.000 το καθένα, εγκεκριμένο στις 20 Ιουλίου 2026.²⁰ Ο Chhabria granted summary judgment στη Meta ενώ έγραφε ότι η απόφασή του «does not stand for the proposition that Meta's use of copyrighted materials to train its language models is lawful», μόνο ότι «these plaintiffs made the wrong arguments».²¹ Ο Bibas, αποφασίζοντας κατά της Ross Intelligence, σημείωσε ότι «only non-generative AI is before me today».²² Κανένα US appellate court δεν έχει αποφανθεί επί του ερωτήματος.

Άνθρωποι κάνουν τα κομμάτια που το loss δεν μπορεί. Το TIME ανέφερε τον Ιανουάριο του 2023 ότι εργαζόμενοι που επισήμαιναν toxic κείμενο για την OpenAI μέσω της εταιρείας Sama έπαιρναν καθαρά «between around $1.32 and $2 per hour» διαβάζοντας αποσπάσματα που περιέγραφαν σεξουαλική κακοποίηση παιδιών, βασανιστήρια και αυτοτραυματισμό, ενώ η OpenAI πλήρωνε τη Sama $12,50 την ώρα για τη δουλειά· η Sama αμφισβητεί τόσο το εύρος αμοιβής όσο και την quota.²³ Αυτό είναι το filtering γύρω από το pretraining και όχι το ίδιο το pretraining — αλλά βρίσκεται στο ίδιο τιμολόγιο, και εκεί κάθεται ένας άνθρωπος.

Το ρεύμα είναι πραγματικό και συνήθως παρατίθεται λάθος. Το πιο προσεκτικό δημοσιευμένο νούμερο είναι του BLOOM: 1.082.990 GPU-hours, 433 MWh και 24,7 τόνοι ισοδύναμου CO₂ για το run, 50,5 με κατασκευή και idle nodes·²⁴ οι Patterson et al. βάζουν το GPT-3 στα 1.287 MWh και 552 τόνους.²⁵ Δύο προειδοποιήσεις. Το πλεονέκτημα του BLOOM είναι το γαλλικό πυρηνικό grid στα 57 g CO₂ ανά kWh και όχι η αποδοτικότητα — χρησιμοποίησε περισσότερη ενέργεια από το OPT-175B. Και το πιο πολυπαρατεθειμένο emissions figure του κλάδου, τα 626.155 lb των Strubell et al. για neural architecture search, αργότερα αποδείχθηκε 88 φορές υπερβολικά υψηλό, επειδή υπέθεσε ότι η αναζήτηση έτρεξε σε πλήρες model size ενώ έτρεξε σε proxy.²⁶ Το framing του LBNL είναι το υπερασπίσιμο: τα US data centres χρησιμοποίησαν 192 TWh το 2024, 4,7 % της εθνικής ηλεκτρικής ενέργειας — αριθμός συνδεδεμένος με μια βιομηχανία, όχι με οποιοδήποτε ένα run.²⁷

Το νήμα είναι αυτό που οι Bender et al. ονόμασαν documentation debt: «putting ourselves in a situation where the datasets are both undocumented and too large to document post hoc».²⁸ Κάθε γεγονός παραπάνω υπάρχει επειδή κάποιος κοίταξε. Για τα corpora πίσω από τα μοντέλα που χρησιμοποιούν οι περισσότεροι, κανείς δεν μπορεί.

Τώρα η αριθμητική που όλοι θέλουν, από τέσσερα cited inputs, ώστε όταν παλιώσουν να είναι προφανές ποιο πρέπει να αντικατασταθεί.

Διαβάστε τις δύο τελευταίες στήλες μαζί. Με $10.000 παίρνετε ένα μοντέλο 5 δισεκατομμυρίων παραμέτρων σε ένα rented node σε δεκαπέντε μέρες. Με $100.000.000 η αριθμητική λέει 546 δισεκατομμύρια παράμετροι — και δώδεκα χιλιάδες H100s καλωδιωμένες μαζί για τρεις μήνες, που δεν είναι κάτι που νοικιάζετε με πιστωτική κάρτα. Πέρα από περίπου $100.000 ο δεσμευτικός περιορισμός παύει να είναι το χρήμα και γίνεται το cluster.

Πριν εμπιστευτείτε έναν τέτοιο πίνακα, δοκιμάστε τον απέναντι σε runs των οποίων το πραγματικό κόστος έχει δημοσιευτεί — το llm.c αναπαράγει το GPT-2 124M σε «~90 minutes» σε 8×A100 node «for about $20», και το GPT-2 1.6B σε 24 ώρες σε 8×H100 node για $672.³¹

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

Και τα δύο εντός περίπου 15 %, που είναι περίπου η ακρίβεια που αξίζει αυτό το είδος εκτίμησης και σημαντικά καλύτερη από την ακρίβεια με την οποία συνήθως παρατίθεται.

Το πιο επαναλαμβανόμενο νούμερο σε αυτό το θέμα είναι ότι ένα μοντέλο κλάσης GPT-2 που κόστιζε περίπου $43.000 το 2019 μπορεί σήμερα να αναπαραχθεί για μερικές δεκάδες δολάρια. Το σύγχρονο μισό είναι καλά τεκμηριωμένο· το ιστορικό μισό όχι.

Σήμερα. Το README του nanochat του Karpathy: «you can train your own GPT-2 capability LLM ... for only $48 (~2 hours of 8XH100 GPU node) ... On a spot instance, the total cost can be closer to ~$15.»³² Το «GPT-2 capability» εδώ είναι ακριβές και δημοσιευμένο — ξεπερνά το CORE score του GPT-2, 0.256525 — σε leaderboard του οποίου η καλύτερη εγγραφή στις 14 Μαρτίου 2026 είναι 1,65 ώρες. Τα $48 υποθέτουν $3 ανά GPU-hour, κάτω από την τιμή καταλόγου $3,99 της Lambda· στην τιμή καταλόγου είναι πιο κοντά στα $64.

Το 2019. Δεν υπάρχει primary source: η OpenAI δεν δημοσίευσε ποτέ διάρκεια ή κόστος. Η αλυσίδα περνά από The Register, Φεβρουάριος 2019, που ανέφερε «256 Google TPU3 cores» χωρίς τιμή και χωρίς διάρκεια· μετά Synced, Ιούνιος 2019, που σημείωσε ότι το hardware κόστιζε $256 την ώρα στο Google Cloud και δήλωσε ρητά ότι «OpenAI didn't specify the training duration». Τα $43.008 είναι $256 την ώρα επί μια υποτιθέμενη διάρκεια 168 ωρών που κανείς δεν έχει ποτέ τεκμηριώσει.

Άρα ο ειλικρινής τίτλος είναι: ένα μοντέλο που ταιριάζει με το δημοσιευμένο benchmark score του GPT-2 μπορεί σήμερα να εκπαιδευτεί για πολύ κάτω από $100 σε rented hardware, έναντι κόστους του 2019 που δεν δημοσιεύτηκε ποτέ και του οποίου η διάσημη εκτίμηση στηρίζεται σε ατεκμηρίωτη εικασία για τη διάρκεια. Η κατάρρευση είναι πραγματική και το σύγχρονο μισό αναπαράγεται από οποιονδήποτε με πιστωτική κάρτα· ο λόγος είναι αριθμητική πάνω σε αριθμό που δεν υπάρχει. Αυτή είναι η κατάσταση των δημοσιευμένων training costs γενικά. Το paper του GPT-3 δεν περιέχει κανένα ποσό σε δολάρια, μόνο $3.14 \times 10^{23}$ FLOPs στον Πίνακα D.1·⁷ ούτε το paper του Llama 3 περιέχει.⁵ Κάθε training cost που έχετε διαβάσει είναι εκτίμηση από FLOP count, hardware assumption και price assumption — αξίζει πάντα να ρωτάτε ποιανού.

Αυτό που προκύπτει έχει δει ένα σταθερό corpus συναρμολογημένο σε μια σταθερή στιγμή, και ακολουθούν δύο ιδιότητες.

Η πρώτη είναι το knowledge cutoff. Μετά την ημερομηνία συλλογής το μοντέλο δεν ξέρει τίποτα — όχι «είναι αβέβαιο», τίποτα — και θα επινοήσει με ευφράδεια αντί να το πει, επειδή το να το πει δεν ήταν ποτέ συμπεριφορά στην οποία εκπαιδεύτηκε. Το model card του Llama 3.1 δίνει Δεκέμβριο 2023·³³ κάθε μοντέλο έχει ένα, και είναι ιδιότητα των training data, όχι του deployment. Η παράκαμψή του είναι πρόβλημα retrieval, που είναι το Κεφάλαιο 19.

Η δεύτερη είναι ότι ένα base model συμπληρώνει αντί να απαντά. Δώστε του «Ποια είναι η πρωτεύουσα της Γαλλίας;» και μια πιθανή συνέχεια είναι μια άλλη ερώτηση, επειδή στο corpus αυτό το string εμφανίζεται συχνότερα σε λίστα ασκήσεων.

Ένας text completer δεν είναι assistant. Δεν ακολουθεί οδηγίες, επειδή τίποτα στο corpus δεν του είπε ότι ένα αίτημα πρέπει να υπακουστεί αντί να συνεχιστεί. Δεν έχει έννοια συζήτησης με δύο συμμετέχοντες. Θα παράγει ευχαρίστως τη πιθανότερη συνέχεια ενός επιβλαβούς prompt, επειδή το πιθανό είναι το μόνο πράγμα για το οποίο έγινε ποτέ optimized.

Η μετατροπή του σε κάτι που απαντά απαιτεί ένα δεύτερο στάδιο που κοστίζει κλάσμα του ενός τοις εκατό του πρώτου, και αποτελείται σχεδόν εξ ολοκλήρου από το να του δείξετε παραδείγματα της συμπεριφοράς που θέλετε και μετά να συγκρίνετε ζεύγη από τις δικές του εξόδους. Αυτό το στάδιο είναι από όπου προέρχονται το instruction following, τα chat templates, οι refusals και — αυτό εκπλήσσει τους ανθρώπους — η δυνατότητα να κάνει call ένα tool. Το Κεφάλαιο 11 είναι αυτό το στάδιο: supervised fine-tuning, RLHF, DPO και GRPO, και το ερώτημα τι σημαίνει «aligned» και ποιος αποφασίζει.

Αξίζει επίσης να διαβαστούν μαζί με αυτό το κεφάλαιο: το build-nanogpt του Karpathy και το συνοδευτικό video του, που περπατούν μια πλήρη αναπαραγωγή GPT-2 από άκρη σε άκρη με ρυθμό που αυτό το κεφάλαιο δεν μπορεί· και το Stanford CS324, Large Language Models, του οποίου οι διαλέξεις για data και environmental impact πηγαίνουν βαθύτερα από την παραπάνω ενότητα σε υλικό που αυτό το μάθημα αντιμετωπίζει μία φορά και αναθέτει.