پیش‌آموزش یک LLM: داده، محاسبه، قوانین مقیاس‌پذیری و هزینه

هیچ‌چیز در هدف تغییر نمی‌کند. مدل همچنان token بعدی را پیش‌بینی می‌کند، زیان همچنان cross-entropy فصل 4 است که روی تجزیه فصل 8 اعمال شده، optimiser همچنان AdamW فصل 6 است. pretraining الگوریتم تازه‌ای نیست؛ همان الگوریتم است که روی corpus آن‌قدر بزرگی اجرا می‌شود که باید برای اجرا بودجه‌بندی کرد. دو چیز این را ممکن می‌کند: labelها رایگان‌اند، چون هدف برای موقعیت $t$ همان token در $t+1$ است و از قبل در متن وجود دارد؛ و بخش آخر فصل 6 ایراد را برداشت، چون مدلی با پارامترهایی بسیار بیشتر از آنچه قواعد کلاسیک اجازه می‌دهند فرو نمی‌پاشد، بهتر می‌شود. خروجی یک مدل پایه است — چیزی که متن را ادامه می‌دهد، نه اینکه پاسخ بدهد.

پیش از آنکه بتوان برای هرکدام از این‌ها بودجه گذاشت، باید شمرده شود، و این حوزه آن را با یک فرمول می‌شمارد:

که در آن $N$ تعداد پارامترها، $D$ tokenهای آموزش و $C$ کل عملیات floating-point است. Kaplan و همکاران آن را در دو گام به دست می‌آورند.¹ Forward: 2 FLOP برای هر پارامتر در هر token، چون هر پارامتر در یک ضرب ماتریسی یک‌بار برای هر token استفاده می‌شود، در یک ضرب و یک جمع. Backward: دو برابر forward، چون گذر backward فصل 5 در هر لایه دو gradient محاسبه می‌کند — نسبت به ورودی‌های لایه، تا سیگنال به حرکت ادامه دهد، و نسبت به وزن‌های آن — که هرکدام ضرب ماتریسی هم‌اندازه forward است، پس $4N$.

کل استنتاج همین است، و ارزش دارد به‌جای باور کردن، آن را بررسی کنیم. PyTorch یک شمارنده واقعی FLOP دارد، torch.utils.flop_counter.FlopCounterMode، که هر عملیاتی را که مدل dispatch می‌کند intercept می‌کند و کار واقعی را جمع می‌زند. آن را در چهار مرتبه بزرگی اجرا کنید، بزرگ‌ترین مورد روی دستگاه meta، که شکل‌ها را تخصیص می‌دهد و حافظه‌ای نمی‌گیرد:

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

نسبت forward+backward به forward برابر 3.000 است، دقیقاً، در هر مقیاس: نه تقریبی که تصادفاً خوب از آب درآمده، بلکه هویت حسابی بالا که توسط شمارنده‌ای که هیچ‌چیز از استنتاج نمی‌داند به صورت عددی گرد برگردانده شده است.

سپس کل اندازه‌گیری‌شده بین 3٪ تا 17٪ بالاتر از $6ND$ می‌نشیند، وقتی $N$ ماتریس‌های embedding را هم بشمارد — و این بند مهم است، چون دو مقاله بنیان‌گذار $N$ را متفاوت می‌شمارند. Kaplan «همه embeddingهای واژگان و موقعیتی» را کنار می‌گذارد چون این کار «قوانین مقیاس‌پذیری به‌مراتب تمیزتری تولید می‌کند» (§1.3)؛ Appendix F در Chinchilla می‌گوید «ما ماتریس‌های embedding را نیز در شمار کل پارامترها حساب می‌کنیم».² برای واژگان عریض و بعد پنهان باریک، این دو با ضریب نه فرق دارند، همان‌طور که ردیف اول نشان می‌دهد.

شکاف باقی‌مانده همان چیزی است که $6ND$ عمداً حذف می‌کند: امتیازهای attention. معادله (2.2) Kaplan هزینه forward را به صورت $2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$ می‌نویسد و جمله دوم را حذف می‌کند چون $d_{\text{model}} \gg n_{\text{ctx}}/12$ — در 2020 امن بود، امروز کمتر امن است، و دلیل اینکه نسبت با رشد $T/d$ رو به بالا می‌لغزد — و به همین دلیل است که دو ردیف اینجا $T$ مشترک 1,024 دارند و نسبت وقتی $d$ از 768 به 1,600 می‌رود کاهش می‌یابد، از 1.145 به 1.100. این همان هزینه $O(T^2)$ است که فصل 9 معرفی کرد و فصل 16 آن را به قیمت تبدیل می‌کند.

Compute تعیین می‌کند اجرا چقدر طول می‌کشد؛ حافظه تعیین می‌کند اصلاً می‌تواند شروع شود یا نه. با AdamW ساده fp32 آموزش بدهید و هر پارامتر چهار عدد با خود دارد: وزن، gradient آن، و میانگین جاری $m$ و واریانس $v$ در Adam — همان دو میانگینی که در فصل 6 دستی ساختیم. چهار عدد، هرکدام چهار بایت، یعنی 16 بایت برای هر پارامتر، پیش از حتی یک activation. اندازه‌گیری‌شده روی GPU لپ‌تاپ 8 GB، با گرفتن تخصیص مقیم در نقطه‌ای از step که هیچ graph زنده‌ای نیست:

پیش‌بینی و اندازه‌گیری با اختلافی کمتر از 3٪ توافق دارند. شگفتی ستون آخر است: activationها مدل را کوچک جلوه می‌دهند. همان مدل 5.8 میلیون پارامتری که 89 MB حالت پایدار لازم دارد، در batch برابر 128 به 4,681 MB activation نیاز دارد — پنجاه‌ودو برابر خود مدل — و بخش زیادی از آن اصلاً transformer نیست. logits است، یک بردار به اندازه واژگان برای هر token با چهار بایت برای هر درایه: 512 MB در ردیف آخر، 393 MB در ردیف اول. اندازه واژگان در فصل 7 انتخاب شد، و هنوز دارد تعیین می‌کند چه چیزی روی کارت جا می‌شود.

اینکه کدام جمله غالب می‌شود به شکل اجرا بستگی دارد، و به همین دلیل Micikevicius و همکاران می‌گویند حافظه «تحت سلطه activationهاست»³ درحالی‌که ZeRO می‌گوید یک مدل 1.5 میلیارد پارامتری «حداقل 24 GB» فقط برای حالت‌های مدل لازم دارد.⁴ ZeRO از مسیر دیگری به همان 16 بایت می‌رسد — $2\Psi$ برای وزن‌های fp16، $2\Psi$ برای gradientهای fp16، هرکدام $4\Psi$ برای وزن‌های master در fp32 و دو moment آدم — که برای 70 میلیارد پارامتر 1.12 ترابایت می‌شود، به اندازه چهارده GPU هشتاد گیگابایتی پیش از حتی یک activation.

هیچ‌کدام از آن‌ها در مقیاس مرزی روی یک دستگاه جا نمی‌شود، پس اجرا هم‌زمان به چهار شکل شکسته می‌شود. Data parallelism یک کپی از مدل را روی هر GPU می‌گذارد و gradientها را میانگین می‌گیرد — حالت پیش‌فرض، و همان که ZeRO با نگه نداشتن کپی‌های زائد از حالت optimiser بهترش می‌کند. Tensor parallelism ماتریس‌های منفرد را میان دستگاه‌ها تقسیم می‌کند. Pipeline parallelism به هر دستگاه گروهی پیوسته از لایه‌ها می‌دهد. Context parallelism خود توالی را می‌شکند، و فقط وقتی لازم می‌شود که $T$ آن‌قدر بلند باشد که جمله attention غالب شود. جدول 4 در Llama 3 هر چهار را با هم فهرست می‌کند: tensor برابر 8، context تا 16، pipeline برابر 16، data تا 128، روی 16,384 GPU از نوع H100.⁵ این دوره درباره‌اش همین‌قدر خواهد گفت؛ مهندسی آموزش توزیع‌شده یک ترم مستقل است، و Stanford CS336 همان ترم است، درس‌های 5 تا 8، همراه با کد.⁶ آنچه از این واگذاری باقی می‌ماند یک عدد است، model FLOPs utilisation — کسری از حساب اوج GPU که یک اجرای واقعی به آن می‌رسد — و همین عدد است که $6ND$ مرتب را به زمان ساعت دیواری و بنابراین پول تبدیل می‌کند.

در ژانویه 2020، Kaplan و همکاران شبکه‌ای از transformerها را آموزش دادند و دریافتند زیان آزمون در هرکدام از سه منبع، در بیش از شش مرتبه بزرگی، از power law پیروی می‌کند.¹ §1.2 آن‌ها سه قانون fitted می‌دهد:

با همراهانی مثل $\alpha_D \approx 0.095$ برای داده و $\alpha_C^{\min} \approx 0.050$ برای compute تخصیص‌یافته بهینه. ثابت‌ها جهانی نیستند، و خود مقاله هم می‌گوید: «مقادیر عددی دقیق $N_c$، $C_c^{\min}$ و $D_c$ به اندازه واژگان و tokenization بستگی دارد و بنابراین معنای بنیادی ندارد.»

توان‌ها کوچک‌اند: ده برابر پارامتر، ضریب $10^{0.076} \approx 1.19$ از زیان باقی‌مانده کم می‌کند. این تقریباً هیچ به نظر می‌رسد، و همین مهم‌ترین واقعیت اینجاست — بازده‌ها افتضاح‌اند و هرگز متوقف نمی‌شوند. power law با توان کوچک وعده می‌دهد که مرتبه بزرگی بعدی کمک خواهد کرد، کمتر از قبلی، تا ابد. خریدن compute از قمار بودن خارج می‌شود و به خریدی با نرخ تبدیل منتشرشده تبدیل می‌شود؛ دقیقاً همان استدلالی که سرمایه را آزاد کرد.

بعد نسخه تجویزی آمد، و اینجا جایی است که مقاله به شکلی غلط بود که برای صنعت پول زیادی هزینه داشت. جدول 6 در Kaplan مقادیر $N_{\text{opt}} \propto C^{0.73}$ و $D_{\text{opt}} \propto C^{0.27}$ را می‌دهد: ده برابر compute یعنی مدلی 5.4 برابر بزرگ‌تر که فقط 1.9 برابر متن بیشتری می‌بیند. چکیده صریح است — «آموزش بهینه از نظر compute مستلزم آموزش مدل‌های بسیار بزرگ روی مقدار نسبتاً modestی از داده و توقف بسیار پیش از همگرایی است.» حوزه دقیقاً همین کار را کرد: GPT-3 با 175 میلیارد پارامتر روی 300 میلیارد token،⁷ Gopher با 280 میلیارد روی 300 میلیارد، Megatron-Turing NLG با 530 میلیارد روی 270 میلیارد.² نیم token تا دو token برای هر پارامتر، همه‌جا.

در مارس 2022، Hoffmann و همکاران بیش از 400 مدل از 70 میلیون تا 16 میلیارد پارامتر را آموزش دادند و از سه مسیر مستقل به نتیجه مخالف رسیدند.² جدول 2 آن‌ها توان $a$ را در $N_{\text{opt}} \propto C^{a}$ برابر 0.50، 0.49 و 0.46 گزارش می‌کند، در برابر 0.73 در Kaplan. ساده بگوییم: اندازه مدل و داده آموزش باید به نسبت برابر رشد کنند.

رویکرد دوم آن‌ها همان چیزی است که sweep ابتدای این فصل در یک‌میلیونم مقیاس بازتولید کرد: بودجه را ثابت کن، اندازه‌های زیادی را دقیقاً با همان بودجه آموزش بده، زیان نهایی را در برابر اندازه مدل رسم کن.

زیان held-out بر حسب nat برای هر token، token برای هر پارامتر داخل پرانتز، پررنگ برای بهترین مدل در هر بودجه؛ خط تیره نقطه‌ای است که اجرا نشده، چون بودجه متن بیشتری از corpus می‌خواست یا اندازه بیرون از محدوده sweep آنجا بود.

یک ستون را از بالا به پایین بخوانید: زیان کم می‌شود، به کف می‌رسد و دوباره بالا می‌رود. یک مدل می‌تواند برای بودجه‌اش دقیقاً به همان آسانی که بیش از حد کوچک است، بیش از حد بزرگ هم باشد — در $10^{14}$ جریمه انتخاب 665,280 پارامتر به‌جای 295,808 برابر 0.08 nat است، که روی envelope fitted بالا همان زیانی است که یک مدل درست‌اندازه با 18٪ compute کمتر به آن می‌رسد. انتخاب شکل غلط یک‌پنجم بودجه را دور می‌ریزد. این Figure 3 در Chinchilla است، در یک بعدازظهر روی یک GPU به‌جای چهارصد مدل.

حالا افقی بخوانید. در $10^{13}$ بهترین مدل کوچک‌ترین مدلی است که sweep شده؛ در $10^{14}$ برابر 295,808 پارامتر است، از دو طرف bracket شده. بهینه با رشد بودجه به راست حرکت می‌کند، و کل محتوای اصلاح همین است. رویکرد سوم مقاله را fit کنید — سطح $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ روی همه اجراها — و تحت قید $C = 6ND$ کمینه کنید:

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

0.46، از یک لپ‌تاپ، در برابر 0.73 در Kaplan. توافق تا سه رقم از fit سه‌بودجه‌ای شانس است؛ توافق تا رقم اول شانس نیست. توان سفر می‌کند — ثابت نه، چون نسبت token به پارامتر در این بهینه‌ها 170 تا 540 است، نه 20. سه دلیل، همه آموزنده. $E$ به صفر fit می‌شود چون در زیانی بالاتر از 4 nat اجرا هیچ‌جا نزدیک کف entropy که بر fit Chinchilla غالب است نیست. batch size و learning rate به‌جای tune شدن برای هر نقطه ثابت مانده‌اند، که هر اجرایی را که step کمتری می‌گیرد زمین می‌زند — و آن‌ها مدل‌های بزرگ‌اند: در $10^{13}$ FLOP، یک مدل 1.28 میلیون پارامتری در کل 159 step optimiser می‌گیرد، بسیار کمتر از چند هزار stepی که جمله $S_{\min}$ در Kaplan می‌گوید هر مدلی لازم دارد. قانون مقیاس‌پذیری درون یک regime fit می‌شود، و این یکی شش مرتبه بزرگی پایین‌تر از Chinchilla است.

از همین‌جاست چکیده مقاله: «مدل‌های زبانی بزرگ فعلی به‌طور معناداری undertrained هستند». Chinchilla نمایش آن است — 70 میلیارد پارامتر روی 1.4 تریلیون token، با همان compute کل Gopher با 280 میلیارد روی 300 میلیارد، و بهتر از آن در 51 مورد از 57 وظیفه MMLU، 67.5٪ در برابر 60٪.² چهار برابر کوچک‌تر، چهار و نیم برابر متن بیشتر، همان پول، مدل بهتر.

دو نکته درباره آن نسبت مشهور. «بیست token برای هر پارامتر» جمله‌ای در مقاله نیست، مقاله فقط می‌گوید «برای هر دوبرابرشدن اندازه مدل، تعداد tokenهای آموزش نیز باید دو برابر شود»؛ عدد 20 استنباطی از جدول 3 و از خود Chinchilla با 70 B روی 1.4 T است. و دقتش از آنچه منتشر شده بدتر است: Besiroglu و همکاران داده‌ها را از digitization شکل 4 دوباره fit کردند، دیدند پارامترهای اصلی «با داده بازسازی‌شده بد fit می‌شوند» و بازه‌ها «با توجه به تعداد نقاط داده نامحتمل تنگ‌اند»، و دامنه صادقانه را «بین 4 و 40» token برای هر پارامتر گذاشتند.⁸

یک جزئیات از روش Chinchilla وعده‌ای را که فصل 1 درباره learning-rate schedule داده بود ادا می‌کند. cosine schedule باید با بودجه token جفت شود. مدلی که 10 میلیون token خواهد دید باید learning rate خود را در 10 میلیون token به صفر decay کند؛ اگر scheduleای به اندازه 100 میلیون به آن بدهید و زود متوقفش کنید، دارید زیانی را وسط فرود، با نرخی بسیار بیش از حد بالا، می‌خوانید. Chinchilla هر مدل را در چهار طول چرخه آموزش می‌دهد تا دقیقاً همین را کنترل کند؛ sweep بالا به همین دلیل schedule خود را از بودجه می‌گیرد.

آن‌ها مفیدترین نتیجه تجربی این حوزه‌اند و مرتب بیش‌ازحد فروخته می‌شوند. چهار حد.

آن‌ها زیان را پیش‌بینی می‌کنند، نه قابلیت را. سمت چپ cross-entropy روی متن held-out است. هیچ‌چیز در این مقاله‌ها مجوز ادعایی درباره اینکه مدل SQL درست خواهد نوشت، درخواست آسیب‌زا را رد خواهد کرد یا از tool استفاده خواهد کرد نمی‌دهد. این دوباره درس فصل 5 است: پیش‌بینی زیان پیش‌بینی رفتاری نیست که بابتش پول می‌دهید.

آن‌ها fit شده‌اند، نه derived. هیچ نظریه‌ای $\alpha_N = 0.076$ تولید نمی‌کند. ثابت‌ها با tokenizer حرکت می‌کنند — به همین دلیل مقایسه perplexity میان دو tokenizer بی‌معناست، همان‌طور که فصل 8 توضیح داد — و با ترکیب داده، معماری و optimiser. هر قانون منتشرشده قانون setupی است که آن را تولید کرده، و به همین دلیل Meta پیش از Llama 3 قانون خودش را دوباره fit کرد.⁵

آن‌ها برای هر step یک token تازه فرض می‌کنند، که بی‌سروصدا corpus نامتناهی را فرض می‌گیرد. Muennighoff و همکاران اندازه گرفتند وقتی corpus تمام می‌شود چه رخ می‌دهد: تا چهار epoch داده تکراری تقریباً هیچ هزینه‌ای ندارد — یک مدل 8.7 میلیارد پارامتری روی 44 میلیارد token یکتا که چهار بار دیده شدند، فقط «0.5٪ زیان اعتبارسنجی بالاتر» از همان مدل روی 178 میلیارد token یکتا تمام شد — درحالی‌که بعد از حدود شانزده epoch، compute اضافی دیگر چیزی نمی‌خرد.⁹

و دیگر هیچ‌کس compute-optimal آموزش نمی‌دهد. Chinchilla هزینه آموزش را کمینه می‌کند؛ مدل deployشده سپس برای هر token تولیدشده، تا ابد، تقریباً $2N$ FLOP می‌پردازد. LLaMA 1 صریح گفت: «با داشتن سطح هدفی از عملکرد، مدل ترجیحی سریع‌ترین برای آموزش نیست، بلکه سریع‌ترین در inference است».¹⁰ Sardana و همکاران آن را با کمینه‌کردن $6ND_{\text{train}} + 2ND_{\text{inference}}$ رسمی کردند، و دریافتند هرکس انتظار یک میلیارد درخواست دارد باید «کوچک‌تر و طولانی‌تر از Chinchilla-optimal» آموزش دهد.¹¹ §9.1 در Llama 3 موافق است: مدل‌های کوچک آن «بسیار فراتر از نقطه آموزش compute optimal آموزش می‌بینند، و عملاً compute آموزش را با کارایی inference معاوضه می‌کنند».⁵ نسبت منسوخ نیست؛ به پرسشی جواب می‌دهد که دیگر همان پرسش مطرح‌شده نیست.

زیان نرم پایین می‌آید. امتیازهای benchmark گاهی نه. Wei و همکاران نمونه‌هایی گرد آوردند که در آن‌ها یک task در چندین مرتبه بزرگی از compute آموزش در حد شانس می‌ماند و سپس می‌پرد — حساب سه‌رقمی در GPT-3 حوالی $2 \times 10^{22}$ FLOP ظاهر می‌شود، MMLU میان $3$ و $5 \times 10^{23}$ از حد حدس بالاتر می‌رود — و الگو را نام‌گذاری کردند: «یک توانایی emergent است اگر در مدل‌های کوچک‌تر حاضر نباشد اما در مدل‌های بزرگ‌تر حاضر باشد».¹² اگر این یک ویژگی واقعی باشد، extrapolate کردن از آزمایش‌های ارزان ناامن است، چون قابلیتی که می‌خرید شاید در هیچ مقیاسی که توان آزمودنش را دارید وجود نداشته باشد.

Schaeffer، Miranda و Koyejo استدلال کردند که بیشتر آن artifact اندازه‌گیری است، و سازوکارش حساب است.¹³ زیان per-token نرم پایین می‌آید، پس احتمال درست‌بودن یک token، $\exp(-\mathcal{L})$، تدریجاً بهتر می‌شود. مدل را با exact string match روی پاسخی $L$-tokenی امتیاز بدهید و آن احتمال را به توان $L$ می‌رسانید — منحنی نرم وقتی به توان بزرگ برسد شبیه پرتگاه می‌شود. روی همان خروجی‌ها metricی بگذارید که به‌جای طلب‌کردن همه آن‌ها، tokenها را می‌شمارد، و «عملکرد خانواده با افزایش scale، نرم، پیوسته و پیش‌بینی‌پذیر بهتر می‌شود».

عدد مهم در audit آن‌ها این است — «از 39 metric ترجیحی در BIG-Bench، حداکثر 5 مورد emergence نشان می‌دهند»، با دو metric ناپیوسته که بیش از 92٪ موارد ادعایی را توضیح می‌دهند — و هشدارشان هم مهم است: «هیچ‌چیز در این مقاله نباید به این معنی تفسیر شود که مدل‌های زبانی بزرگ نمی‌توانند توانایی‌های emergent نشان دهند». پرش در نمودار تا وقتی خلافش نشان داده نشده، شاهدی درباره metric است. فصل 29 جایی است که این مشکل شما می‌شود، چون انتخاب metric با hard-cutoff تصمیمی است که بی‌آنکه متوجه شوید خواهید گرفت.

corpus بخشی از اجرای pretraining است که معادله‌ای به آن وصل نیست، و بیشتر تصمیم‌های پیامددار همان‌جاست. ماده خام یک web crawl است: آرشیو August 2026 در Common Crawl «2.14 میلیارد صفحه وب یا 360 TiB محتوای فشرده‌نشده» دارد، یک ماه از آن، رایگان برای دانلود.¹⁴ تقریباً هیچ‌کدام همان‌طور که هست قابل استفاده نیست. مقاله T5 می‌گوید crawl «تا حد زیادی از متن‌های بی‌معنا یا boiler-plate مثل منوها، پیام‌های خطا، یا متن تکراری تشکیل شده»، و pipeline C4 که معرفی کرد فهرستی از heuristicهای زمخت است — فقط خط‌هایی را نگه دار که به نشانه punctuation پایانی ختم می‌شوند، صفحه‌های کمتر از سه جمله را حذف کن، هر صفحه‌ای را که شامل آکولاد یا واژه‌ای از یک فهرست عمومی دشنام‌هاست حذف کن — و بیست ترابایت متن ماهانه را به حدود 750 GB تبدیل می‌کند.¹⁵

زمخت، دقیقاً کلمه درست است. Dodge و همکاران بررسی کردند این فیلترها چه چیزی را حذف می‌کنند و دیدند blocklist دشنام‌ها 42٪ از سندهای African-American English و 32٪ از Hispanic-aligned English را حذف می‌کند، در برابر 6.2٪ از White-aligned English، و corpusی می‌گذارد که 97.8٪ از دسته آخر است.¹⁶ قانونی که درباره dialect نظری نداشت، عملاً نظر داشت.

بعد deduplication، که خانه‌داری نیست: Lee و همکاران جمله‌ای 61واژه‌ای یافتند که در C4، 61,036 بار تکرار شده بود، و نشان دادند deduplication نرخ اینکه مدل‌ها «متن حفظ‌شده را بیرون بدهند» ده‌برابر کم می‌کند، از 1.9٪ tokenهای تولیدشده به 0.19٪.¹⁷ بااین‌حال، بیشتر همیشه بهتر نیست — تیم FineWeb در 96 crawl به‌صورت global deduplicate کرد، 4 تریلیون token گرفت و هیچ بهبود قابل اندازه‌گیری ندید، سپس هر crawl را جداگانه deduplicate کرد، 20 تریلیون گرفت و با بهترین corpus موجود برابری کرد.¹⁸

بعد contamination. Llama 3 contamination خودش را اندازه گرفت و منتشر کرد: 98٪ از AGIEval، 95٪ از BIG-Bench Hard و 85٪ از HellaSwag با مجموعه آموزش در 8-gram هم‌پوشانی داشتند، و برای MMLU هم‌پوشانی آن‌قدر بالا بود که «برآورد خوب از افزایش عملکرد ناممکن است».⁵ §4 در GPT-3 از باگ فیلترینگی خبر می‌دهد که benchmarkها را در داده جا گذاشت و راه برگشتی نبود: «به‌دلیل ملاحظات هزینه، آموزش دوباره مدل infeasible بود».⁷

provenance بخش حل‌نشده است. The Pile یک مؤلفه 100.96 GiB به نام Books3 داشت — 12٪ از corpus و، طبق جدول consent خود مقاله، کتاب‌هایی از یک torrent tracker خصوصی؛¹⁹ در اوت 2023 پس از شکایت copyright آفلاین شد. وضعیت حقوقی تا سپتامبر 2026 حل‌نشده است، و سه رأی US که به‌عنوان trend نقل می‌شوند با هم اختلاف دارند. Alsup آموزش روی کتاب‌های به‌طور قانونی به‌دست‌آمده را «به‌شدت transformative» دانست و در عین حال گفت کتابخانه‌ای ساخته‌شده از نسخه‌های pirated چنین نیست، و Anthropic آن نیمه را با $1.5 میلیارد برای 482,460 اثر تسویه کرد، حدود $3,000 برای هر اثر، تأییدشده در 20 ژوئیه 2026.²⁰ Chhabria به Meta summary judgment داد و هم‌زمان نوشت رأی او «به معنای این گزاره نیست که استفاده Meta از مواد دارای copyright برای آموزش مدل‌های زبانی‌اش قانونی است»، فقط اینکه «این plaintiffs استدلال‌های غلطی مطرح کردند».²¹ Bibas، در رأی علیه Ross Intelligence، یادآور شد که «امروز فقط AI غیرمولد در برابر من است».²² هیچ دادگاه تجدیدنظر US درباره این پرسش رأی نداده است.

آدم‌ها بخش‌هایی را انجام می‌دهند که زیان نمی‌تواند. TIME در ژانویه 2023 گزارش داد workerهایی که متن سمی را برای OpenAI از طریق شرکت Sama label می‌زدند، هنگام خواندن passageهایی درباره سوءاستفاده جنسی از کودک، شکنجه و خودآزاری، «بین حدود $1.32 و $2 در ساعت» دریافت می‌کردند، درحالی‌که OpenAI برای کار به Sama ساعتی $12.50 می‌پرداخت؛ Sama هم محدوده دستمزد و هم quota را رد می‌کند.²³ این فیلترینگ پیرامون pretraining است نه خود pretraining — اما روی همان invoice می‌آید، و همان‌جایی است که یک انسان نشسته است.

برق واقعی است و معمولاً بد نقل می‌شود. دقیق‌ترین عدد منتشرشده برای BLOOM است: 1,082,990 GPU-hour، 433 MWh و 24.7 تن معادل CO₂ برای اجرا، و 50.5 با احتساب ساخت و گره‌های idle؛²⁴ Patterson و همکاران GPT-3 را 1,287 MWh و 552 تن گذاشتند.²⁵ دو هشدار. برتری BLOOM از شبکه برق هسته‌ای فرانسه با 57 g CO₂ برای هر kWh است نه از efficiency — انرژی بیشتری از OPT-175B مصرف کرد. و مشهورترین رقم انتشار این حوزه، 626,155 lb از Strubell و همکاران برای neural architecture search، بعداً نشان داده شد 88 برابر بیش از حد بالا بوده، چون فرض کرده بود search در اندازه کامل مدل اجرا شده درحالی‌که روی proxy اجرا شده بود.²⁶ framing قابل دفاع LBNL این است: data centreهای US در 2024، 192 TWh مصرف کردند، 4.7٪ برق ملی — عددی مربوط به یک صنعت، نه یک اجرای مشخص.²⁷

خط مشترک همان چیزی است که Bender و همکاران documentation debt نامیدند: «قرار دادن خودمان در وضعیتی که datasetها هم undocumented هستند و هم آن‌قدر بزرگ‌اند که پس از واقعه مستندسازی‌پذیر نیستند».²⁸ هر واقعیت بالا وجود دارد چون کسی نگاه کرده است. برای corpusهای پشت مدل‌هایی که بیشتر مردم استفاده می‌کنند، هیچ‌کس نمی‌تواند.

حالا حسابی که همه می‌خواهند، از چهار ورودی cited، تا وقتی stale شدند معلوم باشد کدام را باید عوض کرد.

دو ستون آخر را با هم بخوانید. با $10,000 یک مدل 5 میلیارد پارامتری را روی یک node اجاره‌ای در دو هفته می‌گیرید. با $100,000,000 حساب می‌گوید 546 میلیارد پارامتر — و دوازده هزار H100 که سه ماه به هم سیم‌کشی شده‌اند، چیزی که با کارت اعتباری اجاره نمی‌کنید. بعد از حدود $100,000، قید binding دیگر پول نیست، cluster است.

پیش از اعتماد به چنین جدولی، آن را در برابر اجراهایی آزمایش کنید که هزینه واقعی‌شان منتشر شده — llm.c، GPT-2 124M را در «~90 دقیقه» روی یک node 8×A100 «با حدود $20» بازتولید می‌کند، و GPT-2 1.6B را در 24 ساعت روی یک node 8×H100 با $672.³¹

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

هر دو در حدود 15٪، که تقریباً همان دقتی است که این نوع برآورد سزاوارش است و به‌مراتب بهتر از دقتی است که معمولاً با آن نقل می‌شود.

تکرارشونده‌ترین عدد در این موضوع این است که مدلی در کلاس GPT-2 که در 2019 حدود $43,000 هزینه داشت، امروز با چند ده دلار قابل بازتولید است. نیمه مدرن خوب مستند شده؛ نیمه تاریخی نه.

امروز. README مربوط به nanochat از Karpathy: «می‌توانید LLM با توان GPT-2 خودتان را ... فقط با $48 آموزش دهید (~2 ساعت node 8XH100 GPU) ... روی spot instance، هزینه کل می‌تواند نزدیک‌تر به ~$15 باشد.»³² «توان GPT-2» اینجا دقیق و منتشرشده است — شکست‌دادن CORE score برابر 0.256525 در GPT-2 — روی leaderboardی که بهترین entry آن تا 14 مارس 2026 برابر 1.65 ساعت است. $48 قیمت $3 برای هر GPU-hour را فرض می‌کند، کمتر از فهرست $3.99 در Lambda؛ با قیمت فهرست نزدیک‌تر به $64 است.

در 2019. هیچ منبع اولیه‌ای نیست: OpenAI هرگز duration یا cost منتشر نکرد. زنجیره از The Register، فوریه 2019، می‌گذرد که «256 Google TPU3 core» را بدون price و duration گزارش می‌کند؛ سپس Synced، ژوئن 2019، که می‌نویسد سخت‌افزار روی Google Cloud ساعتی $256 هزینه داشته و صریحاً می‌گوید «OpenAI مدت آموزش را مشخص نکرد». $43,008 یعنی $256 در ساعت ضرب‌در 168 ساعت فرضی که هیچ‌کس هرگز منبعش را نداده است.

پس تیتر صادقانه این است: مدلی که امتیاز benchmark منتشرشده GPT-2 را match می‌کند امروز با بسیار کمتر از $100 روی سخت‌افزار اجاره‌ای قابل آموزش است، در برابر هزینه‌ای در 2019 که هرگز منتشر نشد و برآورد مشهورش بر حدسی بی‌منبع درباره duration تکیه دارد. سقوط واقعی است و نیمه مدرن را هرکس کارت اعتباری داشته باشد می‌تواند بازتولید کند؛ نسبت حساب روی عددی است که وجود ندارد. این به‌طور کلی وضعیت هزینه‌های منتشرشده آموزش است. مقاله GPT-3 اصلاً هیچ مبلغ دلاری ندارد، فقط $3.14 \times 10^{23}$ FLOP در جدول D.1؛⁷ مقاله Llama 3 هم هیچ‌کدام ندارد.⁵ هر هزینه آموزشی که خوانده‌اید برآوردی است از یک FLOP count، یک فرض سخت‌افزاری و یک فرض قیمت — همیشه ارزش دارد بپرسید فرضِ چه کسی.

آنچه بیرون می‌آید یک corpus ثابت را دیده که در لحظه‌ای ثابت assembled شده، و دو ویژگی از آن دنبال می‌شود.

اولی knowledge cutoff است. پس از تاریخ گردآوری، مدل هیچ‌چیز نمی‌داند — نه «نامطمئن است»، هیچ‌چیز — و به‌جای اینکه چنین بگوید، روان confabulate می‌کند، چون گفتن چنین چیزی هرگز رفتاری نبوده که روی آن آموزش دیده باشد. model card در Llama 3.1 دسامبر 2023 را می‌دهد؛³³ هر مدل یکی دارد، و این ویژگی داده آموزش است، نه deployment. دورزدن آن مسئله retrieval است، که فصل 19 است.

دومی این است که مدل پایه کامل می‌کند نه پاسخ. به آن بدهید «پایتخت فرانسه چیست؟» و یک ادامه محتمل سؤال دیگری است، چون در corpus این رشته اغلب در فهرستی از تمرین‌ها ظاهر می‌شود.

یک کامل‌کننده متن assistant نیست. از دستورها پیروی نمی‌کند، چون هیچ‌چیز در corpus به آن نگفته بود یک درخواست باید اطاعت شود نه ادامه داده شود. هیچ تصوری از گفت‌وگو با دو شرکت‌کننده ندارد. با خوشحالی محتمل‌ترین ادامه یک prompt آسیب‌زا را تولید می‌کند، چون محتمل تنها چیزی است که برایش optimise شده بود.

تبدیل آن به چیزی که پاسخ می‌دهد مرحله دومی می‌خواهد که کسری از یک درصد مرحله اول هزینه دارد، و تقریباً کامل از نشان‌دادن نمونه‌هایی از رفتاری که می‌خواهید و سپس مقایسه جفت‌هایی از خروجی‌های خودش تشکیل شده است. instruction following، chat templateها، refusalها و — چیزی که آدم‌ها را غافلگیر می‌کند — توانایی call کردن tool همه از همان مرحله می‌آیند. فصل 11 همان مرحله است: supervised fine-tuning، RLHF، DPO و GRPO، و این پرسش که «aligned» یعنی چه و چه کسی تصمیم می‌گیرد.

خواندن این‌ها در کنار این فصل هم ارزش دارد: build-nanogpt از Karpathy و ویدیوی همراهش، که یک بازتولید کامل GPT-2 را end to end با سرعتی طی می‌کنند که این فصل نمی‌تواند؛ و Stanford CS324، Large Language Models، که lectureهایش درباره داده و اثر زیست‌محیطی از بخش بالا عمیق‌تر وارد موادی می‌شوند که این دوره یک‌بار به آن‌ها می‌پردازد و سپس واگذار می‌کند.