التدريب المسبق لـ LLM: البيانات والحوسبة وقوانين التوسع والتكلفة

لا يتغير شيء في الهدف. ما زال النموذج يتنبأ بالـ token التالي، وما زالت الخسارة هي cross-entropy في الفصل 4 مطبقة على التحليل الاحتمالي من الفصل 8، وما زال المحسّن هو AdamW من الفصل 6. التدريب المسبق ليس خوارزمية جديدة؛ إنه الخوارزمية نفسها تُشغّل على corpus كبير بما يكفي ليصبح التشغيل مسألة ميزانية. شيئان يجعلان ذلك ممكنًا: التسميات مجانية، لأن الهدف للموضع $t$ هو الـ token عند $t+1$ وهو موجود أصلًا في النص؛ والقسم الأخير من الفصل 6 أزال الاعتراض، لأن نموذجًا يملك parameters أكثر بكثير مما تسمح به القواعد الكلاسيكية لا ينهار، بل يتحسن. ما يخرج هو نموذج أساس — شيء يكمل النص بدل أن يجيب.

قبل أن تُرصد ميزانية لأي من هذا يجب عده، والمجال يعدّه بصيغة واحدة:

حيث $N$ هو عدد parameters، و$D$ هو training tokens، و$C$ هو إجمالي عمليات floating-point. يشتقها Kaplan وآخرون في خطوتين.¹ Forward: ‏2 FLOPs لكل parameter لكل token، لأن كل parameter في ضرب مصفوفات يُستخدم مرة واحدة لكل token، في عملية ضرب وعملية جمع. Backward: ضعف forward، لأن backward pass في الفصل 5 يحسب gradientين في كل طبقة — بالنسبة إلى مدخلات الطبقة، كي تستمر الإشارة في السفر، وبالنسبة إلى أوزانها — وكل واحد منهما ضرب مصفوفات بحجم forward، لذا $4N$.

هذا هو الاشتقاق كله، ويستحق التحقق لا التصديق. تأتي PyTorch مع عداد FLOP حقيقي، torch.utils.flop_counter.FlopCounterMode، يعترض كل عملية يرسلها نموذج ويجمع العمل الفعلي. شغّله عبر أربع رتب مقدار، والأكبر على جهاز meta، الذي يخصص الأشكال ولا يخصص الذاكرة:

from torch.utils.flop_counter import FlopCounterMode

counter = FlopCounterMode(display=False)
with counter:                       
    loss = model(x, targets)[1]     
    loss.backward()                 
measured = counter.get_total_flops()
print(measured / (6 * n_params * n_tokens))

نسبة forward+backward إلى forward هي 3.000، بالضبط، عند كل مقياس: ليست تقريبًا صادف أنه جيد، بل الهوية الحسابية أعلاه يعيدها كرقم مستدير عداد لا يعرف شيئًا عن الاشتقاق.

ثم يقع الإجمالي المقاس بين 3 % و17 % فوق $6ND$، عندما يعد $N$ مصفوفات embedding — وهذه الجملة مهمة، لأن الورقتين المؤسستين تعدّان $N$ بطرق مختلفة. يستبعد Kaplan «كل vocabulary وpositional embeddings» لأن ذلك «ينتج قوانين توسع أنظف بكثير» (§1.3)؛ ويقول ملحق Chinchilla F: «نعد أيضًا مصفوفات embeddings في إجمالي عدد parameters».² مع vocabulary واسعة وبُعد مخفي ضيق، يختلف الاثنان بمعامل تسعة، كما يوضح الصف الأول.

الفجوة المتبقية هي ما تحذفه $6ND$ عمدًا: درجات attention. تكتب معادلة Kaplan (2.2) تكلفة forward بصيغة $2N + 2\,n_{\text{layer}} n_{\text{ctx}} d_{\text{model}}$ وتحذف الحد الثاني لأن $d_{\text{model}} \gg n_{\text{ctx}}/12$ — آمنًا في 2020، وأقل أمانًا الآن، وهو سبب انجراف النسبة صعودًا مع نمو $T/d$ — ولهذا يشترك صفان هنا في $T$ قدره 1,024 وتنخفض النسبة من 1.145 إلى 1.100 عندما ينتقل $d$ من 768 إلى 1,600. إنها تكلفة $O(T^2)$ التي قدّمها الفصل 9 ويحوّلها الفصل 16 إلى سعر.

تحدد الحوسبة كم يستغرق التشغيل؛ وتحدد الذاكرة هل يمكن أن يبدأ. درّب باستخدام fp32 AdamW عادي، وكل parameter يحمل أربعة أرقام: الوزن، وgradient الخاص به، ومتوسط Adam الجاري $m$ وتباينه $v$ — المتوسطان اللذان بنيناهما يدويًا في الفصل 6. أربعة أرقام بأربعة بايتات لكل منها تعني 16 بايت لكل parameter، قبل activation واحدة. مقاسًا على GPU حاسوب محمول بسعة 8 GB، مع أخذ التخصيص المقيم عند النقطة في الخطوة حيث لا يكون أي graph حيًا:

يتفق التنبؤ والقياس ضمن 3 %. المفاجأة في العمود الأخير: activations تبتلع النموذج. النموذج نفسه ذو 5.8 مليون parameter الذي يحتاج 89 MB من الحالة الدائمة يحتاج 4,681 MB من activations عند batch بحجم 128 — اثنين وخمسين ضعف النموذج — والكثير من ذلك ليس transformer أصلًا. إنه logits، متجه واحد بحجم vocabulary لكل token بأربعة بايتات للمدخل: 512 MB في الصف الأخير، و393 MB في الأول. اختير حجم vocabulary في الفصل 7، وما زال يقرر ما يتسع على البطاقة.

أي حد يهيمن يعتمد على شكل التشغيل، ولهذا يقول Micikevicius وآخرون إن الذاكرة «تهيمن عليها activations»³ بينما يقول ZeRO إن نموذجًا بـ 1.5 مليار parameter يحتاج «على الأقل 24 GB» من حالات النموذج وحدها.⁴ يصل ZeRO إلى نفس 16 بايت عبر طريق آخر — $2\Psi$ لأوزان fp16، و$2\Psi$ لـ gradients بنمط fp16، و$4\Psi$ لكل من الأوزان الرئيسية fp32 ولحظتي Adam — وهذا يعني لـ 70 مليار parameter مقدار 1.12 تيرابايت، أي ما يعادل أربع عشرة GPU بسعة 80 GB قبل activation واحدة.

لا يتسع أي من ذلك على جهاز واحد عند مقياس frontier، لذا يُقسّم التشغيل بأربع طرق في الوقت نفسه. Data parallelism يضع نسخة من النموذج على كل GPU ويأخذ متوسط gradients — وهو الافتراضي، والذي يحسّنه ZeRO برفض الاحتفاظ بنسخ زائدة من حالة المحسّن. Tensor parallelism يقسم المصفوفات الفردية عبر الأجهزة. Pipeline parallelism يعطي كل جهاز مجموعة متجاورة من الطبقات. Context parallelism يقسم السلسلة نفسها، ولا يصبح ضروريًا إلا عندما يصبح $T$ طويلًا بما يكفي ليهيمن حد attention. يسرد جدول Llama 3 رقم 4 الأربعة معًا: tensor 8، وcontext حتى 16، وpipeline 16، وdata حتى 128، عبر 16,384 GPU من نوع H100.⁵ هذا كل ما سيقوله هذا المقرر عنه؛ هندسة التدريب الموزع فصل جامعي قائم بذاته، وStanford CS336 هو ذلك الفصل، المحاضرات 5 إلى 8، مع الكود.⁶ ما يبقى من التفويض هو رقم واحد، model FLOPs utilisation — نسبة ذروة الحساب في GPU التي يحققها تشغيل حقيقي — وهو ما يحوّل $6ND$ الأنيقة إلى زمن ساعة حائط، وبالتالي إلى مال.

في يناير 2020، درّب Kaplan وآخرون شبكة من transformers ووجدوا أن خسارة الاختبار تتبع power law في كل مورد من الموارد الثلاثة عبر أكثر من ست رتب مقدار.¹ يعطي §1.2 لديهم ثلاث قوانين ملائمة:

مع مرافقات $\alpha_D \approx 0.095$ للبيانات و$\alpha_C^{\min} \approx 0.050$ للحوسبة الموزعة على نحو أمثل. الثوابت ليست كونية، وتقول الورقة ذلك: «القيم العددية الدقيقة لـ $N_c$ و$C_c^{\min}$ و$D_c$ تعتمد على حجم vocabulary وtokenization، وبالتالي لا تحمل معنى أساسيًا».

الأسس صغيرة جدًا: عشرة أضعاف parameters تشتري معامل $10^{0.076} \approx 1.19$ من الخسارة المتبقية. يبدو ذلك لا شيء، وهو أهم حقيقة هنا — العوائد رديئة ولا تتوقف أبدًا. يعد power law بأس صغير بأن رتبة المقدار التالية ستساعد، أقل مما ساعدت السابقة، إلى الأبد. شراء الحوسبة يتوقف عن كونه مقامرة ويصبح شراءً بسعر صرف منشور، وهذا بالضبط هو المنطق الذي فتح رأس المال.

ثم جاءت الوصفة، وهنا كانت الورقة مخطئة بطريقة كلّفت الصناعة مالًا كثيرًا. يعطي جدول Kaplan 6 $N_{\text{opt}} \propto C^{0.73}$ و$D_{\text{opt}} \propto C^{0.27}$: عشرة أضعاف الحوسبة تعني نموذجًا أكبر 5.4 مرات يُطعم نصًا أكثر 1.9 مرة فقط. الملخص صريح — «التدريب الأمثل كفؤًا حاسوبيًا يتضمن تدريب نماذج كبيرة جدًا على كمية بيانات متواضعة نسبيًا والتوقف قبل التقارب بقدر كبير». فعل المجال ذلك بالضبط: GPT-3 هو 175 مليار parameter على 300 مليار token،⁷ وGopher هو 280 مليار على 300 مليار، وMegatron-Turing NLG هو 530 مليار على 270 مليار.² نصف token إلى tokenين لكل parameter، في كل مكان.

في مارس 2022، درّب Hoffmann وآخرون أكثر من 400 نموذج من 70 مليونًا إلى 16 مليار parameter، ووصلوا إلى الخلاصة المعاكسة عبر ثلاث طرق مستقلة.² يورد جدولهم 2 الأس $a$ في $N_{\text{opt}} \propto C^{a}$ بقيم 0.50 و0.49 و0.46، مقابل 0.73 لدى Kaplan. بعبارة بسيطة: ينبغي أن ينمو حجم النموذج وبيانات التدريب بالنسبة نفسها.

طريقتهم الثانية هي ما يعاد إنتاجه بالمسح في أعلى هذا الفصل، بمقياس أصغر بمليون مرة: ثبّت ميزانية، درّب أحجامًا كثيرة عند تلك الميزانية بالضبط، وارسم الخسارة النهائية مقابل حجم النموذج.

خسارة held-out بوحدة nats لكل token، وtokens لكل parameter بين قوسين، والخط العريض لأفضل نموذج عند كل ميزانية؛ والشرطة نقطة لم تُشغّل، لأن الميزانية طلبت نصًا أكثر مما يحتويه corpus أو لأن الحجم خرج عن الأحجام الممسوحة هناك.

اقرأ نزولًا في عمود: تهبط الخسارة، تصل إلى قاع، ثم تصعد مجددًا. يمكن أن يكون النموذج كبيرًا أكثر من اللازم لميزانيته بسهولة أن يكون صغيرًا أكثر من اللازم — عند $10^{14}$، عقوبة اختيار 665,280 parameter بدل 295,808 هي 0.08 nats، وهي على الغلاف الملائم أعلاه الخسارة التي يبلغها نموذج بالحجم الصحيح بحوسبة أقل 18 %. اختيار الشكل الخاطئ يهدر خمس الميزانية. هذا هو شكل Chinchilla رقم 3 في عصر واحد على GPU واحد بدل أربعمئة نموذج.

الآن اقرأ أفقيًا. عند $10^{13}$ أفضل نموذج هو أصغر ما شمله المسح؛ وعند $10^{14}$ هو 295,808 parameter، محاطًا من الجانبين. تتحرك النقطة المثلى يمينًا مع نمو الميزانية، وهذا هو كامل مضمون التصحيح. لائم طريقة الورقة الثالثة — السطح $L(N,D) = E + A/N^{\alpha} + B/D^{\beta}$ فوق كل تجربة — وقلّل مع القيد $C = 6ND$:

L(N, D) = 24.7 / N^0.195 + 46.8 / D^0.169       (E fits to ~0; see below)
implied   N_opt ∝ C^0.464
  compare   Chinchilla 0.46-0.50 · Besiroglu 0.513 · Kaplan 0.73

0.46، من حاسوب محمول، مقابل 0.73 لدى Kaplan. الاتفاق إلى ثلاثة أرقام من ملاءمة بثلاث ميزانيات حظ؛ أما الاتفاق إلى الرقم الأول فليس حظًا. الأس ينتقل — والثابت لا ينتقل، لأن نسبة token إلى parameter عند هذه النقاط المثلى هي 170 إلى 540، لا 20. ثلاثة أسباب، وكلها مفيدة. $E$ يطابق صفرًا لأن الخسارة فوق 4 nats تعني أن التشغيل ليس قريبًا إطلاقًا من أرضية entropy التي تهيمن على ملاءمة Chinchilla. ثُبّت حجم batch ومعدل التعلم بدل ضبطهما لكل نقطة، وهذا يعيق التجارب التي تحصل على أقل عدد من الخطوات — وتلك هي النماذج الكبيرة: عند $10^{13}$ FLOPs يحصل نموذج 1.28 مليون parameter على 159 خطوة محسّن إجمالًا، أقل بكثير من بضعة آلاف يقول حد $S_{\min}$ لدى Kaplan إن أي نموذج يحتاجها. يُلائم قانون التوسع داخل نظام، وهذا النظام يقع ست رتب مقدار دون Chinchilla.

ومن هنا ملخص الورقة: «نماذج اللغة الكبيرة الحالية ناقصة التدريب بوضوح». Chinchilla هو البرهان — 70 مليار parameter على 1.4 تريليون token، وبـ نفس إجمالي الحوسبة مثل Gopher ذي 280 مليارًا على 300 مليار، ويتفوق عليه في 51 من 57 مهمة MMLU، 67.5 % مقابل 60 %.² أصغر أربع مرات، ونص أكثر أربع مرات ونصف، نفس المال، نموذج أفضل.

تنبيهان حول تلك النسبة الشهيرة. «عشرون token لكل parameter» ليست جملة في الورقة، التي تقول فقط إن «كل تضاعف في حجم النموذج ينبغي أن يصاحبه تضاعف أيضًا في عدد training tokens»؛ والـ 20 استنتاج من جدول 3 ومن Chinchilla نفسه: 70 B على 1.4 T. ودقتها أسوأ مما نُشر: أعاد Besiroglu وآخرون الملاءمة من رقمنة شكل 4، ووجدوا أن parameters الأصلية «تلائم البيانات المعاد بناؤها على نحو رديء» مع فواصل «ضيقة على نحو غير معقول بالنظر إلى عدد نقاط البيانات»، ووضعوا المجال الصادق عند «بين 4 و40» token لكل parameter.⁸

تفصيل واحد في طريقة Chinchilla يفي بوعد قطعه الفصل 1 بشأن جداول معدلات التعلم. يجب مطابقة cosine schedule مع ميزانية الـ token. نموذج سيرى 10 ملايين token يجب أن يخفض معدل تعلمه إلى الصفر عند 10 ملايين token؛ أعطه schedule معدًا لـ 100 مليون، وأوقفه مبكرًا، وستقرأ خسارة في منتصف الهبوط عند معدل أعلى بكثير. يدرّب Chinchilla كل نموذج بأربعة أطوال دورات لضبط هذا تحديدًا؛ والمسح أعلاه يحدد schedule من الميزانية للسبب نفسه.

إنها أكثر نتيجة تجريبية فائدة في المجال، ويُبالغ في بيعها باستمرار. أربعة حدود.

إنها تتنبأ بالخسارة، لا بالقدرة. الطرف الأيسر هو cross-entropy على نص held-out. لا شيء في هذه الأوراق يجيز ادعاء حول ما إذا كان النموذج سيكتب SQL صحيحًا، أو يرفض طلبًا مؤذيًا، أو يستخدم أداة. هذا درس الفصل 5 مرة أخرى: تنبؤ بالخسارة ليس تنبؤًا بالسلوك الذي تدفع ثمنه.

إنها ملائمة، لا مشتقة. لا توجد نظرية تنتج $\alpha_N = 0.076$. تتحرك الثوابت مع tokenizer — ولهذا تكون مقارنة perplexity عبر tokenizerين بلا معنى، كما شرح الفصل 8 — ومع خليط البيانات، والبنية، والمحسّن. كل قانون منشور هو قانون للإعداد الذي أنتجه، ولهذا أعادت Meta ملاءمة قانونها قبل Llama 3.⁵

إنها تفترض token جديدًا لكل خطوة، وهذا يفترض ضمنًا corpus لا نهائيًا. قاس Muennighoff وآخرون ما يحدث عندما ينفد: حتى أربعة epochs من بيانات مكررة لا تكلف تقريبًا شيئًا — نموذج بـ 8.7 مليار parameter على 44 مليار token فريد رآها أربع مرات أنهى «بخسارة validation أعلى 0.5 % فقط» من النموذج نفسه على 178 مليار token فريد — بينما بعد نحو ستة عشر epoch لا تشتري الحوسبة الإضافية شيئًا.⁹

ولا أحد يدرب compute-optimal بعد الآن. يقلل Chinchilla تكلفة التدريب؛ ثم يدفع نموذج منشور تقريبًا $2N$ FLOPs لكل token مُولّد، إلى الأبد. قالت LLaMA 1 ذلك بوضوح: «بالنظر إلى مستوى أداء مستهدف، النموذج المفضل ليس الأسرع تدريبًا بل الأسرع في inference».¹⁰ صاغ Sardana وآخرون ذلك بتقليل $6ND_{\text{train}} + 2ND_{\text{inference}}$ بدلًا من ذلك، ووجدوا أن من يتوقع مليار طلب ينبغي أن يدرب «أصغر ولمدة أطول من Chinchilla-optimal».¹¹ يوافق §9.1 في Llama 3: نماذجه الصغيرة تُدرّب «إلى ما بعد نقطة التدريب compute optimal بكثير، بما يبادل فعليًا حوسبة التدريب بكفاءة inference».⁵ النسبة ليست قديمة؛ إنها تجيب عن سؤال لم يعد هو السؤال المطروح.

تهبط الخسارة بسلاسة. نتائج الاختبارات أحيانًا لا تفعل. جمع Wei وآخرون حالات تبقى فيها مهمة عند مستوى الصدفة عبر رتب مقدار من training compute ثم تقفز — حساب بثلاث خانات يظهر في GPT-3 عند نحو $2 \times 10^{22}$ FLOPs، وMMLU يرتفع فوق التخمين بين $3$ و$5 \times 10^{23}$ — وسمّوا النمط: «تكون القدرة ناشئة إذا لم تكن موجودة في النماذج الأصغر لكنها موجودة في النماذج الأكبر».¹² إذا كانت هذه خاصية حقيقية، فاستقراء التجارب الرخيصة غير آمن، لأن القدرة التي تشتريها قد لا توجد عند أي مقياس تستطيع اختباره.

جادل Schaeffer وMiranda وKoyejo بأن معظم ذلك أثر مصطنع من القياس، والآلية حسابية.¹³ تهبط خسارة كل token بسلاسة، لذا تتحسن احتمالية أن يكون token واحد صحيحًا، $\exp(-\mathcal{L})$، تدريجيًا. قيّم النموذج باستخدام exact string match على إجابة من $L$ token فترفع تلك الاحتمالية إلى القوة $L$ — منحنى سلس مرفوع إلى قوة كبيرة يبدو كجرف. استبدل به مقياسًا يعد tokens بدل أن يطلبها كلها، على المخرجات نفسها، و«يتحسن أداء العائلة بسلاسة واستمرار وبشكل قابل للتنبؤ مع زيادة scale».

رقم تدقيقهم هو ما يجب تذكره — «من أصل 39 مقياسًا مفضلًا في BIG-Bench، يعرض 5 على الأكثر emergence»، مع مقياسين غير مستمرين يفسران أكثر من 92 % من الحالات المزعومة — وكذلك تحذيرهم: «لا ينبغي تفسير أي شيء في هذه الورقة على أنه يدعي أن large language models لا يمكن أن تعرض قدرات ناشئة». القفزة في مخطط دليل على المقياس إلى أن يثبت غير ذلك. الفصل 29 هو المكان الذي يصبح فيه ذلك مشكلتك، لأن اختيار مقياس بعتبة قاطعة قرار ستتخذه دون أن تلاحظ.

الـ corpus هو جزء تشغيل التدريب المسبق الذي لا ترتبط به معادلة، وحيث تعيش معظم القرارات ذات العواقب. المادة الخام هي زحف ويب: يحتوي أرشيف Common Crawl لشهر أغسطس 2026 على «2.14 مليار صفحة ويب أو 360 TiB من المحتوى غير المضغوط»، شهر واحد منه، متاح للتنزيل مجانًا.¹⁴ يكاد لا يكون أي منه صالحًا كما هو. تقول ورقة T5 إن الزحف «يتكون إلى حد كبير من هراء أو نصوص boiler-plate مثل القوائم ورسائل الخطأ أو النص المكرر»، وخط أنابيب C4 الذي قدمته قائمة heuristics فظة — احتفظ فقط بالأسطر المنتهية بعلامة ترقيم نهائية، وأسقط الصفحات التي تقل عن ثلاث جمل، وأسقط أي صفحة تحتوي على قوس معقوف أو كلمة من قائمة عامة للألفاظ البذيئة — فحوّل عشرين تيرابايت من النص الشهري إلى نحو 750 GB.¹⁵

فظة هي الكلمة. دقق Dodge وآخرون في ما تزيله تلك المرشحات ووجدوا أن قائمة حظر الألفاظ البذيئة تحذف 42 % من المستندات بالإنجليزية الأفريقية-الأمريكية و32 % بالإنجليزية المتوافقة مع الهسبان، مقابل 6.2 % من الإنجليزية المتوافقة مع البيض، تاركة corpus نسبته 97.8 % من الفئة الأخيرة.¹⁶ قاعدة بلا رأي عن اللهجة امتلكت رأيًا.

ثم deduplication، وهي ليست ترتيبًا منزليًا: وجد Lee وآخرون جملة من 61 كلمة مكررة 61,036 مرة في C4، وأظهروا أن deduplication يخفض معدل «إطلاق النماذج نصًا محفوظًا» عشرة أضعاف، من 1.9 % من tokens المولدة إلى 0.19 %.¹⁷ لكن المزيد ليس أفضل دائمًا — أجرى فريق FineWeb deduplication عالميًا عبر 96 زحفًا، وحصل على 4 تريليونات token بلا مكسب قابل للقياس، ثم أجرى deduplication لكل زحف على حدة، وحصل على 20 تريليونًا، وطابق أفضل corpus موجود.¹⁸

ثم التلوث. قاس Llama 3 تلوثه ونشره: 98 % من AGIEval، و95 % من BIG-Bench Hard، و85 % من HellaSwag تتداخل مع training set عبر 8-grams، وبالنسبة إلى MMLU كان التداخل عاليًا إلى درجة أنه «من المستحيل الحصول على تقدير جيد لمكسب الأداء».⁵ يورد §4 من GPT-3 خلل ترشيح ترك benchmarks داخل البيانات بلا طريق رجعة: «بسبب اعتبارات التكلفة كان من غير العملي إعادة تدريب النموذج».⁷

المصدرية هي الجزء غير المحسوم. تضمّن The Pile مكوّنًا حجمه 100.96 GiB اسمه Books3 — 12 % من corpus، وبحسب جدول موافقة الورقة نفسها، كتبًا من متتبع torrent خاص؛¹⁹ أُزيل من الإنترنت في أغسطس 2023 بعد شكوى حقوق نشر. الوضع القانوني حتى سبتمبر 2026 غير محسوم، والأحكام الأمريكية الثلاثة المستشهد بها كاتجاه تختلف فيما بينها. وجد Alsup أن التدريب على كتب مكتسبة قانونيًا «تحويلي للغاية» بينما اعتبر أن مكتبة بُنيت من نسخ مقرصنة ليست كذلك، وسوّت Anthropic ذلك النصف مقابل $1.5 مليار تغطي 482,460 عملًا، نحو $3,000 لكل منها، وأُقرت في 20 يوليو 2026.²⁰ منح Chhabria حكمًا موجزًا لصالح Meta وهو يكتب أن حكمه «لا يقوم مقام القول إن استخدام Meta لمواد محمية بحقوق النشر لتدريب نماذجها اللغوية قانوني»، بل فقط أن «هؤلاء المدعين قدموا الحجج الخاطئة».²¹ لاحظ Bibas، في حكمه ضد Ross Intelligence، أن «الذكاء الاصطناعي غير التوليدي فقط معروض أمامي اليوم».²² لم تحكم أي محكمة استئناف أمريكية في السؤال.

الناس يفعلون الأجزاء التي لا تستطيع الخسارة فعلها. أفادت TIME في يناير 2023 أن عاملين يوسمون نصًا سامًا لصالح OpenAI عبر شركة Sama كانوا يتقاضون «بين نحو $1.32 و$2 في الساعة» وهم يقرؤون مقاطع تصف اعتداءً جنسيًا على أطفال وتعذيبًا وإيذاءً للنفس، بينما دفعت OpenAI لـ Sama مبلغ $12.50 في الساعة مقابل العمل؛ وتنازع Sama كلاً من نطاق الأجر والحصة.²³ هذا هو الترشيح حول التدريب المسبق لا التدريب المسبق نفسه — لكنه على الفاتورة نفسها، وهناك يجلس إنسان.

الكهرباء حقيقية وغالبًا ما يُساء اقتباسها. أدق رقم منشور هو رقم BLOOM: ‏1,082,990 ساعة GPU، و433 MWh، و24.7 طنًا من مكافئ CO₂ للتشغيل، و50.5 عند احتساب التصنيع والعقد الخاملة؛²⁴ ويضع Patterson وآخرون GPT-3 عند 1,287 MWh و552 طنًا.²⁵ تنبيهان. أفضلية BLOOM هي الشبكة النووية الفرنسية عند 57 g CO₂ لكل kWh لا الكفاءة — فقد استخدم طاقة أكثر من OPT-175B. وأكثر رقم انبعاثات مقتبس في المجال، 626,155 رطلًا لدى Strubell وآخرين لبحث neural architecture search، تبيّن لاحقًا أنه أعلى 88 مرة من الصحيح، لأنه افترض أن البحث جرى بحجم النموذج الكامل بينما جرى على proxy.²⁶ إطار LBNL هو القابل للدفاع عنه: استخدمت مراكز البيانات الأمريكية 192 TWh في 2024، أي 4.7 % من الكهرباء الوطنية — رقم ملتصق بصناعة، لا بتشغيل واحد.²⁷

الخيط الناظم هو ما سمّاه Bender وآخرون documentation debt: «نضع أنفسنا في موقف تكون فيه datasets غير موثقة وكبيرة جدًا بحيث لا يمكن توثيقها بعد وقوع الأمر».²⁸ كل حقيقة أعلاه موجودة لأن شخصًا ما نظر. أما corpora خلف النماذج التي يستخدمها معظم الناس، فلا يستطيع أحد ذلك.

الآن الحساب الذي يريده الجميع، من أربعة مدخلات موثقة، بحيث عندما تصبح قديمة يكون واضحًا ما الذي يجب استبداله.

اقرأ العمودين الأخيرين معًا. عند $10,000 تحصل على نموذج بخمسة مليارات parameter على عقدة مؤجرة واحدة خلال أسبوعين. عند $100,000,000 يقول الحساب 546 مليار parameter — واثنا عشر ألف H100 موصولة معًا لثلاثة أشهر، وهذا ليس شيئًا تستأجره ببطاقة ائتمان. بعد نحو $100,000 يتوقف القيد الملزم عن كونه المال ويصبح العنقود.

قبل الوثوق بجدول كهذا، اختبره على تشغيلات نُشرت تكلفتها الحقيقية — llm.c يعيد إنتاج GPT-2 124M في «~90 دقيقة» على عقدة 8×A100 «مقابل نحو $20»، وGPT-2 1.6B في 24 ساعة على عقدة 8×H100 مقابل $672.³¹

$672, against what $672 actually bought (llm.c GPT-2 1.6B, one 8xH100 node, 24 h)
  this table predicts:      168 H100-hours   N = 1.41 B params   D = 28.3 B tokens
  what was actually run:    192 H100-hours   N = 1.558 B params  D = 33.6 B tokens

Llama 3 405B, against Meta's own published GPU-hours
  from the paper's 3.8e25 FLOPs at 40 % MFU:   26.67 M H100-hours
  published in Meta's Llama 3.1 model card:    30.84 M H100-hours    ratio 0.86

كلاهما ضمن نحو 15 %، وهذه تقريبًا الدقة التي يستحقها هذا النوع من التقدير، وأفضل بكثير من الدقة التي يُقتبس بها عادة.

أكثر رقم يتكرر في هذا الموضوع هو أن نموذجًا من فئة GPT-2 كلّف نحو $43,000 في 2019 يمكن إعادة إنتاجه اليوم مقابل بضع عشرات من الدولارات. النصف الحديث موثق جيدًا؛ والنصف التاريخي ليس كذلك.

اليوم. README الخاص بـ nanochat لدى Karpathy: «يمكنك تدريب GPT-2 capability LLM خاص بك ... مقابل $48 فقط (~ساعتان من عقدة 8XH100 GPU) ... على spot instance يمكن أن تكون التكلفة الإجمالية أقرب إلى ~$15».³² «GPT-2 capability» هنا دقيقة ومنشورة — التفوق على CORE score لـ GPT-2 البالغ 0.256525 — على leaderboard كان أفضل إدخال فيها بتاريخ 14 مارس 2026 هو 1.65 ساعة. تفترض $48 مبلغ $3 لكل GPU-hour، وهو دون قائمة Lambda البالغة $3.99؛ بسعر القائمة يقترب من $64.

في 2019. لا يوجد مصدر أولي: لم تنشر OpenAI مدة ولا تكلفة. السلسلة تمر عبر The Register في فبراير 2019، التي أوردت «256 Google TPU3 cores» بلا سعر ولا مدة؛ ثم Synced في يونيو 2019، التي لاحظت أن تكلفة العتاد $256 في الساعة على Google Cloud وصرّحت بوضوح أن «OpenAI لم تحدد مدة التدريب». مبلغ $43,008 هو $256 في الساعة مضروبًا في افتراض 168 ساعة لم يُسندها أحد قط.

إذًا العنوان الصادق هو: يمكن اليوم تدريب نموذج يطابق نتيجة benchmark المنشورة لـ GPT-2 بأقل بكثير من $100 على عتاد مؤجر، مقابل تكلفة 2019 لم تُنشر قط ويستند تقديرها الشهير إلى تخمين غير مسند بشأن المدة. الانهيار حقيقي والنصف الحديث قابل لإعادة الإنتاج من أي شخص لديه بطاقة ائتمان؛ أما النسبة فهي حساب على رقم غير موجود. هذا هو حال تكاليف التدريب المنشورة عمومًا. لا تحتوي ورقة GPT-3 على أي مبلغ بالدولار، بل فقط $3.14 \times 10^{23}$ FLOPs في جدول D.1؛⁷ ولا تحتوي ورقة Llama 3 على أي مبلغ أيضًا.⁵ كل تكلفة تدريب قرأتها هي تقدير من عدد FLOP، وافتراض عتاد، وافتراض سعر — ويستحق دائمًا أن تسأل: افتراض من؟

ما يخرج يكون قد رأى corpus ثابتًا جُمّع في لحظة ثابتة، وتنتج عن ذلك خاصيتان.

الأولى هي knowledge cutoff. بعد تاريخ الجمع لا يعرف النموذج شيئًا — ليس «غير متأكد»، بل لا شيء — وسيختلق بطلاقة بدل أن يقول ذلك، لأن قول ذلك لم يكن يومًا سلوكًا دُرّب عليه. تعطي بطاقة نموذج Llama 3.1 ديسمبر 2023؛³³ لكل نموذج تاريخ كهذا، وهو خاصية لبيانات التدريب لا للنشر. الالتفاف عليه مشكلة retrieval، وهذا هو الفصل 19.

الثانية أن نموذج الأساس يكمل بدل أن يجيب. أعطه «ما عاصمة فرنسا؟» وقد يكون الاستكمال المعقول سؤالًا آخر، لأن تلك السلسلة تظهر في corpus غالبًا في قائمة تمارين.

مكمّل النص ليس مساعدًا. لا يتبع التعليمات، لأن لا شيء في corpus أخبره أن الطلب ينبغي أن يُطاع بدل أن يُستكمل. ليست لديه فكرة عن محادثة بين مشاركين. سينتج بسعادة الاستكمال الأكثر احتمالًا لـ prompt مؤذٍ، لأن الاحتمال هو الشيء الوحيد الذي حُسّن من أجله.

تحويله إلى شيء يجيب يحتاج مرحلة ثانية تكلف جزءًا من واحد بالمئة من الأولى، وتتكون تقريبًا بالكامل من أن تريه أمثلة على السلوك الذي تريده ثم تقارن أزواجًا من مخرجاته. تلك المرحلة هي مصدر اتباع التعليمات، وchat templates، والرفض، و— وهذا يفاجئ الناس — القدرة على استدعاء أداة. الفصل 11 هو تلك المرحلة: supervised fine-tuning وRLHF وDPO وGRPO، وسؤال ماذا تعني «aligned» ومن يقرر.

يستحق القراءة أيضًا إلى جانب هذا الفصل: build-nanogpt الخاص بـ Karpathy والفيديو المرافق له، اللذان يشرحان إعادة إنتاج GPT-2 كاملة من البداية إلى النهاية بوتيرة لا يستطيع هذا الفصل بلوغها؛ وStanford CS324، Large Language Models، الذي تتعمق محاضراته عن البيانات والأثر البيئي أكثر من القسم أعلاه في مادة يعالجها هذا المقرر مرة واحدة ثم يفوضها.