ゼロから学ぶAI
数学からLLM、エージェント、MCPまで、人工知能をひと通り学べるコースです。全30章で、どの章も単体で読む価値があります。
ゼロから作るパーセプトロン：ニューロンは何を計算しているのか
ニューロンとは、重み付き和としきい値です。発想はそれだけです。そしてその限界こそが、その後のすべてを必要にしました。
損失関数はどこから来るのか：慣習ではなく likelihood
二乗誤差は慣習ではありません。ノイズについての主張であり、その主張が外れるところを見られます。
下り坂：Gradient Descentと、誰もが飛ばす2つのステップ
誰もがマイナス符号を書く。だが、それがなぜそこにあり、どれだけ大きな一歩まで耐えられるのかは、ほとんど誰も語らない。
分類、クロスエントロピー、そして自分を欺かない方法
精度は最も報告しやすく、最もだまされやすい数字です。
Backpropagationをスクラッチから：エンジン、そしてネットワークへ
backpropagationはneural networkのアルゴリズムではありません。グラフに適用したchain ruleを、効率のよい向きに計算するものです。
学習させること、そして汎化させること
gradient は正しい。それでもネットワークは学習しない。この章は、その違いについてです。
BPE Tokenizerを作る：モデルがRの数を数えられない理由
モデルは文字を見ていません。綴り、数え方、インデントの奇妙さはすべてそこから来ます。
Next-Token Prediction：embeddingとperplexityの意味
1つの目的関数、ラベルなし、そして誰も設計していないベクトル表。
平均から導く attention と transformer ブロック
attention は受け入れるだけの公式ではありません。過去を一様に平均するのをやめ、model に重みを選ばせたときに現れるものです。
LLMのPretraining：データ、計算資源、Scaling Laws、コスト
残る判断はプログラミングではありません。購入の判断です。
ベースモデルからアシスタントへ：SFT、RLHF、DPO、GRPO
pretrained modelは質問に答えません。テキストを続けるだけです。その差を生むのは、見えない第2の訓練段階です。
Chain of Thought、RLVR、Test-Time Computeを測る
modelは考えているのではありません。答える前により多くのtokenを使っており、それは測定でき、請求対象になります。
推論コストを下げる：KV Cache、Batching、量子化
生成は一つの問題ではありません。計算律速の最初のtokenと、memory律速の大量のtokenに分かれ、servingの工夫のほぼすべてはその分割から生まれます。
初めての本番 LLM 呼び出し：ストリーミング、リトライ、タイムアウト
モデルはいまポートの向こう側にあります。ここから先で起きる問題のほとんどは数学ではありません。
Prompt Engineeringを測る：何が出力を変えるのか
promptは議論するものではなく、測るものです。20件に4 variantsでは何も区別できません。
Context Window、token、請求額を実測する
windowはmemoryではありません。呼び出しのたびにゼロから詰め直され、その詰め直しに料金を払います。
Temperature、Top-p、そして手に入らない決定性
temperature はモデルをより創造的にするものではありません。モデル自身が低く評価した token の確率を上げます。その様子は実際に観察できます。
Tool CallingとStructured Outputs：破綻しない契約
modelは何も実行しません。定義した形で依頼するだけで、あなたが制御できるのはその形だけです。
本番RAG：chunking、retrieval、正直な引用
悪いchunkingは検索前に答えを壊し、どんなrerankerも取り戻せません。
fine-tuning、検索、それともprompt？判断基準は経済性です
誰もこの問いをmodelの問題としては尋ねません。予算の問題として尋ねます。
Multimodal Pricing：画像・音声・動画で本当に課金されるもの
写真1枚の料金は「写真1枚」ではありません。あなたが選んだわけではない式で決まるtokenの料金です。
AI agentとは何か：古典的な5タイプと、競合する2つの定義
カタログ内の1つのツールが、1回の呼び出しを2回に、39 input tokenを420に変えました。それをagentと呼ぶかは、どの定義を開くかで変わります。
Agent harnessを作る：ループと5つの脱出経路
ループは15行です。出荷可能にするものはすべて、そこから抜け出す方法です。
Context Engineering: Turn 40でagentが鈍る理由
windowはあふれていません。事実が少し動いただけで、agentは見つけられなくなりました。
Multi-agentオーケストレーション：5つのパターンと、単一agentが勝つとき
4つの構成、1つのタスク、1つの請求。最安は誤り、最高額は自分のworkerを検証できませんでした。
MCPを仕様に照らして解説：サーバーとは本当は何か
魔法ではありません。transport、message format、3つのprimitiveです。手で入力できます。
MCP ServerをShipする：TypeScriptとPythonを実測
2つのSDK、1つのwire。面白い差はprotocolから見えないところにあります。
Agent SkillsとSKILL.md：プログレッシブディスクロージャーを測る
skillとは、Markdownファイルを含むフォルダです。面白いことはすべて、そのファイルのどの部分がいつ読まれるかから始まります。
LLM評価：公開ベンチマークから自社のgolden setへ
区間のない数字は、小数点付きの逸話です。
Prompt Injectionと致命的な三要素：実際のagentを守る
modelはあなたの指示と他人の指示を見分けられません。機能する対策はすべて、その事実を受け入れるところから始まります。