처음부터 배우는 AI
수학부터 LLM, 에이전트, MCP까지 다루는 인공지능 완전 강좌입니다. 총 30개 챕터로, 각 챕터만 읽어도 충분한 가치가 있습니다.
처음부터 만드는 퍼셉트론: 뉴런은 무엇을 계산하는가
뉴런은 가중합과 임계값입니다. 아이디어의 전부는 그것이고, 그 한계가 이후 모든 것을 밀어냈습니다.
손실 함수는 어디서 오는가: 관습이 아니라 likelihood
squared error는 관습이 아닙니다. noise에 대한 주장이고, 그 주장이 틀리는 모습을 직접 볼 수 있습니다.
내리막길: Gradient Descent와 모두가 건너뛰는 두 단계
모두가 마이너스 기호를 씁니다. 하지만 왜 거기에 있는지, 어느 정도 크기의 step까지 버티는지는 거의 말하지 않습니다.
분류, cross-entropy, 그리고 스스로를 속이지 않는 법
정확도는 보고하기 가장 쉬운 숫자이자, 가장 쉽게 속는 숫자입니다.
Backpropagation from scratch: 엔진부터, 그다음 신경망
Backpropagation은 신경망 알고리즘이 아닙니다. 그래프에 적용된 chain rule을 효율적인 방향으로 계산하는 것입니다.
학습시키는 것과 일반화시키는 것
gradient는 맞지만 네트워크는 여전히 배우지 않습니다. 이 장은 그 차이에 관한 이야기입니다.
BPE Tokenizer 만들기: 모델이 R 개수를 세지 못하는 이유
모델은 글자를 보지 않습니다. 철자, 개수 세기, 들여쓰기의 이상한 현상은 모두 여기서 시작됩니다.
Next-token prediction: embedding과 perplexity의 의미
하나의 objective, 라벨 없는 데이터, 그리고 아무도 설계하지 않은 vector table.
평균에서 유도하는 Attention과 Transformer Block
Attention은 그냥 받아들일 공식이 아닙니다. 과거를 균일하게 평균내기를 멈추고 model이 weights를 고르게 하면 얻게 되는 것입니다.
LLM 사전 학습: 데이터, 컴퓨트, 스케일링 법칙과 비용
남은 결정은 프로그래밍 결정이 아닙니다. 구매 결정입니다.
Base model에서 Assistant까지: SFT, RLHF, DPO, GRPO
사전 학습된 모델은 질문에 답하지 않습니다. 텍스트를 이어 쓸 뿐이며, 그 차이는 보이지 않는 두 번째 학습 단계에서 생깁니다.
Chain of Thought, RLVR, Test-Time Compute를 측정하다
model은 생각하지 않습니다. 답하기 전 더 많은 token을 쓰고, 그것은 측정되고 과금됩니다.
Inference 비용 낮추기: KV cache, batching, 양자화
생성은 하나의 문제가 아닙니다. compute-bound 첫 token 뒤에 memory-bound token 수천 개가 이어지고, serving의 거의 모든 기법은 이 분리에서 나옵니다.
첫 Production LLM 호출: Streaming, 재시도, 타임아웃
이제 model은 port 뒤에 있습니다. 여기서부터 잘못되는 일의 거의 전부는 수학이 아닙니다.
Prompt Engineering, 측정으로 보기: 무엇이 출력물을 바꾸는가
prompt는 논쟁이 아니라 측정의 대상입니다. 20개 사례로 네 변형을 비교해도 아무것도 구분할 수 없습니다.
Context window, token, 청구액을 실제로 재보면
context window는 memory가 아닙니다. 호출마다 처음부터 다시 채워지고, 그 재충전 비용을 냅니다.
Temperature와 Top-p, 그리고 당신에게 없는 결정성
Temperature는 모델을 더 창의적으로 만들지 않습니다. 모델이 낮게 평가한 token의 확률을 높일 뿐이고, 그 과정을 직접 볼 수 있습니다.
Tool Calling과 Structured Outputs: 깨지지 않는 계약
모델은 아무것도 실행하지 않습니다. 당신이 정의한 형태로 요청할 뿐이고, 통제할 수 있는 것은 그 형태뿐입니다.
Production RAG: chunking, retrieval, 정직한 인용
나쁜 chunking은 검색이 시작되기 전에 답을 파괴하며, 어떤 reranker도 이를 되살릴 수 없습니다.
Fine-Tune, Retrieval, Prompt? 결정은 경제성입니다
사람들은 이 질문을 model 문제가 아니라 예산 문제로 묻습니다.
Multimodal 가격: 이미지, 오디오, 비디오는 실제로 무엇에 과금될까
사진 한 장의 비용은 사진 한 장이 아닙니다. 당신이 정하지 않은 공식에 따른 token 비용입니다.
AI agent란 무엇인가: 다섯 가지 고전 유형과 두 경쟁 정의
카탈로그의 도구 하나가 호출 하나를 둘로, 39 input token을 420으로 바꿨습니다. 그것이 agent인지 여부는 어떤 정의를 여느냐에 달려 있습니다.
Agent Harness 만들기: 루프와 그 루프를 빠져나오는 다섯 가지 길
루프는 15줄입니다. 배포 가능하게 만드는 모든 것은 그 루프를 빠져나오는 방법입니다.
Context Engineering: 왜 당신의 agent는 40번째 턴에 더 멍청해질까
window는 넘치지 않았습니다. 사실이 옮겨졌고, agent는 그것을 찾지 못했습니다.
Multi-Agent 오케스트레이션: 다섯 가지 패턴과 승리하는 순간
네 가지 구성, 하나의 작업, 하나의 청구서. 가장 싼 방식은 틀렸고 가장 비싼 방식은 자기 worker를 검증하지 못했습니다.
스펙으로 읽는 MCP: 서버란 실제로 무엇인가
마법이 아닙니다. transport, 메시지 형식, 세 가지 primitive일 뿐이며 손으로도 입력할 수 있습니다.
MCP Server 출시하기: TypeScript와 Python 실측 비교
두 SDK, 하나의 wire. 흥미로운 차이는 protocol이 볼 수 없는 곳에서 드러납니다.
Agent Skills와 SKILL.md: 점진적 공개를 숫자로 검증하다
skill은 Markdown 파일이 들어 있는 폴더입니다. 흥미로운 모든 것은 그 파일의 어느 부분을 언제 읽느냐에서 시작됩니다.
LLM 평가: 공개 벤치마크에서 나만의 골든 세트까지
구간 없는 숫자는 소수점이 붙은 일화일 뿐입니다.
Prompt Injection과 치명적 삼중 조건: 실제 Agent 보안하기
모델은 당신의 지시와 낯선 사람의 지시를 구분하지 못합니다. 통하는 모든 방법은 그 사실을 받아들이는 데서 출발합니다.