Next-token-ennustus: embedding ja mitä perpleksisyys tarkoittaa

Luku 7 jätti sinulle kokonaislukujen jonon eikä mitään syytä sille, miksi yhden pitäisi seurata toista. Tässä on syy, ja se on yksi rivi luvusta 2.

Kielimalli on funktio, joka ottaa tähänastiset tokenit ja palauttaa jakauman siitä, mikä token tulee seuraavaksi: yksi luku jokaista sanaston alkiota kohti, ei-negatiivinen, summaltaan yksi. Ei muuta. Jotta tästä saadaan todennäköisyys kokonaiselle dokumentille, sovelletaan todennäköisyyden ketjusääntöä:

Se on identiteetti, tosi mille tahansa mistä tahansa koostuvalle jonolle, ilman lisäoletuksia. Malli, joka tekee pienen työn — seuraava token edellisten perusteella — on siis jo tehnyt suuren työn: se antaa todennäköisyyden jokaiselle mahdolliselle dokumentille, täsmällisesti ja ilmaiseksi. Suosittu kehystys halpana temppuna (”se vain ennustaa seuraavan sanan”) kääntää logiikan väärinpäin: seuraavan tokenin ennustaminen on yhteisjakauman mallintamista. Mitään toista tehtävää ei koskaan ollut.

Loss seuraa yhtä mekaanisesti. Jokaisessa kohdassa malli tuottaa jakauman $q$ ja totuus on yksi tunnettu token, joten luvun 4 ristientropia pätee muuttumattomana:

Se on keskimääräinen negatiivinen log-likelihood — luvun 2 resepti, jossa Gaussin jakauman paikalla on kategorinen jakauma. Ja koska todellinen jakauma on one-hot, sen entropia on nolla, joten luvun 4 identiteetin mukaan ristientropia on yhtä suuri kuin KL-divergenssi: tämän luvun pienentäminen ja mallin uskomusten vetäminen kohti dataa ovat sama teko.

Yksi seuraus ansaitsee oman virkkeensä, koska se on koko alan alla oleva taloudellinen tosiasia. Tunnisteet ovat data, yhden kohdan verran siirrettynä. Kukaan ei annotoi mitään. Biljoona tekstin tokenia on biljoona valmiiksi tunnistettua esimerkkiä, minkä vuoksi modernin mallin koulutuskorpus on ”internet” eikä ”jonkun rakentama datasetti”.

Ennen mitään verkkoa lähtötaso: 32 033 nimeä, yksi per rivi, ja tehtävä tuottaa niitä lisää kirjain kerrallaan.¹

Sanasto on 26 kirjainta plus rajamerkki ., joka merkitsee sekä nimen alkua että loppua, joten mallin täytyy oppia, mistä nimet alkavat ja mihin ne pysähtyvät. Siinä on 27 symbolia, ja pienin mahdollinen malli on taulukko siitä, kuinka usein kukin symboli seurasi kutakin toista symbolia.

N = torch.zeros((27, 27), dtype=torch.int32)
for w in words:
    cs = ["."] + list(w) + ["."]
    for a, b in zip(cs, cs[1:]):
        N[stoi[a], stoi[b]] += 1

P = N.float()
P = P / P.sum(1, keepdim=True)            # one distribution per row   

Kaksi riviä aritmetiikkaa ja malli on sovitettu — eikä se ole heuristiikka: lukumäärien jakaminen rivisummilla on suurimman uskottavuuden estimaatti kategoriselle jakaumalle, eli luvun 2 resepti laskettuna valmiiksi.

names: 32033        train/val/test: 25626 / 3203 / 3204
training bigrams: 182583

the six most likely letters after 'a':
    a -> '.'  0.1944   a -> 'n'  0.1600   a -> 'r'  0.0967
    a -> 'l'  0.0749   a -> 'h'  0.0690   a -> 'y'  0.0606

Ota siitä näytteitä — valitse kirjain nykyisen kirjaimen riviltä, siirry sille riville, toista kunnes rajamerkki tulee vastaan — ja saat tämän luvun alussa olevat nimet. Ne epäonnistuvat täsmällisellä ja opettavaisella tavalla: paikallisesti uskottavia, kokonaisuutena järjettömiä. Jokainen vierekkäinen kirjainpari sanassa momakurailezitynn on pari, joka esiintyy oikeissa nimissä; niitä vain on seitsemäntoista peräkkäin. Mallilla on yhden kirjaimen muisti, joten se ei voi tietää jatkuneensa liian pitkään.

Loss erillisillä validointinimillä on 2,4546 natia. Se luku ei yksinään tarkoita mitään, ja siksi perpleksisyys on olemassa:

Kirjoitettuna auki, ilman että kirjasto tekee työn:

@torch.no_grad()
def perplexity(logits, Y):
    logp = F.log_softmax(logits, dim=1)          # log q for every symbol
    chosen = logp[torch.arange(len(Y)), Y]       # log q of the one that came next   
    return torch.exp(-chosen.mean())             

Eksponentointi kumoaa logaritmin ja palauttaa luvun asioiden laskemisen yksiköihin. Siistein tapa nähdä mitä se laskee on mitata mallia, joka ei tiedä yhtään mitään — sellaista, joka antaa todennäköisyyden $1/27$ jokaiselle symbolille kontekstista riippumatta:

uniform over 27 symbols            loss 3.2958 nats   ppl  27.000
bigram counts, add-one smoothed    loss 2.4546 nats   ppl  11.642

Täsmälleen 27,000, koska $e^{\log 27} = 27$. Perpleksisyys on yhtä todennäköisten vaihtoehtojen efektiivinen määrä, joiden väliltä malli valitsee. Perpleksisyys 27 tarkoittaa ”ei aavistustakaan, voi olla mitä tahansa”. Laskentamallin 11,642 tarkoittaa, että yhden kirjaimen konteksti jättää sen yhtä epävarmaksi kuin jonkun, joka valitsee sokkona noin kahdestatoista vaihtoehdosta kahdenkymmenenseitsemän sijaan — siksi perpleksisyys mainitaan ja raakaa loss-lukua ei.

Kaksi asiaa menee siinä pieleen, ja toinen niistä menee pieleen julkaistuissa artikkeleissa.

Nollatodennäköisyydet ovat kohtalokkaita. Taulukon 729 solusta 113 ei koskaan esiinny koulutuksessa — 15,5 % siitä on tyhjää. Se on kunnossa, kunnes validointijoukko osuu yhteen niistä, ja seitsemän bigramia validoinnissa osuu, niiden joukossa d→q, z→j ja q→o kahdesti. Todennäköisyys nolla tarkoittaa log $-\infty$, mikä tarkoittaa ääretöntä lossia ja ääretöntä perpleksisyyttä: yksi nimi kolmesta tuhannesta tuhoaa mittarin. Tavallinen paikkaus on lisätä 1 jokaiseen lukumäärään ennen normalisointia, mikä maksaa täällä lähes ei mitään (2,4546 eikä 2,4524). Mutta paikkaus on tunnustus. Laskentamalli ei pysty yleistämään lainkaan. Sillä ei ole keinoa epäillä, että q→o on uskottava, koska q→u on yleinen ja o käyttäytyy muualla kuten u, sillä sillä ei ole käsitystä siitä, että kaksi symbolia voivat muistuttaa toisiaan. Jokainen solu opitaan yksin, ja sen korjaamista varten tämän luvun loppu on olemassa.

Perpleksisyys on hinta per token, ja token on vapaa parametri. Tämä on virhe, joka näkyy jatkuvasti malleja verrattaessa, ja sen huomaa helposti kun katsoo. Ota sama englanninkielisen proosan korpus luvusta 7, sama interpoloitu bigram-malli, ja muuta vain sitä, miten teksti pilkotaan:

Perpleksisyys vaihtelee näillä riveillä kertoimella 25. Mikään mallissa ei muuttunut; vain ennustettavan asian koko muuttui. Kokonaisen sanan ennustaminen on vaikeampaa kuin kirjaimen ennustaminen, joten se maksaa enemmän per ennuste — ja ennusteita on vähemmän tehtävänä.

Lue nyt viimeinen sarake, joka jakaa kokonaiskustannuksen sen sijaan merkkien määrällä ja muuntaa sen biteiksi. Se järjestää taulukon uudelleen. Perpleksisyyden mukaan järjestys on merkit, sanat, BPE-512, BPE-2048; bitteinä per merkki se on sanat, BPE-2048, BPE-512, merkit. Merkkimalli putoaa ensimmäiseltä sijalta viimeiseksi. 2 048 mergen malli, joka näyttää perpleksisyyden perusteella 6,6 kertaa huonommalta kuin 512 mergen malli, on itse asiassa parempi näistä kahdesta: 2,4254 bittiä vastaan 2,6407.

Perpleksisyys on siis vertailukelpoinen vain kahden sellaisen mallin välillä, joilla on sama tokenizer, ja eri tokenizereilla varustettuja malleja voidaan vertailla vain bitteinä per merkki — suureena, jonka Shannon mittasi vuonna 1951 pyytämällä ihmiskoehenkilöitä arvaamaan englanninkielisen tekstin seuraavan kirjaimen, ja jonka hän rajasi noin yhteen bittiin per merkki.² Paras bigramimme on 2,23 bitissä, mikä on reilu yhteenveto siitä, kuinka paljon tällä luvulla on vielä kuljettavaa.

Rakennetaan nyt sama malli verkkona. Se tarvitsee kertaluokkia enemmän aritmetiikkaa päätyäkseen samaan paikkaan, ja samaan paikkaan päätyminen on koko pointti.

Korvaa taulukko yhdellä painomatriisilla $W$, jonka muoto on $27 \times 27$. Muunna nykyinen kirjain one-hot-vektoriksi, kerro, ja kutsu tulosta logits — luvun 4 normalisoimattomiksi pisteiksi. Sitten softmax, sitten ristientropia, sitten gradient descent.

W = torch.randn((27, 27), requires_grad=True)

for step in range(3000):
    logits = W[xs]                            
    loss = F.cross_entropy(logits, ys)
    W.grad = None
    loss.backward()
    W.data -= 50.0 * W.grad

Korostettu rivi sisältää määritelmän, joka kannattaa pitää. One-hot-vektorin kertominen matriisilla valitsee siitä yhden rivin, joten kertolasku on haku — ja jokainen toteutus ohittaa aritmetiikan ja tekee haun suoraan, mitä W[xs] on.

Se on embedding table. Matriisi, jossa on yksi rivi per sanaston alkio, indeksoituna token id:llä. Ei geometriaa, ei semantiikkaa, ei erillistä algoritmia: hakutaulukko, jonka sisältö vain sattuu opittavaksi gradient descentin avulla kaiken muun mukana. Jokainen mystinen väite ”embedding-avaruudesta” päätyy lopulta tähän.

Kouluta se ja katso, minne se menee:

  step     1   train 3.7550   val 3.3882   max gap to the count table 0.757269
  step   100   train 2.4732   val 2.4726   max gap to the count table 0.388354
  step  1000   train 2.4557   val 2.4549   max gap to the count table 0.041862
  step  3000   train 2.4547   val 2.4544   max gap to the count table 0.004048

Viimeinen sarake on suurin itseisarvoinen ero minkä tahansa softmax(W)-solun ja laskentataulukon vastaavan solun välillä, ja se menee nollaan. 3 000 askeleen jälkeen suurin erimielisyys missään 729 solusta on 0,004048 ja keskiarvo 0,000224. Huonoin solu on q→i, joka nähtiin koko koulutusjoukossa kaksitoista kertaa; niiden 22 rivin joukossa, joilla on yli tuhat esiintymää, huonoin erimielisyys on 0,000562.

                 count table   network
    a -> '.'        0.1945     0.1945
    a -> 'n'        0.1601     0.1601
    a -> 'r'        0.0967     0.0967

Gradient descent, joka aloitti satunnaisluvuista eikä saanut muuta ohjetta kuin ”tee seuraavan kirjaimen log-todennäköisyydestä suuri”, löysi laskentataulukon uudelleen. Ja sen oli pakko: lukumäärät ovat suurimman uskottavuuden estimaatti, ristientropia on negatiivinen log-likelihood, joten molemmat menettelyt optimoivat samaa tavoitetta ja sillä tavoitteella on yksi optimum. Verkko ei oppinut jotain laskemisen kaltaista. Se konvergoitui laskemiseen, hitaasti.

Mikä herättää reilun kysymyksen siitä, miksi kukaan vaivautuisi. Koska laskentataulukolla ei ole tästä eteenpäin mitään minne mennä, ja verkolla on.

Laajenna malli katsomaan useampaa kuin yhtä edellistä merkkiä. Tämä on Bengion vuoden 2003 arkkitehtuuri, kaikkien tämän kurssin loppuosan mallien suora esi-isä:⁴ ota kolme viimeistä merkkiä, kuvaa kukin embedding tableen 10-ulotteiseksi riviksi, ketjuta rivit 30 luvuksi, työnnä ne luvun 5 hidden layerin läpi ja päätä output layeriin, joka tuottaa yhden logitin per sanaston alkio.

C  = torch.randn((27, 10))          # the embedding table
W1 = torch.randn((3 * 10, 200))     # the hidden layer from Chapter 5
W2 = torch.randn((200, 27))         # one output per vocabulary entry

emb = C[X].view(-1, 30)             # three lookups, concatenated   
h = torch.tanh(emb @ W1 + b1)
logits = h @ W2 + b2                
loss = F.cross_entropy(logits, Y)

Huomaa, mikä on uutta ja mikä ei. Hidden layer on luvun 5 kerros, muuttumaton; loss on luvun 4 loss, muuttumaton. Uutta ovat embedding table edessä ja output layer, joka on yhtä leveä kuin luvun 7 sanasto — ja juuri tämä toinen on jokaisen koskaan rakennetun kielimallin kallis osa, koska oikeassa sanastossa on 100 000 alkiota ja tämä matriisikertolasku ajetaan jokaisessa kohdassa.

Sama koodi, koulutettuna identtisesti, vain context windowin kokoa muuttaen:

Toinen rivi on kiinnostava. Verkko, jossa on 200 yksikön hidden layer ja yksitoista kertaa enemmän parametreja kuin laskentataulukossa, suoriutuu täsmälleen yhtä hyvin kuin laskentataulukko eikä paremmin. Kapasiteetti ei koskaan ollut rajoite. Yhden merkin context sallii tietyn lossin, eikä mikään siihen pultattu voi mennä sen alle, koska informaatio ei ole siellä.

Anna sille kolme merkkiä ja perpleksisyys putoaa 11,68:sta 8,29:ään — 29 %:n leikkaus, ostettuna 4 000 lisäparametrilla. Se päihittää laskemisen tässä juuri aiemmin diagnosoidusta syystä: kolmen merkin konteksteihin perustuva laskentamalli tarvitsee $27^3 = 19{,}683$ riviä, joista useimmat ovat tyhjiä tai sisältävät yhden havainnon, ja se oppii jokaisen yksin. Verkko jakaa. Jos a, e ja i päätyvät samankaltaisiin embedding-riveihin, se mitä se oppii kohdan bra jälkeen siirtyy kohtaan bre ilman että se olisi koskaan nähnyt bre. Tämä siirto on embedding tablen koko arvo, ja se on rivien kaksi ja kolme välinen ero.

Näytteet paranevat vastaavasti:

deliah   nellara   joce     kael      quintis
salayson  reety    khyrmin  mahnen    madiaryxia

Ei vieläkään lista oikeita nimiä. Mutta deliah, nellara ja kael eivät näyttäisi sellaisella listalla vääriltä, ja venyvät hirviöt ovat poissa: laskentamallin kahdestakymmenestä näytteestä pisin on yhdeksäntoista kirjainta, tämän mallin kahdestakymmenestä pisin on kolmetoista.

Taulukko on $27 \times 10$: yksi kymmenen luvun rivi per merkki, kaikki alustettu satunnaisesti ja liikutettu vain seuraavan merkin lossin gradientilla. Kukaan ei laittanut sinne mitään. Mitä sinne siis päätyi?

Kysymisen työkalu on kosinisamankaltaisuus, joka on luvun 1 pistetulo, josta pituudet on jaettu pois:

Se mittaa kahden vektorin välistä kulmaa ja sivuuttaa niiden pituudet, mitä haluat silloin kun rivin pituus heijastaa sitä, kuinka usein sen token esiintyi, eikä sitä mitä se tarkoittaa. Normalisoi jokainen vektori ensin pituuteen 1 — kuten oikeat järjestelmät tekevät kerran indeksointiaikana — ja kosinisamankaltaisuus on yksinkertaisesti pistetulo.

Tässä ovat muutaman merkin lähimmät naapurit koulutetussa taulukossa:

  'c' -> 'k':+0.598      'j' -> 'z':+0.650      'i' -> 'y':+0.541
  'u' -> 'e':+0.482      'a' -> 'h':+0.367      '.' -> 'q':+0.077

Osa siitä on sitä, mitä kansanperinne lupaa. c ja k ovat nimissä keskenään vaihdettavissa, samoin i ja y; j ja z ovat molemmat harvinaisia, enimmäkseen alussa esiintyviä konsonantteja, jotka käyttäytyvät samalla tavalla. Rajamerkki . ei ole lähellä oikein mitään — 0,077 lähimpään kirjaimeensa — koska se on ainoa symboli, joka merkitsee sijaintia eikä ääntä.

Ja osa siitä ei ole. a:n lähin naapuri on h, ei toinen vokaali. Keskimäärin kaikkien parien yli:

mean cosine, vowel to vowel         : +0.1889
mean cosine, consonant to consonant : +0.0765
mean cosine, vowel to consonant     : -0.0042

Vokaalit muistuttavat toisiaan enemmän kuin konsonantteja, ja ilmiö on todellinen mutta pieni. Kun sitä testataan 2 000 satunnaisesti valittua viiden kirjaimen ryhmää vastaan, 58 näistä ryhmistä erottuu vähintään yhtä siististi — ero on merkitsevä noin tasolla $p = 0.03$. Todellinen siis, mutta ei lainkaan sellainen terävä geometrinen saareke, jota popularisoidut kertomukset embeddingeistä antavat ymmärtää.

Tämä on rehellinen kuvaus embedding tablesta, ja siitä kannattaa pitää kiinni kurssin loppuun asti. Se ei ole merkityksen kartta. Se on koordinaattien vaihto, opittu eikä suunniteltu, jonka ainoa tehtävä on tehdä seuraavan kerroksen työ helpoksi — sama lause, jota luku 5 käytti hidden layerista, joka taittoi tason ratkaistakseen XOR:n. Kaikki rakenne, jonka siitä löydät, on siellä koska se laski lossia, ja rakenne, joka ei laske lossia, ei yksinkertaisesti ole siellä.

Jos hyödyllinen osa on taulukko, voit tavoitella sitä suoraan. Se on word2vec: pidä embedding-haku, heitä kielimalli pois.⁵

Skip-gram with negative sampling -tavoite on yksi rivi. Oikealle (keskus, konteksti) -parille, joka on poimittu korpuksesta, työnnä niiden pistetuloa ylös; $k$:lle kohinajakaumasta poimitulle valheparille työnnä sitä alas:⁶

Se on binääriluokittelua — ”esiintyivätkö nämä kaksi sanaa oikeasti yhdessä?” — ja se on halpaa juuri siksi, ettei se koskaan koske koko sanastoon, mikä teki miljardien sanojen kouluttamisesta käytännöllistä vuonna 2013. GloVe päätyy samankaltaisiin vektoreihin toisesta suunnasta, faktoroimalla globaalien yhteisesiintymälaskurien matriisin sen sijaan että se virtaisi esimerkkien läpi.⁷ Molemmat sovitetaan täsmälleen siihen statistiikkaan, josta laskentataulukko rakennettiin. Ne ovat laskemista, pakattuna.

Kun vektorit koulutetaan aineistolla text8 — 17 005 207 englanninkielisen Wikipedian sanaa, joista 71 290 esiintyy vähintään viisi kertaa, 100 ulottuvuutta, kolme kierrosta — niihin ilmestyy ominaisuus, joka teki niistä kuuluisia:

king     -> charles 0.700, son 0.693, queen 0.686, henry 0.669, throne 0.667
physics  -> chemistry 0.672, electromagnetism 0.661, quantum 0.654, theoretical 0.624
guitar   -> bass 0.733, vocals 0.732, acoustic 0.728, guitars 0.703, drums 0.685
three    -> seven 0.892, two 0.877, one 0.875, five 0.871, four 0.870

Kukaan ei antanut kategoriaa soittimille tai lukusanoille. Nyt kuuluisa osa: ota king, vähennä man, lisää woman ja etsi tulosta lähin vektori.

king - man + woman
   nothing excluded : king 0.693, elizabeth 0.657, wife 0.629, woman 0.607
   a, b, c excluded : elizabeth 0.657, wife 0.629, mary 0.607   (queen is 4th, 0.604)

Lähin vektori kohteelle king - man + woman on king. Se ei ole yhden esimerkin oikku. Mikolovin arviointijoukko esittää kysymyksiä muodossa a : b :: c : ? — 8 869 semanttista (paris : france :: rome : italy) ja 10 675 syntaktista (walking : walked :: swimming : swam) — ja niiden 4 103 semanttisen kysymyksen joukossa, joihin tämä sanasto pystyy vastaamaan, voittaja on yksi kolmesta syötesanasta 99,8 % ajasta. Julkaistut demonstraatiot eivät mainitse tätä, koska vakiopisteytyssääntö poistaa a, b ja c ennen katsomista. Se on legitiimi sääntö, ja se tekee enemmän työtä kuin aritmetiikka:

Kolmas rivi on se, jonka äärelle kannattaa pysähtyä. Heitä pois a ja b, älä tee lainkaan aritmetiikkaa, palauta mikä tahansa on lähimpänä kohdetta c — ja säilytät 77 % semanttisesta pistemäärästä. Suurin osa siitä, mikä näyttää analogiselta päättelyltä, on läheisyyttä plus sääntö, joka kieltää ilmeiset vastaukset; juuri tätä Linzen mittasi kunnolla koulutetuilla vektoreilla ja mitä yllä olevat baseline-arvot toistavat.⁸ Nämä nimenomaiset vektorit ovat pieniä — 17 miljoonaa sanaa verrattuna julkaistujen mallien takana oleviin miljardeihin — joten lue prosentit muotona, älä alan huipputasona. Muoto säilyy jokaisessa mittakaavassa: aritmetiikka on todellista, ja paljon heikompaa kuin se yksi demonstraatio, jota kaikki siteeraavat.

Kaikessa tähän asti on datarakenteeseen sisäänrakennettu kova raja. Taulukossa on yksi rivi per token. Sana bank saa yhden vektorin, saman lauseessa joesta ja lauseessa asuntolainasta — väistämättä, koska haku id:n perusteella ei voi riippua mistään muusta.

Korjaus on lakata lukemasta vektoria taulukosta ja alkaa laskea sitä lauseesta. Se on kontekstuaalinen embedding, jonka ELMo esitteli vuonna 2018 ja jonka BERT teki standardiksi samana vuonna.⁹¹⁰ Oikealla mallilla mitattuna luvut ovat terävämpiä kuin selitys:

sentence A: "He sat on the bank of the river and watched the water go by."
sentence B: "She deposited the cheque at the bank on the corner of the street."

static vector for 'bank' (a row of the input embedding table)
    cosine A vs B ........................ 1.000000

contextual vector for 'bank', layer by layer
    layer  |  A vs B  |  A vs another river sentence  |  B vs another money sentence
        0  |  0.9512  |            0.9512             |            0.9359
        4  |  0.5647  |            0.8987             |            0.7716
        9  |  0.4284  |            0.8699             |            0.7568
       12  |  0.5278  |            0.8702             |            0.7335

Ensimmäinen rivi on tarkka, ei likimääräinen: sanan bank staattinen vektori on samat 768 lukua molemmissa lauseissa, joten kosini on rakenteen vuoksi 1. Yhdeksän kerrosta myöhemmin kaksi esiintymää ovat tasolla 0,43, kun taas bank kahdessa eri jokilauseessa pysyy tasolla 0,87. Kukaan ei merkinnyt merkityksiä missään vaiheessa; merkitykset erkanivat, koska niiden erottaminen helpottaa koulutustavoitteen — piilotetun tokenin arvaamista sen naapureista — täyttämistä.

Kaksi yksityiskohtaa maksaa huomion takaisin. Kerros 0 on jo 0,9512 eikä 1,0, koska position embeddings on lisätty ja sana sijaitsee eri kohdassa kummassakin lauseessa. Ja samankaltaisuus nousee taas kerroksissa 11 ja 12: esikoulutetun mallin viimeiset kerrokset ovat erikoistuneet sen koulutustavoitteeseen, eivätkä ne usein ole paras paikka ottaa representaatiota.

Jotta korpuksesta voi hakea merkityksen perusteella, tarvitset yhden vektorin per lause. Kun ne ovat olemassa, haku on triviaalia — tämä on koko semanttinen retrieval, ja luku 19 käsittelee kaikkea sen ympärillä:

E = normalise(embed(sentences))       # (200, d), every row of length 1
q = normalise(embed([query]))         # (1, d)
scores = q @ E.T                      # one matrix multiply   
top5 = scores[0].argsort()[::-1][:5]

Ainoa todellinen kysymys on siis, mistä embed tulee. Ilmeinen liike on ottaa esikoulutettu kielimalli, ajaa jokainen lause sen läpi ja keskiarvoistaa token-vektorit. Tässä on tuo menetelmä neljää vaihtoehtoa vastaan kahdella tavalla pisteytettynä: järjestyskorrelaatio kosinin ja ihmisten samankaltaisuusarvioiden välillä STS-benchmarkin 1 379 parilla, sekä top-1 retrieval indeksillä, joka on rakennettu näiden parien 200 vahvimmin parafrasoidusta parista — jokaisen parin toinen puoli indeksoidaan, toista käytetään kyselynä.

Lue keskimmäiset kolme riviä kahta ensimmäistä vasten. 109 miljoonan parametrin esikoulutettu transformer, käytettynä ilmeisellä tavalla, on huonompi arvioimaan lauseiden samankaltaisuutta kuin se, että lasketaan montako sanaa kahdella lauseella on yhteistä — ja huonompi kuin hetki sitten koulutettujen 100-ulotteisten text8-vektorien keskiarvo. [CLS] token, jota tutoriaalit yhä suosittelevat, koska BERT esikoulutettiin siihen liitetyllä lausetason tavoitteella, on huonompi kuin puolet siitä.

Tämä ei ole BERTin vika. Se on tavoitteen seuraus. Kielimalli koulutetaan niin, että sen hidden statet ennustavat tokenin; mikään siinä ei pyydä kahta parafraasia päätymään lähelle toisiaan, eikä mikään palkitse geometriaa, jossa kosini tarkoittaa ”samaa merkitystä”. Viimeinen rivi on malli, joka on viidesosan kokoinen (22 713 216 parametria) ja koulutettu kokonaan eri lossilla: contrastive learning, jossa esimerkit ovat pareja — kysymys ja sen vastaus, lause ja sen parafraasi — ja tavoite vetää oikeat parit yhteen samalla kun se työntää poimitut negatiivit erilleen. Se on Sentence-BERTin panos ja koko embedding model -teollisuuden alkuperä.¹² Dense Passage Retrieval soveltaa samaa reseptiä suoraan hakuun, yhdellä encoderilla kyselyille ja yhdellä passageille.¹³

Käytännön sääntö siis:

Luku 19 rakentaa tuotantotason retrieval-järjestelmän tälle perustalle ja päätyy konkreettiseen kosinirajaan. Tämän luvun viimeinen mittaus on se, joka tekee sellaisesta luvusta puolustettavan eikä taikuutta.

Oikeissa embeddingeissä on satoja tai tuhansia komponentteja, ja etäisyydet käyttäytyvät siellä oudosti. Ota 1 000 satunnaista pistettä yksikkökuutiosta $d$ ulottuvuudessa ja katso suurimman ja pienimmän minkä tahansa kahden pisteen välisen etäisyyden suhdetta:

Kymmenessä tuhannessa ulottuvuudessa kaukaisin pistepari on vain 6 % kauempana toisistaan kuin lähin pari. Kaikki on suunnilleen yhtä kaukana kaikesta muusta, ”lähin naapuri” lakkaa kantamasta paljon informaatiota, ja se on ulottuvuuksien kirous — sekä yksi syy siihen, etteivät suuret vektoritietokannat tee tarkkaa lähimmän naapurin hakua. Saman kolikon toinen puoli tekee kosinirajoista toimivia: tuhannella satunnaisten yksikkövektorien parilla mitattuna keskimääräinen kosini on $-0.0052$ 100 ulottuvuudessa ja $+0.0003$ 768:ssa, keskihajonnoilla 0,0968 ja 0,0357 — ja 768 ulottuvuudessa vain 0,2 % satunnaisista pareista ylittää itseisarvoltaan 0,1. Mitattu samankaltaisuus 0,4 ei siis ole ”40 % samanlainen”; se on kaukana kaiken sattuman tuottaman ulkopuolella, minkä vuoksi rajat 0,3:n ja 0,7:n välillä erottavat signaalin kohinasta eivätkä istu sen keskellä.

Tämän luvun malli lukee kiinteän määrän edellisiä merkkejä, hakee jokaisen taulukosta ja liimaa tulokset järjestyksessä yhteen. Tällä rakenteella on kaksi ongelmaa, ja ne ovat sama ongelma.

Katso context-taulukkoa uudelleen: siirtyminen kolmesta merkistä kahdeksaan lähes kaksinkertaisti parametrit ja osti 0,06 natia. Kustannus kasvaa lineaarisesti contextin mukana — jokainen lisäpaikka tarvitsee oman lohkonsa ensimmäisestä painomatriisista — eikä hyöty kasva. Työnnä se tuhanteen tokeniin ja pelkkä ensimmäinen kerros painaa enemmän kuin muu malli, suurin osa siitä käytettynä sijainteihin, joilla ei ole merkitystä millekään annetulle ennusteelle.

Mikä on toinen ongelma: mallilla ei ole mitään tapaa päättää, mitkä aiemmista tokeneista merkitsevät. Paikka kaksi saa omat painonsa ja paikka seitsemän omansa, pysyvästi, mitä niissä sitten onkin. Kun malli tavailee nell, ratkaiseva merkki on välittömästi edeltävä. Kun lause sisältää pronominin, sen viittauskohteen ratkaiseva sana voi olla neljäkymmentä tokenia takana — eikä mitään kiinteää lokeroa voi nimetä ”neljäkymmentä taaksepäin”, koska seuraavalla kerralla se on kuusi.

Haluamme mallin, joka laskee jokaiselle ennusteelle, kuinka paljon kunkin aiemman tokenin pitäisi merkitä — painot contextin yli, jotka syntyvät sisällöstä eivätkä ole asettelun määräämiä. Kirjoita se tarkasti ylös ja se alkaa täysin arkisena asiana: keskiarvona aiemmista tokeneista. Anna sitten tuon keskiarvon painojen olla opittuja, ja anna niiden riippua siitä, mikä token kysyy.

Se on attention, ja se on luku 9.

Kannattaa lukea rinnalla myös Jurafskyn ja Martinin Speech and Language Processing -teoksen luku 3, joka käsittelee n-gram-malleja, smoothingia ja perpleksisyyttä paljon huolellisemmin kuin tässä on tilaa, mukaan lukien miksi interpolointi ja back-off voittavat ykkösen lisäämisen; Stanfordin CS229-muistiinpanojen §17.1–17.2 kielimallinnuksesta probabilistiselta puolelta; sekä yllä mainittu Linzenin artikkeli, joka on lyhyt ja lukemisen arvoinen kokonaan.