Saga 15,45 mld
Model zbudowany 29 września wprost z Sagi 3B: 48 warstw i podwojona szerokość. Od 8 października trenuje w przydziale Fast Lane na 32 węzłach (128 układów GH200), po 1 048 576 tokenów na aktualizację. Poniżej dwa zapisy tego treningu: etapy liczone dotychczasowym sposobem oraz ciąg dalszy po poprawce z 12 listopada.
Etapy T9–T24 · dotychczasowy sposób liczenia
8.10–10.11.2026Strata po każdym etapie · niżej = lepiej · etap to 20,41 mld tokenów
Wykres wczytuje się z zapisanych pomiarów.
T20 · koniec 02.11.2026 · polski zbiór walidacyjny 2,4273 · 160 okien polskich 2,3797 · 160 okien angielskich 1,7102.
T9–T20 obniżyły stratę na polskim zbiorze walidacyjnym z 2,4872 do 2,4273. T21 wypadł słabiej niż T20, T22 i T23 rozbiegały się i nie mają pomiaru końca, a T24 z nową mieszanką też nie pobił T20 — dlatego dalsze prace ruszają z końca T20.
Pokaż liczby etapów
| Etap | Koniec | Nowy polski % | Powtórka % | Angielski % | Walidacja PL | 160 okien PL | 160 okien EN | Uwagi |
|---|---|---|---|---|---|---|---|---|
| Tabela wymaga JavaScript; te same liczby są w pliku dane/saga15.json. | ||||||||
Ciąg dalszy po poprawce · zmiana straty wobec końca T20
12–14.11.2026Okna, których trening nie widział · po 128 na źródło · poniżej zera = lepiej niż koniec T20
Wykres wczytuje się z zapisanych pomiarów.
Liczba aktualizacji 18 000: tłumaczenia −0,258 · DynaWord −0,135 · FinePDFs −0,055 · angielski −0,034 · wcześniejszy polski tekst +0,010.
12 listopada pomiar pokazał, że gradient dolnych bloków modelu, liczony w obniżonej precyzji, był błędem zaokrągleń. Od tego dnia osiem dolnych bloków jest zamrożonych i liczonych w pełnej precyzji, a model przeszedł mieszankę T24 od nowa, startując z końca T20. Pomiary tego wykresu są liczone z dolnymi blokami w pełnej precyzji, więc nie porównuje się ich wprost z liczbami etapów powyżej. Strata mierzy przewidywanie tekstu, nie jakość rozmowy.
Pokaż liczby pomiarów
| Aktualizacje | Tłumaczenia | DynaWord | FinePDFs | Angielski | Wcześniejszy polski | Walidacja PL | 160 okien PL | 160 okien EN | Zadanie pomiaru |
|---|---|---|---|---|---|---|---|---|---|
| Tabela wymaga JavaScript; te same liczby są w pliku dane/saga15.json. | |||||||||