02 — Modele i słownik

Od Sagi 3B do modelu 15,45 mld

Model 15,45 mld parametrów trenowany w przydziale Fast Lane, a niżej jego poprzednicy: Saga 3B wytrenowana na JUPITERZE, wybrany słownik i sierpniowa linia odniesienia.
Stan według raportu
Model w treningu · Fast LaneW toku

Saga 15,45 mld

Model zbudowany 29 września wprost z Sagi 3B: 48 warstw i podwojona szerokość. Od 8 października trenuje w przydziale Fast Lane na 32 węzłach (128 układów GH200), po 1 048 576 tokenów na aktualizację. Poniżej dwa zapisy tego treningu: etapy liczone dotychczasowym sposobem oraz ciąg dalszy po poprawce z 12 listopada.

48warstw
5 120szerokość warstwy
40głowic uwagi
2 048tokenów okna
65 536pozycji słownika

Etapy T9–T24 · dotychczasowy sposób liczenia

8.10–10.11.2026

Strata po każdym etapie · niżej = lepiej · etap to 20,41 mld tokenów

linia główna T9–T20 etap nieprzyjęty (T21, T24)
Polski zbiór walidacyjny

Wykres wczytuje się z zapisanych pomiarów.

160 okien polskich
160 okien angielskich

T20 · koniec 02.11.2026 · polski zbiór walidacyjny 2,4273 · 160 okien polskich 2,3797 · 160 okien angielskich 1,7102.

T9–T20 obniżyły stratę na polskim zbiorze walidacyjnym z 2,4872 do 2,4273. T21 wypadł słabiej niż T20, T22 i T23 rozbiegały się i nie mają pomiaru końca, a T24 z nową mieszanką też nie pobił T20 — dlatego dalsze prace ruszają z końca T20.

Pokaż liczby etapów
EtapKoniecNowy polski %Powtórka %Angielski %Walidacja PL160 okien PL160 okien ENUwagi
Tabela wymaga JavaScript; te same liczby są w pliku dane/saga15.json.

Ciąg dalszy po poprawce · zmiana straty wobec końca T20

12–14.11.2026

Okna, których trening nie widział · po 128 na źródło · poniżej zera = lepiej niż koniec T20

Tłumaczenia −0,258 DynaWord −0,135 FinePDFs −0,055 Angielski −0,034 Wcześniejszy polski tekst +0,010

Wykres wczytuje się z zapisanych pomiarów.

Liczba aktualizacji 18 000: tłumaczenia −0,258 · DynaWord −0,135 · FinePDFs −0,055 · angielski −0,034 · wcześniejszy polski tekst +0,010.

12 listopada pomiar pokazał, że gradient dolnych bloków modelu, liczony w obniżonej precyzji, był błędem zaokrągleń. Od tego dnia osiem dolnych bloków jest zamrożonych i liczonych w pełnej precyzji, a model przeszedł mieszankę T24 od nowa, startując z końca T20. Pomiary tego wykresu są liczone z dolnymi blokami w pełnej precyzji, więc nie porównuje się ich wprost z liczbami etapów powyżej. Strata mierzy przewidywanie tekstu, nie jakość rozmowy.

Pokaż liczby pomiarów
AktualizacjeTłumaczeniaDynaWordFinePDFsAngielskiWcześniejszy polskiWalidacja PL160 okien PL160 okien ENZadanie pomiaru
Tabela wymaga JavaScript; te same liczby są w pliku dane/saga15.json.
Wcześniejsze modele i słownik
Faza B · wybór słownikaZrobione

Słownik wskazany.
64k dla Sagi.

Bity na znak · mniej = lepiej
SłownikEncykl.SiećProzaŚrednia
32k1,28041,11171,99231,4615
48k1,27711,09931,91851,4316
64k · wybrany1,26281,09251,93431,4299

Porównujemy bity na znak: mniej oznacza lepszy wynik w tym eksperymencie. To wynik wyboru słownika, nie ocena jakości gotowego modelu.

Ocena dziedzinowa · wynik orientacyjny

Egzamin z tekstów spoza treningu

Stare zbiory oceny miały wspólne fragmenty z danymi treningowymi, więc zbudowaliśmy nowy egzamin wyłącznie z tekstów powstałych po dacie odcięcia. Wyniki 33M zachowujemy jako zapis historyczny.

Przeczytaj zastrzeżenia
Encyklopedia12,3
Tekst sieciowy26,3

Perpleksja · niżej oznacza lepiej.
Bez niezależnego potwierdzenia jakości.

Linia odniesieniaSierpień 2026 · sprzęt lokalny

Canto 33M

Wczytywanie zapisanej krzywej…

2,9867minimum straty walidacyjnej
11 000wykonanych kroków

Pełny zapis krzywej. Wybierz punkt lub użyj strzałek na wykresie.

Model bazowyBrak potwierdzenia

Saga 3B

Pełny trening Saga 3B został zakończony według raportu.

Krzywa pełnego treningu

Krzywa treningu wczytuje się z raportu.

195,8 mldtokenów ekspozycji · plan wykonany
68 hplanowany czas na 64 układach

186 688 kroków w planie. To budżet treningu, nie liczba unikalnych tokenów korpusu.

Wyjście modelu 33MZapisane próbki bez korekty

Każdy zapis pochodzi z lokalnego modelu referencyjnego. Treść może być błędna lub niespójna.

Wczytywanie zapisanych próbek…

Zapis redakcyjny z 7 września 2026, 19:24:40 (Warszawa). Aktualny odczyt wymaga JavaScript.

Odczyt historii zadań: 7 września 2026, 19:24:40 (Warszawa). Pomiary i plan pochodzą z dokumentu FAKTY z 7 września 2026, 17:46:39 (Warszawa).