Budujemy Sagę.
Saga — polski model językowy trenowany na superkomputerze JUPITER, z własnym słownikiem i własnym korpusem. Ta strona jest dziennikiem prac: wszystkie przebiegi i pomiary, również nieudane.
- parametrów
- 15,45mld
- układów GH200 w jednym treningu
- 128
- tokenów ekspozycji w Fast Lane
- 263,8mld
- GPU-godzin z 50 000
- 48 198
Gdzie jesteśmy
- AZrobione
Odtworzenie i skalowanie
Odtworzenie wyniku i skalowanie: zrobione.
- BZrobione
Wybór słownika
W raporcie wskazano słownik 64k dla Sagi.
- CZrobione
Skład korpusu
Porównanie składu korpusu: zrobione.
- DZrobione
Trening Saga 3B
Pełny trening Saga 3B został zakończony według raportu.
- EZrobione
Douczanie i nowy korpus
Prace w projekcie Development są zakończone: douczanie bazy Sagi 3B, zbudowanie z niej modelu 15,45 mld parametrów i przygotowanie 15 etapów danych na Fast Lane.
- FW toku
Rozrost Sagi
W toku od 8 października: trening modelu 15,45 mld parametrów w przydziale Fast Lane. Dwanaście etapów (T9–T20, do 2 listopada) obniżyło stratę na niezmienionym polskim zbiorze walidacyjnym z 2,4872 do 2,4273. Po poprawce sposobu liczenia gradientu z 12 listopada model przeszedł 18 000 aktualizacji na mieszance z tłumaczeniami: wobec końca T20 strata na niewidzianych tłumaczeniach spadła o 0,26, a na tekstach DynaWord o 0,13. Powtórne przejście tych samych danych dało mniej, niż wymagał warunek zapisany przed startem, i zostało zatrzymane po pierwszym odcinku. Model rozmowy dostrojony z tych wag odpowiada w oknie rozmowy jako wersja testowa.
- GPrzed nami
Publikacja
Wagi Sagi 3B zostają w repozytorium prywatnym. Do opublikowania jest raport z metody i receptury.
Działy centrali
- 01PomiarySkala, którą da się sprawdzićModel w treningu, przydziały EuroHPC i zużycie godzin GPU, skalowanie na JUPITER Booster oraz pomiary z września.
- 02ModeleOd Sagi 3B do modelu 15,45 mldSaga 15,45 mld z wykresami etapów i pomiarów źródeł, Saga 3B, wybór słownika, egzamin z tekstów spoza treningu i linia odniesienia Canto 33M.
- 03DaneŹródła i mierzony składSkład mieszanki każdego etapu w Fast Lane i przygotowanie korpusu Sagi 3B: źródła, odsiew duplikatów, porównanie wariantów.
- 04RejestrWszystkie przebiegi. Także nieudane.Zadania z klastra — udane, w toku i nieudane — z datą, fazą, liczbą węzłów, czasem i raportem LLview.
- 05MetodaJawna receptura, jawne pomiary, jawne błędyZasady otwartego dziennika, dokumentacja projektu i zastrzeżenia metodologiczne.
Porozmawiaj
z Sagą.
Model 15,45 mld parametrów · wersja testowa · dostęp z kodem.