NOWETrzeci przydział EuroHPC · Fast Lane · 50 000 GPU-godzin

Budujemy Sagę.

Saga — polski model językowy trenowany na superkomputerze JUPITER, z własnym słownikiem i własnym korpusem. Ta strona jest dziennikiem prac: wszystkie przebiegi i pomiary, również nieudane.

parametrów
15,45mld
układów GH200 w jednym treningu
128
tokenów ekspozycji w Fast Lane
263,8mld
GPU-godzin z 50 000
48 198
Infrastruktura i przydziały
EuroHPC JUJülich Supercomputing CentreJUPITER BoosterNVIDIA GH200Decision Interface
Stan projektu

Gdzie jesteśmy

Stan według raportu
  1. AZrobione

    Odtworzenie i skalowanie

    Odtworzenie wyniku i skalowanie: zrobione.

  2. BZrobione

    Wybór słownika

    W raporcie wskazano słownik 64k dla Sagi.

  3. CZrobione

    Skład korpusu

    Porównanie składu korpusu: zrobione.

  4. DZrobione

    Trening Saga 3B

    Pełny trening Saga 3B został zakończony według raportu.

  5. EZrobione

    Douczanie i nowy korpus

    Prace w projekcie Development są zakończone: douczanie bazy Sagi 3B, zbudowanie z niej modelu 15,45 mld parametrów i przygotowanie 15 etapów danych na Fast Lane.

  6. FW toku

    Rozrost Sagi

    W toku od 8 października: trening modelu 15,45 mld parametrów w przydziale Fast Lane. Dwanaście etapów (T9–T20, do 2 listopada) obniżyło stratę na niezmienionym polskim zbiorze walidacyjnym z 2,4872 do 2,4273. Po poprawce sposobu liczenia gradientu z 12 listopada model przeszedł 18 000 aktualizacji na mieszance z tłumaczeniami: wobec końca T20 strata na niewidzianych tłumaczeniach spadła o 0,26, a na tekstach DynaWord o 0,13. Powtórne przejście tych samych danych dało mniej, niż wymagał warunek zapisany przed startem, i zostało zatrzymane po pierwszym odcinku. Model rozmowy dostrojony z tych wag odpowiada w oknie rozmowy jako wersja testowa.

  7. GPrzed nami

    Publikacja

    Wagi Sagi 3B zostają w repozytorium prywatnym. Do opublikowania jest raport z metody i receptury.

Zapis redakcyjny z 7 września 2026, 19:24:40 (Warszawa). Aktualny odczyt wymaga JavaScript.

Odczyt historii zadań: 7 września 2026, 19:24:40 (Warszawa). Pomiary i plan pochodzą z dokumentu FAKTY z 7 września 2026, 17:46:39 (Warszawa).

Rejestr zadań

Porozmawiaj
z Sagą.

Model 15,45 mld parametrów · wersja testowa · dostęp z kodem.

Otwórz rozmowę