SKALDBETA

Dokumentacja projektu

Dane, trening
i metoda

Jak powstaje Saga — polski model językowy z rodziny Skald: Saga 3B wytrenowana od podstaw na superkomputerze JUPITER i zbudowany z niej model 15,45 mld parametrów, który trenujemy dalej.

Stan według raportu

Zapis redakcyjny: 19 września 2026 · 18:17:19 Europe/Warsaw. Odczyt aktualnego opublikowanego raportu wymaga JavaScript.

Odczyt historii zadań: 19 września 2026, 18:17:19 (Warszawa). Pomiary z dokumentu FAKTY: 19 września 2026, 18:17:09 (Warszawa).

Pełny trening Sagi 3B został zakończony.

Receptura, ustawienia i ocena według karty modelu (README.md) oraz receptura-podsumowanie.json, odczytanych 19 września 2026. To opis modelu bazowego przewidującego dalszy ciąg tekstu. Odnośniki do plików źródłowych wymagają dostępu do prywatnego repozytorium.

Fazy prac

Odtworzenie wyniku, wybór słownika, porównanie składu danych i pełny trening Sagi 3B są zakończone. Prace w projekcie Development są zakończone: douczanie bazy na nowym korpusie, zbudowanie z niej modelu 15,45 mld parametrów i przygotowanie danych na Fast Lane. Od 8 października ten model trenuje w przydziale Fast Lane. Wagi zostają prywatne. Statusy odświeżają się z opublikowanego raportu.

  1. Zrobione

    Faza A · Odtworzenie i skalowanie

    Odtworzenie wyniku i pomiary skalowania są zakończone.

    Strata walidacyjna w próbie na JUPITERZE: 2,9847; lokalna linia odniesienia: 2,9867. Różnica −0,0020. Czas próby: 13 min 11 s.

    Największa zmierzona skala w raporcie: 64 układy; sprawność względem konfiguracji bazowej: 89,5 %; tempo: 9,0 mln tok./s. To pomiary naszych prób treningowych.

  2. Zrobione

    Faza B · Wybór słownika

    Wybrano słownik 64k ze średnim wynikiem 1,4299 bitów na znak.

    Saga używa własnego słownika BPE na poziomie bajtów, wyuczonego na polskim tekście: 65 536 tokenów. Bity na znak pozwalają porównywać modele z różnymi słownikami.

  3. Zrobione

    Faza C · Skład korpusu

    Porównanie składu korpusu jest zakończone.

    Udziały pięciu pul wybrano po sześciu mniejszych treningach porównawczych, ocenionych na osobnym egzaminie. Skład gotowego pliku treningowego opisuje receptura poniżej.

  4. Zrobione

    Faza D · Trening Saga 3B

    Pełny trening Sagi 3B został zakończony.

    Trening zakończył się 14 września 2026, po 186 688 aktualizacjach w sześciu zadaniach na 64 układach GH200. Przetworzył 195 756 556 288 tokenów, czyli około 195,8 mld.

    Wartości raportu i osobna próba techniczna

    Pola planu zapisane w raporcie: 186 688 aktualizacji, 195,8 mld tokenów oraz szacunek 68 h na 64 układach. Szacunek czasu nie jest pomiarem czasu ukończonego treningu.

    Osobna próba techniczna: 13 883 tok./s/GPU, MFU 50,2 % i 76,1 GiB pamięci na układ. Średnie wartości pełnego treningu podajemy w sekcji ustawień.

  5. Zrobione

    Faza E · Douczanie i nowy korpus

    Prace w projekcie Development są zakończone: douczanie bazy Sagi 3B, zbudowanie z niej modelu 15,45 mld parametrów i przygotowanie 15 etapów danych na Fast Lane.

    Projekt Development (EHPC-DEV-2026D09-196) działa od 18 września 2026: najpierw pomiary treningu na wielu węzłach, potem dwa etapy douczania bazy (22 września, 21,3 mld tokenów). Strata walidacyjna na niezmienionym zbiorze spadła z 2,5105 do 2,4840. Kolejny etap, na niewykorzystanej reszcie dotychczasowego korpusu, przerwano 23 września po około 9 mld tokenów, bo strata stała w miejscu. Dalsze douczanie wymaga więc nowego materiału.

    Nowy korpus (gotowy 25 września): z 167,9 mln dokumentów pięciu pul po deduplikacji zostało 151,1 mln, co po tokenizacji słownikiem 64k daje 105,4 mld tokenów. Pełny skan pod kątem tekstów egzaminu pokazał pokrycie poniżej 1 % w każdej z trzech części egzaminu, niższe niż w korpusie Sagi. Douczanie szło etapami po 20 mld tokenów, z około 92 % nowego materiału przy wymaganych co najmniej 60 %. Etapy 3.1–3.3 obniżyły stratę walidacyjną z 2,4841 do 2,4704, a zjazd stopy uczenia z końca etapu 3.3 — do 2,4667, najniższej wartości bazy Saga 3B w projekcie. Etapy 3.4 i 3.6 w ustawieniu FSDP nie obniżyły straty; mieszanka etapu 3.5 posłużyła do prób rozrostu.

    Od 27 września projekt Development służy przygotowaniu rozrostu. Przepis sprawdzaliśmy najpierw na małych modelach tej samej architektury. Podwojenie liczby warstw naraz okazało się w skali 5,8 mld niestabilne. Stabilne były dwa sposoby, które zachowują funkcję modelu: dodanie po co trzeciej warstwie jej kopii z zerowym wyjściem oraz dokładne podwojenie szerokości. Tak 29 września powstał model 15,45 mld parametrów (48 warstw × 5120), zbudowany wprost z bazy 3B. Po 6,3 mld tokenów pierwszego treningu jego strata walidacyjna wynosiła 2,4944 wobec 2,4667 bazy. Test na małych modelach z 1 października pokazał, że model po takim rozroście zrównuje się z kontrolą po około 12–15 % tokenów, na których uczono bazę, a potem ją wyprzedza. W dalszym treningu rozstrzygające okazało się tempo uczenia. Szczyt 1,5e-4 i 7e-5 rozbiegał trening, a tempo 4e-5 trzymane przez 6 000 aktualizacji dało stratę około 2,52 i pod koniec wzrost. Diagnostyka na małych modelach z 2 października wykluczyła sposób rozdzielania treningu na karty: FSDP, ZeRO-1 i punkty aktywacji dają ten sam wynik co zwykłe DDP (3,4943–3,4944). Od tego czasu model trenuje w krótkich cyklach z rozgrzewką i pełnym zejściem tempa. Zejście 3e-5 → 3e-6 na reszcie mieszanki T5 obniżyło stratę z 2,5236 do 2,4700, a dwa cykle na mieszance T4 (szczyt 1,5e-5, potem 1,2e-5) — do 2,4525, poniżej 2,4667 bazy 3B. Drugi z tych cykli szedł na 32 węzłach: około 2,8 s na aktualizację wobec 5,45 s na 16 węzłach. Trzeci cykl, drugi przebieg po mieszance T6, obniżył stratę do 2,4502. Przygotowane polskie mieszanki się wyczerpały, dlatego mieszanka T7 łączy pół na pół polską powtórkę i nowy angielski tekst FineWeb-Edu (licencja ODC-By, 44,5 mld tokenów po deduplikacji). Po 8 000 z 9 536 aktualizacji strata na angielskim zbiorze walidacyjnym spadła z 2,1398 do 1,8078, a na polskim zmieniła się z 2,4031 do 2,4078 (te same 160 okien obu zbiorów). Projekt Development zamknęły etap T8 i przygotowanie 15 mieszanek na Fast Lane (T9–T23, po 20,41 mld tokenów każda): nowy polski tekst z HPLT 3.0 po kontroli nowości względem całej historii treningu i praw, powtórka polskiego tekstu z wcześniejszych zbiorów oraz 15 % angielskiego FineWeb-Edu.

  6. W toku

    Faza F · Rozrost Sagi

    W toku od 8 października: trening modelu 15,45 mld parametrów w przydziale Fast Lane. Dwanaście etapów (T9–T20, do 2 listopada) obniżyło stratę na niezmienionym polskim zbiorze walidacyjnym z 2,4872 do 2,4273. Po poprawce sposobu liczenia gradientu z 12 listopada model przeszedł 18 000 aktualizacji na mieszance z tłumaczeniami: wobec końca T20 strata na niewidzianych tłumaczeniach spadła o 0,26, a na tekstach DynaWord o 0,13. Powtórne przejście tych samych danych dało mniej, niż wymagał warunek zapisany przed startem, i zostało zatrzymane po pierwszym odcinku. Model rozmowy dostrojony z tych wag odpowiada w oknie rozmowy jako wersja testowa.

    Przydział EHPC-AIF-2026FL01-1001: 50 000 GPU-godzin na 3 miesiące, przyznany 25 września 2026, do 31 grudnia 2026. Zaproszenie do projektu przyjęliśmy na platformie EuroHPC; konto na JUPITERZE działa od 8 października i tego dnia ruszył trening. Plan z wniosku: najpierw zwiększenie liczby warstw z 36 do 72 (około 5,8 mld parametrów), potem szerokości modelu (około 15 mld). Przed każdym krokiem próba z kryterium zapisanym przed startem; jeśli krok pogorszy ocenę, zostaje mniejszy, działający model. Model 15,45 mld powstał inaczej, niż zakładał wniosek: z 48 warstw i podwojonej szerokości, bo podwojenie liczby warstw naraz było niestabilne (zob. fazę E). W przydziale Fast Lane trwa jego zasadniczy trening: etapy po 20,41 mld tokenów (19 468 aktualizacji na 32 węzłach), każdy z własną rozgrzewką i zejściem tempa, kontynuowany z punktu kontrolnego poprzedniego etapu. Po każdym etapie mierzymy stratę na tych samych 160 oknach polskiego i angielskiego zbioru walidacyjnego: po T9 wynosiła 2,4188 (polski) i 1,7711 (angielski), po T10 — 2,3977 i 1,7578, po T11 — 2,3922 i 1,7418, po T12 — 2,3852 i 1,7336, po T13 — 2,3852 i 1,7277, po T14 — 2,3828 i 1,7230, po T15 — 2,3828 i 1,7199, po T16 — 2,3867 i 1,7148, po T17 — 2,3836 i 1,7148, po T18 (29 października) — 2,3797 i 1,7125, po T19 — 2,3813 i 1,7121, po T20 (2 listopada) — 2,3797 i 1,7102; strata na polskim zbiorze walidacyjnym z treningu spadła w tym czasie z 2,4872 do 2,4273. Etapy T9–T11 zawierały nowy polski tekst z HPLT 3.0 (60 %, 29 % i 30 % mieszanki) i dawały największe zyski; T12–T14 składały się wyłącznie z powtórki polszczyzny i 15 % angielskiego i poprawiały stratę już tylko o tysięczne. Dlatego od T15 mieszanki dostawały nowe źródła: T15 zawierał 13,9 % nowego tekstu z polskich plików PDF ze zbioru FinePDFs (licencja ODC-By) po filtrach jakości, danych osobowych, nowości wobec całej historii treningu i powtórzeń; T16 — 60 %, a T17 — 34,2 % nowego tekstu, głównie z MADLAD-400 (ODC-By), po czym pula nowego tekstu się wyczerpała i T18–T22 składały się z powtórki polszczyzny i 15 % angielskiego. FineWeb-2 v2.1 sprawdziliśmy i odrzuciliśmy, bo 99,7 % jego polskiego tekstu było już w korpusie bazowym. Nowe źródła nie przyniosły postępu: po T15 polska miara się nie zmieniła, a po T16 wzrosła o 0,0039. Stabilność: rozbiegania gradientu w T9 i T10 wymusiły obniżenie szczytowego tempa z 1e-5 do 5e-6, kolejne w T13 i T14 — do 3e-6, a T15 po rozbieganiu przy aktualizacji 12 009 dokończyliśmy od punktu 10 000 ze szczytem 2e-6; za każdym razem z nowym stanem optymalizatora i bez zmiany danych. T16 przeszedł przy 3e-6. T17 nasz nadzór wielokrotnie przerywał za normę gradientu i etap przeszedł dopiero przy szczycie 3,94e-7. T18 sprawdził szczyt 5e-6 z rozgrzewką 2 000 aktualizacji; zatrzymany przy aktualizacji 18 219 za samą normę, gdy strata walidacyjna była najniższa, został dokończony od punktu 16 000 przy 3,33e-6. Ta reguła była za ostra: od 30 października zwykły próg normy liczy się tylko przy pogorszeniu straty, a próg skrajny bez zmian. T19 przy szczycie 5e-6 rozbiegł się przy aktualizacji 5 091 (strata walidacyjna 2,4320 → 2,4528). Rozgrzewka nie usuwa więc rozbiegań przy tym szczycie. Drugi cykl T19 przy 3,33e-6 strażnik zatrzymał przy aktualizacji 3 544 (strata walidacyjna 2,4297 → 2,4408); etap przeszedł dopiero przy 2,22e-6 i dał 2,3813 na 160 oknach polskich, czyli gorzej niż T18. T20 przy tym samym szczycie wyrównał wynik T18 po polsku (2,3797) i poprawił angielski (1,7102) — to najlepszy punkt uzyskany starym sposobem. T21 wypadł gorzej (2,3836 i 1,7129), więc go odrzuciliśmy. T22 najpierw przerwała awaria chłodzenia węzłów, a potem trzy razy się rozbiegł, choć szczyt tempa obniżaliśmy z 2,22e-6 do 9,87e-7; etap pominęliśmy. Dla T23 zbudowaliśmy mieszankę z nowymi źródłami — Polish DynaWord (m.in. EUR-Lex, stenogramy Sejmu i Senatu, Biblioteka Nauki, Dziennik Ustaw; licencje CC BY, CC BY-SA, urzędowe i unijne) oraz polskie PDF-y z FinePDFs o niskiej ocenie edukacyjnej — ale po filtrach nowości i powtórzeń dały one tylko 6,4 % mieszanki. T23 ruszył z końca T20, przerwała go awaria węzła, a po wznowieniu rozbiegł się dwa razy i w żadnym pomiarze nie był lepszy niż na starcie; porzuciliśmy go. Żeby zdobyć więcej nowego polskiego tekstu, przetłumaczyliśmy angielskie teksty edukacyjne z FineWeb-Edu (ODC-By) modelem Bielik-11B-v2.3-Instruct (Apache-2.0): po dwóch pilotach na 400 dokumentach tablica zadań przetłumaczyła 8–9 listopada 9,65 mln dokumentów, z których po filtrach zostało 8,2 mld tokenów. T24 (46,2 % nowego polskiego tekstu — tłumaczenia, DynaWord i FinePDFs — 38,8 % powtórki, 15 % angielskiego; szczyt 1e-6) przeszedł bez zatrzymań, ale dał 2,3844 i 1,7133, czyli nie pobił T20. Nasz błąd w liczeniu: przy dostrajaniu modelu do rozmowy 12 listopada porównaliśmy gradient liczony w treningowym formacie bf16 z wzorcem w fp32. W dolnych blokach modelu (logity uwagi sięgają w nich 4,9e7) gradient w bf16 był błędem zaokrągleń — przy sposobie liczenia uwagi używanym w pretreningu od dziesięciu do stu tysięcy razy większym od wzorca — a takie wagi model miał co najmniej od początku T9. Pomiar stanu optymalizatora pokazał skutek: pod koniec T20 i T24 krok wyższych bloków wynosił 0,2–1,3 % tempa zamiast 15–18 %. Wyższe bloki uczyły się więc w starych etapach znacznie wolniej, niż wynikało z ustawionego tempa. Poprawka: osiem dolnych bloków jest zamrożonych i liczonych w fp32, pozostałe czterdzieści uczy się jak dotąd. Norma gradientu spadła z około 2 000 do około 0,2, a trening w próbie był stabilny także przy tempie 1e-5, przy którym wcześniej się rozbiegał. Etap próbny (1 000 aktualizacji mieszanki T24 od końca T20 przy stałym tempie 1e-5) obniżył stratę na stałych oknach mieszanki z 2,0960 do 2,0442 przy wzroście straty na polskim zbiorze walidacyjnym z 2,4249 do 2,4401; dokończenie z malejącym tempem (2 000 aktualizacji) dało 2,0270 i 2,4346. Potem model przeszedł resztę mieszanki w dwóch etapach (13 i 14 listopada, 14 998 aktualizacji w pięciu odcinkach; przejście do drugiego etapu miało warunek zapisany przed startem i został on spełniony). Aktualizacje od 18 000 odłożyliśmy: z nich pochodzą okna, na których mierzymy stratę osobno dla każdego źródła mieszanki. Na końcu, wobec końca T20: tłumaczenia −0,258, DynaWord −0,135, FinePDFs −0,055, angielski na 160 oknach −0,030, dotychczasowy polski zbiór walidacyjny +0,0077 i 160 okien polskich +0,0115. Model nauczył się więc nowych źródeł i angielskiego, a na dotychczasowym polskim trochę stracił. Te pomiary liczymy z dolnymi blokami w fp32, więc nie porównuje się ich wprost z liczbami etapów podanymi wyżej (koniec T20 ma tą miarą 2,4249 na zbiorze walidacyjnym oraz 2,3723 i 1,7041 na 160 oknach). Model rozmowy dostrojony z tych wag odpowiada od 15 listopada w oknie rozmowy jako wersja testowa. Powtórne przejście tych samych danych: próba 15 listopada (1 000 aktualizacji od punktu sprzed obniżenia tempa) dała na niewidzianych oknach tłumaczenia −0,0037 i DynaWord −0,0023, czyli tyle, ile pierwsze przejście na tym odcinku. Pełny odcinek (3 000 aktualizacji od końca ciągu dalszego) dał wobec punktu startu tłumaczenia −0,0034 i DynaWord −0,0037 przy wzroście na angielskim o 0,0037 i na dotychczasowym polskim zbiorze walidacyjnym o 0,0032. Warunek zapisany przed startem wymagał na tłumaczeniach co najmniej −0,0045, więc łańcuch zatrzymał się po pierwszym odcinku. Przestoje: podczas blokady dostępu do JUPITERA (19–23 października) stanęły pętle nadzoru, a T16 przerwała awaria systemu plików; łańcuch stał około 66 h. Przez nasze błędy nadzoru stał też 39 h (25–27 października, dwie równoległe kopie) i około 19 h (29–30 października, fałszywy alarm po chwilowej niedostępności kontrolera Slurma). W listopadzie: 2 listopada JSC wyłączyło na czas aktualizacji oprogramowania węzły logowania, na których działały nasze pętle nadzoru, a 3 listopada zarezerwowało maszynę na testy dużej skali — ocena T21 i start T22 czekały do wieczora; 6–7 listopada nasz nadzór przez 23 h nie obsłużył zatrzymania T23, bo jego wznawianie zależało od połączenia z naszego komputera. Rozliczenie konta Fast Lane przy budowie raportu: 48 198 z 50 000 GPU-godzin.

  7. Przed nami

    Faza G · Ocena i publikacja

    Wagi Sagi 3B zostają w repozytorium prywatnym. Do opublikowania jest raport z metody i receptury.

    Oceniono końcowy punkt kontrolny. Repozytorium modelu — dostęp ograniczony ↗

Receptura korpusu

Gotowy korpus łączy pięć pul polskiego tekstu po globalnym odsiewie duplikatów. Udziały dotyczą tokenów w pliku treningowym.

216,8 mld

Tokenów w pliku treningowym.
Osobny plik walidacyjny: 10 mln tokenów.

Skład pliku treningowego według gotowej receptury
Pula i źródłaUdział tokenówTokeny w plikuPrzejścia przez pulę
Sieć: FineWeb-2 + HPLT 2.0 cleaned89,6 %194,17 mld≈1,04
FinePDFs, dodatkowy filtr jakości8,9 %19,29 mld1
Wikipedia1,1 %2,34 mld4
Wikiźródła0,4 %0,78 mld4
Wolne Lektury0,1 %0,21 mld4

Udziały zaokrąglono osobno do 0,1 punktu procentowego, dlatego ich suma wynosi 100,1 %. Przejścia opisują liczbę kopii w pliku treningowym, nie gwarantowaną ekspozycję każdego tokenu podczas treningu. Dokładne wartości: receptura-podsumowanie.json.

Odsiew

328 mln dokumentów

Przetworzono 328 007 101 dokumentów. Usunięto 53 819 391 duplikatów, czyli około 53,8 mln dokumentów i 33,1 mld tokenów. Odrzucono też 30 dokumentów FineWeb-2 zawierających literalny znacznik końca tekstu.

Podział danych

Walidacja przed mieszaniem

Całe unikalne dokumenty rezerwowano do walidacji przed mieszaniem pul. Niewykorzystane końcówki tych dokumentów nie trafiały do treningu. Plik walidacyjny ma 10 mln tokenów.

Jak usuwano duplikaty

Kandydatów wskazywał 64-bitowy skrót, a zgodność potwierdzano na znormalizowanym zdekodowanym tekście. Pierwszeństwo miało źródło wcześniejsze w definicji mieszanki. Odsiew obejmował także powtórzenia między źródłami.

Pochodzenie i warunki danych

Wykorzystano polskie podzbiory FineWeb-2, HPLT 2.0 cleaned i FinePDFs; Wikipedię z 1 listopada 2023; Wikiźródła z 1 września 2026; oraz korpus Wolnych Lektur. Źródła i ich warunki korzystania opisano w karcie modelu.

Ustawienia treningu

Ustawienia ukończonego treningu i średnie pomiary pochodzą z karty modelu bazowego.

Model

Około 3 mld parametrów

Transformer typu decoder-only w układzie GPT-2: 36 warstw, 20 głów, szerokość 2560. Kontekst: 2048 tokenów. LayerNorm bez biasu, GELU, wyuczone pozycje i współdzielone osadzenia wejścia oraz wyjścia.

Zasoby i przebieg

64 układy GH200

16 węzłów JUPITER Booster, sześć zadań. Trening zakończył się 14 września 2026 na aktualizacji 186 688. Kod oparty na nanoGPT, mieszana precyzja bf16, torch.compile i DDP.

Partia i optymalizacja

Każda aktualizacja obejmowała 1 048 576 tokenów w sekwencjach po 2048 tokenów. Optymalizator AdamW: β₂ = 0,95, weight decay 0,1 i ograniczenie normy gradientu do 1,0.

Harmonogram stopy uczenia

Rozgrzewka przez 3000 aktualizacji, następnie stała stopa 3e-4 i liniowe zejście do 3e-5 przez ostatnie 15 % treningu.

Pomiary pełnego treningu

Średnie tempo: 12 329 tok./s na układ; średnie MFU: 46,6 %. Średnia strata treningowa spadła z 5,32 na początku do 2,08 w ostatnim oknie 2000 aktualizacji.

Źródło: karta modelu — Training.

Ocena i ograniczenia

Oceniono końcowy punkt kontrolny po 186 688 aktualizacjach. Niższa perpleksja i niższa liczba bitów na znak oznaczają lepsze przewidywanie tekstu na danym zbiorze.

Ocena modelu bazowego według karty modelu
ZbiórPerpleksjaBity na znakWspólne okna 13-tokenowe
Wycinek walidacji: 1 048 576 tokenów12,06——
Encyklopedia po dacie odcięcia danych10,290,7260,80 %
Tekst sieciowy po dacie odcięcia11,210,6550,41 %
Proza po dacie odcięcia15,451,0140,05 %

Model bazowy

Bazowa wersja Sagi 3B przewiduje dalszy ciąg tekstu. Nie jest dostrojona do wykonywania poleceń ani do rozmowy. Wyniki tabeli dotyczą tego modelu bazowego.

Historia i próby techniczne

Lokalny Canto 33M z sierpnia 2026 pozostaje punktem odniesienia dla procesu treningowego. Jego wyniki nie opisują Sagi 3B. Próby skalowania i pełny trening mają osobne pomiary; podane tempa dotyczą naszego kodu i konfiguracji, a nie oceny całego JUPITERA ani jego gospodarza.

Źródło: karta modelu — Evaluation.

Publikacja

Repozytorium modelu Saga 3B na Hugging Face pozostaje prywatne. Jawne są receptura korpusu, pomiary i dziennik prac, a nie wagi.

Wagi Sagi 3B zostają w repozytorium prywatnym. Do opublikowania jest raport z metody i receptury.

decisioninterface/saga-3b — dostęp ograniczony ↗

Pakiet zawiera 55 plików wag float32 safetensors w formacie Transformers GPT-2. Karta opisuje bezstratną konwersję eksportu treningowego oraz porównanie logitów i kontynuacji tekstu.

Licencja wag wskazana w karcie modelu: Apache 2.0. Repozytorium pozostaje prywatne. Licencja wag nie zastępuje warunków korzystania ze źródeł danych. Szczegóły: karta modelu i skrócona receptura.

Epos pozostaje planem dużego modelu MoE na przyszłość, poza bieżącym przydziałem.

Zasoby i podziękowanie

Przydział EHPC-AIF-2026PG01-1218, EuroHPC AI Factory — Playground, obejmuje 5000 GPU-godzin. Pełny trening Sagi 3B wykonano w tym przydziale na JUPITER Booster w Jülich Supercomputing Centre, z układami NVIDIA GH200.

Przydział EHPC-DEV-2026D09-196 (EuroHPC Development Access), przyznany 10 września 2026, obejmuje 14 000 GPU-godzin, czyli 3500 węzłogodzin, na 12 miesięcy od daty wskazanej przez JSC. Jest rozliczany osobno i służy rozwojowi treningu na wielu węzłach.

Przydział EHPC-AIF-2026FL01-1001 (EuroHPC AI Factory — Fast Lane), przyznany 25 września 2026, obejmuje 50 000 GPU-godzin na JUPITER Booster na 3 miesiące. Trening w tym przydziale trwa od 8 października 2026; przedłużeń nie ma. Przydział jest rozliczany osobno i służy rozrostowi Sagi 3B do modelu o około 15 mld parametrów.

We acknowledge EuroHPC JU for awarding the project ID EHPC-AIF-2026PG01-1218 access to JUPITER Booster hosted by Jülich Supercomputing Centre (JSC), Germany.

Na zasobach EuroHPC (JUPITER Booster) wykonano: faza A: przebiegi wielowezlowe i pomiary skalowania; faza B: przebiegi potwierdzajace wybor slownika. Poza przydzialem EuroHPC powstaly: trening slownikow i pomiar plodnosci, rozwoj filtrow korpusu, lokalna linia odniesienia oraz kod pakujacy i raportujacy.