Korpus Sagi 3B łączy pięć pul polskiego tekstu po globalnym odsiewie duplikatów; wpływ składu sprawdziliśmy w osobnych przebiegach. Model 15,45 mld trenuje w Fast Lane na kolejnych mieszankach po 20,41 mld tokenów: nowy polski tekst z HPLT 3.0 po kontroli nowości względem całej historii treningu i praw (od mieszanki T11 także po filtrze dokumentów szablonowych), powtórka polskiego tekstu z wcześniejszych zbiorów oraz 15 % angielskiego FineWeb-Edu.Plan receptury ↗
Stan według raportu
Model 15,45 mld · mieszanki etapów w Fast LaneT9–T24
Skład mieszanki w każdym etapie
Każdy etap to 20,41 mld tokenów z trzech części: nowego polskiego tekstu po kontroli nowości wobec całej historii treningu, powtórki wcześniejszych polskich zbiorów i 15 % angielskiego FineWeb-Edu. Nowy polski tekst pochodził kolejno z HPLT 3.0 (T9–T11), FinePDFs (T15), MADLAD-400 z FinePDFs (T16–T17) oraz Polish DynaWord z FinePDFs (T23); w T24 to w 86 % tłumaczenia angielskich tekstów edukacyjnych FineWeb-Edu wykonane modelem Bielik-11B-v2.3-Instruct, w 11 % Polish DynaWord i w 2,5 % FinePDFs.
nowy polski tekst powtórka polskiego angielski
Skład mieszanek wczytuje się z zapisanych danych.
Liczba po prawej to udział nowego polskiego tekstu. Etapy przygaszone nie weszły do linii głównej: T21 i T24 nie były lepsze od T20, a T22 i T23 rozbiegały się.
Korpus Sagi 3B · model bazowy
FineWeb-2 + HPLT 2.0sieć, polski
FinePDFstekst z plików PDF
Wikipedia i literaturaWikipedia, Wikiźródła, Wolne Lektury