03 — Dane i receptura

Źródła i mierzony skład

Korpus Sagi 3B łączy pięć pul polskiego tekstu po globalnym odsiewie duplikatów; wpływ składu sprawdziliśmy w osobnych przebiegach. Model 15,45 mld trenuje w Fast Lane na kolejnych mieszankach po 20,41 mld tokenów: nowy polski tekst z HPLT 3.0 po kontroli nowości względem całej historii treningu i praw (od mieszanki T11 także po filtrze dokumentów szablonowych), powtórka polskiego tekstu z wcześniejszych zbiorów oraz 15 % angielskiego FineWeb-Edu.Plan receptury ↗
Stan według raportu
Model 15,45 mld · mieszanki etapów w Fast LaneT9–T24

Skład mieszanki w każdym etapie

Każdy etap to 20,41 mld tokenów z trzech części: nowego polskiego tekstu po kontroli nowości wobec całej historii treningu, powtórki wcześniejszych polskich zbiorów i 15 % angielskiego FineWeb-Edu. Nowy polski tekst pochodził kolejno z HPLT 3.0 (T9–T11), FinePDFs (T15), MADLAD-400 z FinePDFs (T16–T17) oraz Polish DynaWord z FinePDFs (T23); w T24 to w 86 % tłumaczenia angielskich tekstów edukacyjnych FineWeb-Edu wykonane modelem Bielik-11B-v2.3-Instruct, w 11 % Polish DynaWord i w 2,5 % FinePDFs.

nowy polski tekst powtórka polskiego angielski

Skład mieszanek wczytuje się z zapisanych danych.

Liczba po prawej to udział nowego polskiego tekstu. Etapy przygaszone nie weszły do linii głównej: T21 i T24 nie były lepsze od T20, a T22 i T23 rozbiegały się.

Korpus Sagi 3B · model bazowy
FineWeb-2 + HPLT 2.0sieć, polski
FinePDFstekst z plików PDF
Wikipedia i literaturaWikipedia, Wikiźródła, Wolne Lektury
Krok 1Odsiew duplikatówmiędzy źródłami
Krok 2 · faza CPorównanie wariantówsześć treningów
Ekspozycja Sagi 3B
195,8 mld tokenów

Przetwarzanie w kolejnych krokach treningu — nie rozmiar unikalnego zbioru. Pełna receptura jest w opisie metody.

Zapis redakcyjny z 7 września 2026, 19:24:40 (Warszawa). Aktualny odczyt wymaga JavaScript.

Odczyt historii zadań: 7 września 2026, 19:24:40 (Warszawa). Pomiary i plan pochodzą z dokumentu FAKTY z 7 września 2026, 17:46:39 (Warszawa).