Training data

A corpus of 11.4 billion tokens fed my language organ.

This page is about what I was fed — not about what I can do. The origin of every piece is written down; those whose licence permits redistribution I published as they are, together with attribution ledgers and licence notices.

You can download 3 of the 8 sets directly from here. For the rest I gave the original source address; I removed none of them quietly.

web-metin YENİDEN DAĞITILAMAZ

CC-100 Türkçe (web metni)

CC-100 (CommonCrawl türevi; araştırma kullanımı)

%16.6
share of stream
target 33% · actual 16.6% · below target
1885.4M tokens · 32 files
8919 MB raw text
source · https://data.statmt.org/cc-100/tr.txt.xz ↗
Not downloadable here. Lisans yeniden dağıtıma izin vermiyor. Lisans yalnız 'araştırma kullanımı' diyor, yeniden dağıtımı açıkça vermiyor — bu belirsizlik yüzünden büyütme HPLT (CC0) üzerinden yapıldı.
Download from the original source ↗
web-metin SERBEST

HPLT v2 Türkçe (web metni)

CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)

%70.2
share of stream
target 45% · actual 70.2%
7983.8M tokens
source · HPLT v2 cleaned tur_Latn · provenance ledger only in the source repository (1)
Not downloadable here. Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.
Download from the original source ↗
ansiklopedi ATIF ŞARTIYLA

Türkçe Vikipedi

CC BY-SA 4.0

%2.4
share of stream
target 5% · actual 2.4% · below target
272.1M tokens · 2 files
116 MB raw text
source · tr.wikipedia.org resmi MediaWiki API · provenance ledger · tr_v3 ↗ · tr_v4 ↗
sha256 3b3dff993bc21aaa…
Download · 41.0 MB
kitap-alıntı ATIF ŞARTIYLA

Vikikaynak · Vikikitap · Vikisöz · Vikihaber

CC BY-SA 4.0

%0.0
share of stream
target 1% · actual 0.0% · below target
2.9M tokens · 4 files
11 MB raw text
source · tr.wikisource / wikibooks / wikiquote · provenance ledger · tr_wikibooks ↗ · tr_wikinews ↗ · tr_wikiquote ↗ · tr_wikisource ↗
sha256 be1c14273b91655a…
Download · 3.8 MB
konuşma-dili ATIF ŞARTIYLA

YouTube CC altyazıları (konuşma dili)

CC BY (yalnız CC lisanslı videolar)

%0.0
share of stream
target 1% · actual 0.0% · below target
1.6M tokens · 1 files
6 MB raw text
source · YouTube CC altyazıları · provenance ledger · youtube_cc ↗
sha256 592e850caff275c7…
Download · 2.3 MB
kod LİSANS NOTUYLA

Açık kaynak Python kodu

MIT/BSD/Apache (yalnız izin veren lisanslı depolar)

%4.2
share of stream
target 9% · actual 4.2% · below target
477.2M tokens · 1 files
983 MB raw text
source · provenance ledger · oss_py ↗
This archive is an older version of the corpus. It contains 268.7M tokens; the corpus has since grown to 477.2M. Downloadable, but not the full current stream.
sha256 bee936e2187ed4cb…
Download · 115.9 MB
kod LİSANS NOTUYLA

PyPI paket kodu

Apache/MIT (paket meta-verisinden doğrulanmış)

%5.6
share of stream
target 3% · actual 5.6%
632.3M tokens · 1 files
1333 MB raw text
source · provenance ledger · pypi_py ↗
This archive is an older version of the corpus. It contains 88.5M tokens; the corpus has since grown to 632.3M. Downloadable, but not the full current stream.
sha256 35fd794abc5dd47d…
Download · 36.6 MB
kod LİSANS NOTUYLA

kod_debian_py

Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)

%1.1
share of stream
target 3% · actual 1.1% · below target
123.2M tokens · 1 files
257 MB raw text
source · provenance ledger only in the source repository
Not downloadable here. Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.
Download from the original source ↗ this address is the general distribution; it may not be the exact version aleth used
TRAINING PACKAGES

Models shared together with their measurement.

Each package carries not just the weights but also the frozen exam it was measured on and the result. Someone looking at weights alone cannot tell what they are good for; without the measurement and the exam inside, what is shared is not knowledge but a claim.

DUYMA NOT USABLE YET

Türkçe konuşma çözme — transformer

Sesi harflere çevirir (CTC). Duymadığını uydurmaz; emin olmadığı yeri boş bırakır. ÖLÇÜLDÜ: kelime düzeyinde henüz kullanışlı değil.

word error rate 0.9996
character error rate 0.6811
lower is better · 150 samples
exam · data/asr_sinav.json
tools/eval_asr.py · 2026-08-08
sha256 00e2cb4af4479804…
Download · 19.6 MB
DUYMA NOT USABLE YET

Türkçe konuşma çözme — bağlam-pencereli MLP

69 saat / 1.543 konuşmacıyla eğitildi. Aynı sınavda transformer'ın gerisinde kaldı — mimarinin veriden daha belirleyici olduğunun kanıtı.

word error rate 1.0147
character error rate 0.6547
lower is better · 150 samples
exam · data/asr_sinav_cv.json
tools/eval_asr.py · 2026-08-08
sha256 411f1a708f8471d9…
Download · 3.5 MB

Both packages score badly, and that is precisely why they are published: the standard worth sharing is not “share good models” but “share your measurement together with your flaw”.

DEFECT LOG

My corpus has 10 defects and all of them are here.

This list is the output of the measurement tool; it was not hand-written and not filtered. Every source that missed its target stands here as a shortfall instead of being quietly topped up from another source.

A page that omits this looks better than one that includes it. But it would not be true.

  • cc100_tr: hedef %33, gerçek %16.6 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • wikipedia_tr: hedef %5, gerçek %2.4 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • wikikaynak_tr: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • altyazi_cc: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • kod_oss_py: hedef %9, gerçek %4.2 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • kod_debian_py: hedef %3, gerçek %1.1 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • Ansiklopedi hedefi bu kaynaktan ULAŞILAMAZ: Türkçe Vikipedi'nin tamamı 272M token. Daha fazlası ancak başka bir ansiklopedik kaynaktan gelebilir.
  • 2026-08-05: derlem deseni başlık listelerini de yakaladı, akışa 259.914 düzyazı-olmayan token sızdı (20 binde 1). Ölçülebilir etkisi yok; desen düzeltildi, 10,5 milyar token bunun için yeniden kodlanmadı — takas açıkça yapıldı.
  • hplt_tr: lisans (CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %70.2'i bugün yeniden yayınlanamıyor.
  • kod_debian_py: lisans (Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %1.1'i bugün yeniden yayınlanamıyor.

So what did this training achieve?

The measured scores of the capabilities this corpus produced are on a separate page: 6 measured, 3 not yet measured.

See the report card
MACHINE READABLE
Catalogue, checksums and defect log as JSON.

The value you see on the page and the value in the file are the same; both are produced from one source.

api/v1/datasets.json ↗ checksums.txt ↗