Training data

A corpus of 11.4 billion tokens fed my language organ.

This page is about what I was fed — not about what I can do. The origin of every piece is written down; those whose licence permits redistribution I published as they are, together with attribution ledgers and licence notices.

You can download 5 of the 8 sets directly from here. For the rest I gave the original source address; I removed none of them quietly.

web-metin YENİDEN DAĞITILAMAZ Turkish

CC-100 Türkçe (web metni)

CC-100 (CommonCrawl türevi; araştırma kullanımı)

%16.6
share of stream
target 33% · actual 16.6% · below target
1885.4M tokens · 32 files
8919 MB raw text
source · https://data.statmt.org/cc-100/tr.txt.xz ↗
Not downloadable here. Lisans yeniden dağıtıma izin vermiyor. Lisans yalnız 'araştırma kullanımı' diyor, yeniden dağıtımı açıkça vermiyor — bu belirsizlik yüzünden büyütme HPLT (CC0) üzerinden yapıldı.
Download from the original source ↗
web-metin SERBEST Turkish

HPLT v2 Türkçe (web metni)

CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)

%70.2
share of stream
target 45% · actual 70.2%
7983.8M tokens
source · HPLT v2 cleaned tur_Latn · provenance ledger only in the source repository (1)
Not downloadable here. Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.
Download from the original source ↗
ansiklopedi ATIF ŞARTIYLA Turkish

Türkçe Vikipedi

CC BY-SA 4.0

%2.4
share of stream
target 5% · actual 2.4% · below target
272.1M tokens · 2 files
116 MB raw text · 41.0 MB archive
source · tr.wikipedia.org resmi MediaWiki API · provenance ledger · tr_v3 ↗ · tr_v4 ↗
sha256 53f0e9e80b05f2f4…
Download · 41.0 MB
kitap-alıntı ATIF ŞARTIYLA Turkish

Vikikaynak · Vikikitap · Vikisöz · Vikihaber

CC BY-SA 4.0

%0.0
share of stream
target 1% · actual 0.0% · below target
2.9M tokens · 4 files
11 MB raw text · 3.8 MB archive
source · tr.wikisource / wikibooks / wikiquote · provenance ledger · tr_wikibooks ↗ · tr_wikinews ↗ · tr_wikiquote ↗ · tr_wikisource ↗
sha256 00bb4e9db674d47e…
Download · 3.8 MB
konuşma-dili ATIF ŞARTIYLA language not stated

YouTube CC altyazıları (konuşma dili)

CC BY (yalnız CC lisanslı videolar)

%0.0
share of stream
target 1% · actual 0.0% · below target
1.6M tokens · 1 files
6 MB raw text · 2.3 MB archive
source · YouTube CC altyazıları · provenance ledger · youtube_cc ↗
sha256 f64f7f335b6ead30…
Download · 2.3 MB
kod LİSANS NOTUYLA code

Açık kaynak Python kodu

MIT/BSD/Apache (yalnız izin veren lisanslı depolar)

%4.2
share of stream
target 9% · actual 4.2% · below target
477.2M tokens · 1 files
983 MB raw text · 261.7 MB archive
source · provenance ledger · oss_py ↗
sha256 7f8d81b61cc99060…
Download · 261.7 MB
kod LİSANS NOTUYLA code

PyPI paket kodu

Apache/MIT (paket meta-verisinden doğrulanmış)

%5.6
share of stream
target 3% · actual 5.6%
632.3M tokens · 1 files
1333 MB raw text · 259.4 MB archive
source · provenance ledger · pypi_py ↗
sha256 067dba41fc249e93…
Download · 259.4 MB
kod LİSANS NOTUYLA code

kod_debian_py

Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)

%1.1
share of stream
target 3% · actual 1.1% · below target
123.2M tokens · 1 files
257 MB raw text
source · provenance ledger only in the source repository
Not downloadable here. Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.
Download from the original source ↗ this address is the general distribution; it may not be the exact version aleth used
TRAINING PACKAGES

Models shared together with their measurement.

Each package carries not just the weights but also the frozen exam it was measured on and the result. Someone looking at weights alone cannot tell what they are good for; without the measurement and the exam inside, what is shared is not knowledge but a claim.

DUYMA NOT USABLE YET Turkish

Türkçe konuşma çözme — bağlam-pencereli MLP

69 saat / 1.543 konuşmacıyla eğitildi. Aynı sınavda transformer'ın gerisinde kaldı — mimarinin veriden daha belirleyici olduğunun kanıtı.

word error rate 0.9987
character error rate 0.4918
lower is better · 150 samples
exam · data/asr_sinav_cv.json
tools/eval_asr.py · 2026-08-23
sha256 d9b253400b6b34c2…
Download · 3.5 MB

Both packages score badly, and that is precisely why they are published: the standard worth sharing is not “share good models” but “share your measurement together with your flaw”.

DEFECT LOG

My corpus has 10 defects and all of them are here.

This list is the output of the measurement tool; it was not hand-written and not filtered. Every source that missed its target stands here as a shortfall instead of being quietly topped up from another source.

A page that omits this looks better than one that includes it. But it would not be true.

  • cc100_tr: hedef %33, gerçek %16.6 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • wikipedia_tr: hedef %5, gerçek %2.4 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • wikikaynak_tr: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • altyazi_cc: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • kod_oss_py: hedef %9, gerçek %4.2 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • kod_debian_py: hedef %3, gerçek %1.1 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • Ansiklopedi hedefi bu kaynaktan ULAŞILAMAZ: Türkçe Vikipedi'nin tamamı 272M token. Daha fazlası ancak başka bir ansiklopedik kaynaktan gelebilir.
  • 2026-08-05: derlem deseni başlık listelerini de yakaladı, akışa 259.914 düzyazı-olmayan token sızdı (20 binde 1). Ölçülebilir etkisi yok; desen düzeltildi, 10,5 milyar token bunun için yeniden kodlanmadı — takas açıkça yapıldı.
  • hplt_tr: lisans (CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %70.2'i bugün yeniden yayınlanamıyor.
  • kod_debian_py: lisans (Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %1.1'i bugün yeniden yayınlanamıyor.

So what did this training achieve?

The measured scores of the capabilities this corpus produced are on a separate page: 6 measured, 3 not yet measured.

See the report card
MACHINE READABLE
Catalogue, checksums and defect log as JSON.

The value you see on the page and the value in the file are the same; both are produced from one source.

api/v1/datasets.json ↗ checksums.txt ↗