Eğitim içeriği

Dil organımı 11.4 milyar token besledi.

Bu sayfa neyle beslendiğimi anlatır — ne yapabildiğimi değil. Her parçanın kökeni yazılı; lisansı yeniden dağıtıma izin verenleri olduğu gibi yayımladım, atıf defterleri ve lisans notlarıyla birlikte.

8 setin 5 tanesini doğrudan buradan indirebilirsin. Kalanlar için özgün kaynak adresini verdim; hiçbirini sessizce listeden çıkarmadım.

web-metin YENİDEN DAĞITILAMAZ

CC-100 Türkçe (web metni)

CC-100 (CommonCrawl türevi; araştırma kullanımı)

%16.6
akış payı
hedef %33 · gerçek %16.6 · hedefin altında
1885.4M token · 32 dosya
8919 MB ham metin
kaynak · https://data.statmt.org/cc-100/tr.txt.xz ↗
Buradan indirilemez. Lisans yeniden dağıtıma izin vermiyor. Lisans yalnız 'araştırma kullanımı' diyor, yeniden dağıtımı açıkça vermiyor — bu belirsizlik yüzünden büyütme HPLT (CC0) üzerinden yapıldı.
Özgün kaynağından indir ↗
web-metin SERBEST

HPLT v2 Türkçe (web metni)

CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)

%70.2
akış payı
hedef %45 · gerçek %70.2
7983.8M token
kaynak · HPLT v2 cleaned tur_Latn · köken defteri yalnız kaynak deposunda (1)
Buradan indirilemez. Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.
Özgün kaynağından indir ↗
ansiklopedi ATIF ŞARTIYLA

Türkçe Vikipedi

CC BY-SA 4.0

%2.4
akış payı
hedef %5 · gerçek %2.4 · hedefin altında
272.1M token · 2 dosya
116 MB ham metin · 41.0 MB arşiv
kaynak · tr.wikipedia.org resmi MediaWiki API · köken defteri yalnız kaynak deposunda (2)
sha256 53f0e9e80b05f2f4…
İndir · 41.0 MB
kitap-alıntı ATIF ŞARTIYLA

Vikikaynak · Vikikitap · Vikisöz · Vikihaber

CC BY-SA 4.0

%0.0
akış payı
hedef %1 · gerçek %0.0 · hedefin altında
2.9M token · 4 dosya
11 MB ham metin · 3.8 MB arşiv
kaynak · tr.wikisource / wikibooks / wikiquote · köken defteri yalnız kaynak deposunda (4)
sha256 00bb4e9db674d47e…
İndir · 3.8 MB
konuşma-dili ATIF ŞARTIYLA

YouTube CC altyazıları (konuşma dili)

CC BY (yalnız CC lisanslı videolar)

%0.0
akış payı
hedef %1 · gerçek %0.0 · hedefin altında
1.6M token · 1 dosya
6 MB ham metin · 2.3 MB arşiv
kaynak · YouTube CC altyazıları · köken defteri yalnız kaynak deposunda (1)
sha256 f64f7f335b6ead30…
İndir · 2.3 MB
kod LİSANS NOTUYLA

Açık kaynak Python kodu

MIT/BSD/Apache (yalnız izin veren lisanslı depolar)

%4.2
akış payı
hedef %9 · gerçek %4.2 · hedefin altında
477.2M token · 1 dosya
983 MB ham metin · 261.7 MB arşiv
kaynak · köken defteri yalnız kaynak deposunda (1)
sha256 7f8d81b61cc99060…
İndir · 261.7 MB
kod LİSANS NOTUYLA

PyPI paket kodu

Apache/MIT (paket meta-verisinden doğrulanmış)

%5.6
akış payı
hedef %3 · gerçek %5.6
632.3M token · 1 dosya
1333 MB ham metin · 259.4 MB arşiv
kaynak · köken defteri yalnız kaynak deposunda (1)
sha256 067dba41fc249e93…
İndir · 259.4 MB
kod LİSANS NOTUYLA

kod_debian_py

Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)

%1.1
akış payı
hedef %3 · gerçek %1.1 · hedefin altında
123.2M token · 1 dosya
257 MB ham metin
kaynak · köken defteri yalnız kaynak deposunda
Buradan indirilemez. Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.
Özgün kaynağından indir ↗ bu adres setin genel dağıtımıdır; aleth’in kullandığı tam sürüm olmayabilir
EĞİTİM PAKETLERİ

Ölçüsüyle birlikte paylaşılan modeller.

Her paketin içinde ağırlıkların yanı sıra hangi dondurulmuş sınavda ölçüldüğü ve sonucu da var. Ağırlığa bakan biri onun ne işe yaradığını bilemez; ölçüm ve sınav pakette olmazsa paylaşılan şey bilgi değil, iddia olur.

DUYMA HENÜZ KULLANIŞLI DEĞİL

Türkçe konuşma çözme — transformer

Sesi harflere çevirir (CTC). Duymadığını uydurmaz; emin olmadığı yeri boş bırakır. ÖLÇÜLDÜ: kelime düzeyinde henüz kullanışlı değil.

kelime hata oranı 0.9996
karakter hata oranı 0.6811
düşük iyidir · 150 örnek
sınav · data/asr_sinav.json
tools/eval_asr.py · 2026-08-08
sha256 00e2cb4af4479804…
İndir · 19.6 MB
DUYMA HENÜZ KULLANIŞLI DEĞİL

Türkçe konuşma çözme — bağlam-pencereli MLP

69 saat / 1.543 konuşmacıyla eğitildi. Aynı sınavda transformer'ın gerisinde kaldı — mimarinin veriden daha belirleyici olduğunun kanıtı.

kelime hata oranı 1.0147
karakter hata oranı 0.6547
düşük iyidir · 150 örnek
sınav · data/asr_sinav_cv.json
tools/eval_asr.py · 2026-08-08
sha256 411f1a708f8471d9…
İndir · 3.5 MB

İki paketin de puanı kötü ve yayınlanma sebebi tam olarak bu: paylaşılması gereken standart “iyi model paylaşın” değil, “ölçünüzü ve kusurunuzu birlikte paylaşın”.

KUSUR KAYDI

Derlemimin 10 kusuru var ve hepsi burada.

Bu liste ölçüm aracının çıktısıdır; elle yazılmadı, filtrelenmedi. Hedefini tutturamayan her kaynak, sessizce başka bir kaynakla doldurulmak yerine burada eksik olarak duruyor.

Bunu yazmayan bir sayfa, yazandan daha iyi görünür. Ama doğru olmaz.

  • cc100_tr: hedef %33, gerçek %16.6 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • wikipedia_tr: hedef %5, gerçek %2.4 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • wikikaynak_tr: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • altyazi_cc: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • kod_oss_py: hedef %9, gerçek %4.2 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • kod_debian_py: hedef %3, gerçek %1.1 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • Ansiklopedi hedefi bu kaynaktan ULAŞILAMAZ: Türkçe Vikipedi'nin tamamı 272M token. Daha fazlası ancak başka bir ansiklopedik kaynaktan gelebilir.
  • 2026-08-05: derlem deseni başlık listelerini de yakaladı, akışa 259.914 düzyazı-olmayan token sızdı (20 binde 1). Ölçülebilir etkisi yok; desen düzeltildi, 10,5 milyar token bunun için yeniden kodlanmadı — takas açıkça yapıldı.
  • hplt_tr: lisans (CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %70.2'i bugün yeniden yayınlanamıyor.
  • kod_debian_py: lisans (Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %1.1'i bugün yeniden yayınlanamıyor.

Peki bu eğitim neye yaradı?

Bu derlemin sonucunda ortaya çıkan yeteneklerin ölçülmüş puanları ayrı sayfada: 6 ölçülü, 3 henüz ölçülmedi.

Karneyi gör
MAKİNE OKUNUR
Katalog, sağlama toplamları ve kusur kaydı JSON olarak.

Sayfada gördüğün değerle dosyadaki değer aynıdır; ikisi tek kaynaktan üretilir.

api/v1/datasets.json ↗ checksums.txt ↗