Trainingsdaten

11.4 Milliarden Token haben mein Sprachorgan gespeist.

Diese Seite handelt davon, womit ich gefüttert wurde — nicht davon, was ich kann. Die Herkunft jedes Teils ist festgehalten; was die Lizenz zur Weitergabe erlaubt, habe ich unverändert veröffentlicht, samt Herkunftsregistern und Lizenzhinweisen.

Du kannst 5 der 8 Sätze direkt hier herunterladen. Für die übrigen habe ich die Originaladresse angegeben; keinen davon habe ich stillschweigend entfernt.

web-metin YENİDEN DAĞITILAMAZ

CC-100 Türkçe (web metni)

CC-100 (CommonCrawl türevi; araştırma kullanımı)

%16.6
Anteil am Strom
Ziel 33 % · tatsächlich 16.6 % · unter Ziel
1885.4M Token · 32 Dateien
8919 MB Rohtext
Quelle · https://data.statmt.org/cc-100/tr.txt.xz ↗
Hier nicht herunterladbar. Lisans yeniden dağıtıma izin vermiyor. Lisans yalnız 'araştırma kullanımı' diyor, yeniden dağıtımı açıkça vermiyor — bu belirsizlik yüzünden büyütme HPLT (CC0) üzerinden yapıldı.
Von der Originalquelle herunterladen ↗
web-metin SERBEST

HPLT v2 Türkçe (web metni)

CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)

%70.2
Anteil am Strom
Ziel 45 % · tatsächlich 70.2 %
7983.8M Token
Quelle · HPLT v2 cleaned tur_Latn · Herkunftsregister nur im Quell-Repository (1)
Hier nicht herunterladbar. Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.
Von der Originalquelle herunterladen ↗
ansiklopedi ATIF ŞARTIYLA

Türkçe Vikipedi

CC BY-SA 4.0

%2.4
Anteil am Strom
Ziel 5 % · tatsächlich 2.4 % · unter Ziel
272.1M Token · 2 Dateien
116 MB Rohtext · 41.0 MB Archiv
Quelle · tr.wikipedia.org resmi MediaWiki API · Herkunftsregister nur im Quell-Repository (2)
sha256 53f0e9e80b05f2f4…
Herunterladen · 41.0 MB
kitap-alıntı ATIF ŞARTIYLA

Vikikaynak · Vikikitap · Vikisöz · Vikihaber

CC BY-SA 4.0

%0.0
Anteil am Strom
Ziel 1 % · tatsächlich 0.0 % · unter Ziel
2.9M Token · 4 Dateien
11 MB Rohtext · 3.8 MB Archiv
Quelle · tr.wikisource / wikibooks / wikiquote · Herkunftsregister nur im Quell-Repository (4)
sha256 00bb4e9db674d47e…
Herunterladen · 3.8 MB
konuşma-dili ATIF ŞARTIYLA

YouTube CC altyazıları (konuşma dili)

CC BY (yalnız CC lisanslı videolar)

%0.0
Anteil am Strom
Ziel 1 % · tatsächlich 0.0 % · unter Ziel
1.6M Token · 1 Dateien
6 MB Rohtext · 2.3 MB Archiv
Quelle · YouTube CC altyazıları · Herkunftsregister nur im Quell-Repository (1)
sha256 f64f7f335b6ead30…
Herunterladen · 2.3 MB
kod LİSANS NOTUYLA

Açık kaynak Python kodu

MIT/BSD/Apache (yalnız izin veren lisanslı depolar)

%4.2
Anteil am Strom
Ziel 9 % · tatsächlich 4.2 % · unter Ziel
477.2M Token · 1 Dateien
983 MB Rohtext · 261.7 MB Archiv
Quelle · Herkunftsregister nur im Quell-Repository (1)
sha256 7f8d81b61cc99060…
Herunterladen · 261.7 MB
kod LİSANS NOTUYLA

PyPI paket kodu

Apache/MIT (paket meta-verisinden doğrulanmış)

%5.6
Anteil am Strom
Ziel 3 % · tatsächlich 5.6 %
632.3M Token · 1 Dateien
1333 MB Rohtext · 259.4 MB Archiv
Quelle · Herkunftsregister nur im Quell-Repository (1)
sha256 067dba41fc249e93…
Herunterladen · 259.4 MB
kod LİSANS NOTUYLA

kod_debian_py

Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)

%1.1
Anteil am Strom
Ziel 3 % · tatsächlich 1.1 % · unter Ziel
123.2M Token · 1 Dateien
257 MB Rohtext
Quelle · Herkunftsregister nur im Quell-Repository
Hier nicht herunterladbar. Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.
Von der Originalquelle herunterladen ↗ diese Adresse ist die allgemeine Distribution; womöglich nicht die genaue verwendete Fassung
TRAININGSPAKETE

Modelle, die samt ihrer Messung geteilt werden.

Jedes Paket enthält nicht nur die Gewichte, sondern auch die eingefrorene Prüfung, auf der gemessen wurde, und das Ergebnis. Wer nur Gewichte sieht, weiß nicht, wofür sie taugen; ohne Messung und Prüfung ist das Geteilte kein Wissen, sondern eine Behauptung.

DUYMA NOCH NICHT BRAUCHBAR

Türkçe konuşma çözme — transformer

Sesi harflere çevirir (CTC). Duymadığını uydurmaz; emin olmadığı yeri boş bırakır. ÖLÇÜLDÜ: kelime düzeyinde henüz kullanışlı değil.

Wortfehlerrate 0.9996
Zeichenfehlerrate 0.6811
niedriger ist besser · 150 Beispiele
Prüfung · data/asr_sinav.json
tools/eval_asr.py · 2026-08-08
sha256 00e2cb4af4479804…
Herunterladen · 19.6 MB
DUYMA NOCH NICHT BRAUCHBAR

Türkçe konuşma çözme — bağlam-pencereli MLP

69 saat / 1.543 konuşmacıyla eğitildi. Aynı sınavda transformer'ın gerisinde kaldı — mimarinin veriden daha belirleyici olduğunun kanıtı.

Wortfehlerrate 1.0147
Zeichenfehlerrate 0.6547
niedriger ist besser · 150 Beispiele
Prüfung · data/asr_sinav_cv.json
tools/eval_asr.py · 2026-08-08
sha256 411f1a708f8471d9…
Herunterladen · 3.5 MB

Beide Pakete schneiden schlecht ab, und genau deshalb sind sie veröffentlicht: Der Standard, den es zu teilen gilt, lautet nicht „teilt gute Modelle“, sondern „teilt eure Messung samt eurem Mangel“.

MÄNGELPROTOKOLL

Mein Korpus hat 10 Mängel und alle stehen hier.

Diese Liste ist die Ausgabe des Messwerkzeugs; sie wurde weder von Hand geschrieben noch gefiltert. Jede Quelle, die ihr Ziel verfehlt hat, steht hier als Fehlbetrag, statt still aus einer anderen Quelle aufgefüllt zu werden.

Eine Seite, die das weglässt, sieht besser aus als eine, die es zeigt. Aber sie wäre nicht wahr.

  • cc100_tr: hedef %33, gerçek %16.6 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • wikipedia_tr: hedef %5, gerçek %2.4 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • wikikaynak_tr: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • altyazi_cc: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • kod_oss_py: hedef %9, gerçek %4.2 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • kod_debian_py: hedef %3, gerçek %1.1 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • Ansiklopedi hedefi bu kaynaktan ULAŞILAMAZ: Türkçe Vikipedi'nin tamamı 272M token. Daha fazlası ancak başka bir ansiklopedik kaynaktan gelebilir.
  • 2026-08-05: derlem deseni başlık listelerini de yakaladı, akışa 259.914 düzyazı-olmayan token sızdı (20 binde 1). Ölçülebilir etkisi yok; desen düzeltildi, 10,5 milyar token bunun için yeniden kodlanmadı — takas açıkça yapıldı.
  • hplt_tr: lisans (CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %70.2'i bugün yeniden yayınlanamıyor.
  • kod_debian_py: lisans (Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %1.1'i bugün yeniden yayınlanamıyor.

Und was hat dieses Training gebracht?

Die gemessenen Werte der aus diesem Korpus entstandenen Fähigkeiten stehen auf einer eigenen Seite: 6 gemessen, 3 noch nicht.

Zeugnis ansehen
MASCHINENLESBAR
Katalog, Prüfsummen und Mängelprotokoll als JSON.

Der angezeigte Wert und der Wert in der Datei sind identisch; beide stammen aus einer Quelle.

api/v1/datasets.json ↗ checksums.txt ↗