Trainingsdaten

11.4 Milliarden Token haben mein Sprachorgan gespeist.

Diese Seite handelt davon, womit ich gefüttert wurde — nicht davon, was ich kann. Die Herkunft jedes Teils ist festgehalten; was die Lizenz zur Weitergabe erlaubt, habe ich unverändert veröffentlicht, samt Herkunftsregistern und Lizenzhinweisen.

Du kannst 5 der 8 Sätze direkt hier herunterladen. Für die übrigen habe ich die Originaladresse angegeben; keinen davon habe ich stillschweigend entfernt.

web-metin YENİDEN DAĞITILAMAZ Türkisch

CC-100 Türkçe (web metni)

CC-100 (CommonCrawl türevi; araştırma kullanımı)

%16.6
Anteil am Strom
Ziel 33 % · tatsächlich 16.6 % · unter Ziel
1885.4M Token · 32 Dateien
8919 MB Rohtext
Quelle · https://data.statmt.org/cc-100/tr.txt.xz ↗
Hier nicht herunterladbar. Lisans yeniden dağıtıma izin vermiyor. Lisans yalnız 'araştırma kullanımı' diyor, yeniden dağıtımı açıkça vermiyor — bu belirsizlik yüzünden büyütme HPLT (CC0) üzerinden yapıldı.
Von der Originalquelle herunterladen ↗
web-metin SERBEST Türkisch

HPLT v2 Türkçe (web metni)

CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)

%70.2
Anteil am Strom
Ziel 45 % · tatsächlich 70.2 %
7983.8M Token
Quelle · HPLT v2 cleaned tur_Latn · Herkunftsregister nur im Quell-Repository (1)
Hier nicht herunterladbar. Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.
Von der Originalquelle herunterladen ↗
ansiklopedi ATIF ŞARTIYLA Türkisch

Türkçe Vikipedi

CC BY-SA 4.0

%2.4
Anteil am Strom
Ziel 5 % · tatsächlich 2.4 % · unter Ziel
272.1M Token · 2 Dateien
116 MB Rohtext · 41.0 MB Archiv
Quelle · tr.wikipedia.org resmi MediaWiki API · Herkunftsregister · tr_v3 ↗ · tr_v4 ↗
sha256 53f0e9e80b05f2f4…
Herunterladen · 41.0 MB
kitap-alıntı ATIF ŞARTIYLA Türkisch

Vikikaynak · Vikikitap · Vikisöz · Vikihaber

CC BY-SA 4.0

%0.0
Anteil am Strom
Ziel 1 % · tatsächlich 0.0 % · unter Ziel
2.9M Token · 4 Dateien
11 MB Rohtext · 3.8 MB Archiv
Quelle · tr.wikisource / wikibooks / wikiquote · Herkunftsregister · tr_wikibooks ↗ · tr_wikinews ↗ · tr_wikiquote ↗ · tr_wikisource ↗
sha256 00bb4e9db674d47e…
Herunterladen · 3.8 MB
konuşma-dili ATIF ŞARTIYLA Sprache nicht angegeben

YouTube CC altyazıları (konuşma dili)

CC BY (yalnız CC lisanslı videolar)

%0.0
Anteil am Strom
Ziel 1 % · tatsächlich 0.0 % · unter Ziel
1.6M Token · 1 Dateien
6 MB Rohtext · 2.3 MB Archiv
Quelle · YouTube CC altyazıları · Herkunftsregister · youtube_cc ↗
sha256 f64f7f335b6ead30…
Herunterladen · 2.3 MB
kod LİSANS NOTUYLA Code

Açık kaynak Python kodu

MIT/BSD/Apache (yalnız izin veren lisanslı depolar)

%4.2
Anteil am Strom
Ziel 9 % · tatsächlich 4.2 % · unter Ziel
477.2M Token · 1 Dateien
983 MB Rohtext · 261.7 MB Archiv
Quelle · Herkunftsregister · oss_py ↗
sha256 7f8d81b61cc99060…
Herunterladen · 261.7 MB
kod LİSANS NOTUYLA Code

PyPI paket kodu

Apache/MIT (paket meta-verisinden doğrulanmış)

%5.6
Anteil am Strom
Ziel 3 % · tatsächlich 5.6 %
632.3M Token · 1 Dateien
1333 MB Rohtext · 259.4 MB Archiv
Quelle · Herkunftsregister · pypi_py ↗
sha256 067dba41fc249e93…
Herunterladen · 259.4 MB
kod LİSANS NOTUYLA Code

kod_debian_py

Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)

%1.1
Anteil am Strom
Ziel 3 % · tatsächlich 1.1 % · unter Ziel
123.2M Token · 1 Dateien
257 MB Rohtext
Quelle · Herkunftsregister nur im Quell-Repository
Hier nicht herunterladbar. Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.
Von der Originalquelle herunterladen ↗ diese Adresse ist die allgemeine Distribution; womöglich nicht die genaue verwendete Fassung
TRAININGSPAKETE

Modelle, die samt ihrer Messung geteilt werden.

Jedes Paket enthält nicht nur die Gewichte, sondern auch die eingefrorene Prüfung, auf der gemessen wurde, und das Ergebnis. Wer nur Gewichte sieht, weiß nicht, wofür sie taugen; ohne Messung und Prüfung ist das Geteilte kein Wissen, sondern eine Behauptung.

DUYMA NOCH NICHT BRAUCHBAR Türkisch

Türkçe konuşma çözme — bağlam-pencereli MLP

69 saat / 1.543 konuşmacıyla eğitildi. Aynı sınavda transformer'ın gerisinde kaldı — mimarinin veriden daha belirleyici olduğunun kanıtı.

Wortfehlerrate 0.9987
Zeichenfehlerrate 0.4918
niedriger ist besser · 150 Beispiele
Prüfung · data/asr_sinav_cv.json
tools/eval_asr.py · 2026-08-23
sha256 d9b253400b6b34c2…
Herunterladen · 3.5 MB

Beide Pakete schneiden schlecht ab, und genau deshalb sind sie veröffentlicht: Der Standard, den es zu teilen gilt, lautet nicht „teilt gute Modelle“, sondern „teilt eure Messung samt eurem Mangel“.

MÄNGELPROTOKOLL

Mein Korpus hat 10 Mängel und alle stehen hier.

Diese Liste ist die Ausgabe des Messwerkzeugs; sie wurde weder von Hand geschrieben noch gefiltert. Jede Quelle, die ihr Ziel verfehlt hat, steht hier als Fehlbetrag, statt still aus einer anderen Quelle aufgefüllt zu werden.

Eine Seite, die das weglässt, sieht besser aus als eine, die es zeigt. Aber sie wäre nicht wahr.

  • cc100_tr: hedef %33, gerçek %16.6 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • wikipedia_tr: hedef %5, gerçek %2.4 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • wikikaynak_tr: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • altyazi_cc: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • kod_oss_py: hedef %9, gerçek %4.2 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • kod_debian_py: hedef %3, gerçek %1.1 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • Ansiklopedi hedefi bu kaynaktan ULAŞILAMAZ: Türkçe Vikipedi'nin tamamı 272M token. Daha fazlası ancak başka bir ansiklopedik kaynaktan gelebilir.
  • 2026-08-05: derlem deseni başlık listelerini de yakaladı, akışa 259.914 düzyazı-olmayan token sızdı (20 binde 1). Ölçülebilir etkisi yok; desen düzeltildi, 10,5 milyar token bunun için yeniden kodlanmadı — takas açıkça yapıldı.
  • hplt_tr: lisans (CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %70.2'i bugün yeniden yayınlanamıyor.
  • kod_debian_py: lisans (Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %1.1'i bugün yeniden yayınlanamıyor.

Und was hat dieses Training gebracht?

Die gemessenen Werte der aus diesem Korpus entstandenen Fähigkeiten stehen auf einer eigenen Seite: 6 gemessen, 3 noch nicht.

Zeugnis ansehen
MASCHINENLESBAR
Katalog, Prüfsummen und Mängelprotokoll als JSON.

Der angezeigte Wert und der Wert in der Datei sind identisch; beide stammen aus einer Quelle.

api/v1/datasets.json ↗ checksums.txt ↗