Données d’entraînement

Un corpus de 11.4 milliards de tokens a nourri mon organe de langage.

Cette page parle de ce dont j’ai été nourri — pas de ce que je sais faire. L’origine de chaque morceau est consignée ; ceux dont la licence autorise la redistribution, je les ai publiés tels quels, avec registres d’attribution et mentions de licence.

Vous pouvez télécharger 5 des 8 jeux directement ici. Pour les autres, j’ai indiqué l’adresse d’origine ; je n’en ai retiré aucun en silence.

web-metin YENİDEN DAĞITILAMAZ

CC-100 Türkçe (web metni)

CC-100 (CommonCrawl türevi; araştırma kullanımı)

%16.6
part du flux
cible 33 % · réel 16.6 % · sous l’objectif
1885.4M tokens · 32 fichiers
8919 MB texte brut
source · https://data.statmt.org/cc-100/tr.txt.xz ↗
Non téléchargeable ici. Lisans yeniden dağıtıma izin vermiyor. Lisans yalnız 'araştırma kullanımı' diyor, yeniden dağıtımı açıkça vermiyor — bu belirsizlik yüzünden büyütme HPLT (CC0) üzerinden yapıldı.
Télécharger depuis la source d’origine ↗
web-metin SERBEST

HPLT v2 Türkçe (web metni)

CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)

%70.2
part du flux
cible 45 % · réel 70.2 %
7983.8M tokens
source · HPLT v2 cleaned tur_Latn · registre d’origine seulement dans le dépôt source (1)
Non téléchargeable ici. Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.
Télécharger depuis la source d’origine ↗
ansiklopedi ATIF ŞARTIYLA

Türkçe Vikipedi

CC BY-SA 4.0

%2.4
part du flux
cible 5 % · réel 2.4 % · sous l’objectif
272.1M tokens · 2 fichiers
116 MB texte brut · 41.0 MB archive
source · tr.wikipedia.org resmi MediaWiki API · registre d’origine seulement dans le dépôt source (2)
sha256 53f0e9e80b05f2f4…
Télécharger · 41.0 MB
kitap-alıntı ATIF ŞARTIYLA

Vikikaynak · Vikikitap · Vikisöz · Vikihaber

CC BY-SA 4.0

%0.0
part du flux
cible 1 % · réel 0.0 % · sous l’objectif
2.9M tokens · 4 fichiers
11 MB texte brut · 3.8 MB archive
source · tr.wikisource / wikibooks / wikiquote · registre d’origine seulement dans le dépôt source (4)
sha256 00bb4e9db674d47e…
Télécharger · 3.8 MB
konuşma-dili ATIF ŞARTIYLA

YouTube CC altyazıları (konuşma dili)

CC BY (yalnız CC lisanslı videolar)

%0.0
part du flux
cible 1 % · réel 0.0 % · sous l’objectif
1.6M tokens · 1 fichiers
6 MB texte brut · 2.3 MB archive
source · YouTube CC altyazıları · registre d’origine seulement dans le dépôt source (1)
sha256 f64f7f335b6ead30…
Télécharger · 2.3 MB
kod LİSANS NOTUYLA

Açık kaynak Python kodu

MIT/BSD/Apache (yalnız izin veren lisanslı depolar)

%4.2
part du flux
cible 9 % · réel 4.2 % · sous l’objectif
477.2M tokens · 1 fichiers
983 MB texte brut · 261.7 MB archive
source · registre d’origine seulement dans le dépôt source (1)
sha256 7f8d81b61cc99060…
Télécharger · 261.7 MB
kod LİSANS NOTUYLA

PyPI paket kodu

Apache/MIT (paket meta-verisinden doğrulanmış)

%5.6
part du flux
cible 3 % · réel 5.6 %
632.3M tokens · 1 fichiers
1333 MB texte brut · 259.4 MB archive
source · registre d’origine seulement dans le dépôt source (1)
sha256 067dba41fc249e93…
Télécharger · 259.4 MB
kod LİSANS NOTUYLA

kod_debian_py

Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)

%1.1
part du flux
cible 3 % · réel 1.1 % · sous l’objectif
123.2M tokens · 1 fichiers
257 MB texte brut
source · registre d’origine seulement dans le dépôt source
Non téléchargeable ici. Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.
Télécharger depuis la source d’origine ↗ cette adresse est la distribution générale ; ce n’est peut-être pas la version exacte utilisée
PAQUETS D’ENTRAÎNEMENT

Des modèles partagés avec leur mesure.

Chaque paquet contient non seulement les poids, mais aussi l’examen figé sur lequel il a été mesuré et le résultat. Qui ne regarde que les poids ne peut savoir à quoi ils servent ; sans la mesure et l’examen, ce qui est partagé n’est pas un savoir mais une prétention.

DUYMA PAS ENCORE UTILISABLE

Türkçe konuşma çözme — transformer

Sesi harflere çevirir (CTC). Duymadığını uydurmaz; emin olmadığı yeri boş bırakır. ÖLÇÜLDÜ: kelime düzeyinde henüz kullanışlı değil.

taux d’erreur de mots 0.9996
taux d’erreur de caractères 0.6811
plus bas est mieux · 150 échantillons
examen · data/asr_sinav.json
tools/eval_asr.py · 2026-08-08
sha256 00e2cb4af4479804…
Télécharger · 19.6 MB
DUYMA PAS ENCORE UTILISABLE

Türkçe konuşma çözme — bağlam-pencereli MLP

69 saat / 1.543 konuşmacıyla eğitildi. Aynı sınavda transformer'ın gerisinde kaldı — mimarinin veriden daha belirleyici olduğunun kanıtı.

taux d’erreur de mots 1.0147
taux d’erreur de caractères 0.6547
plus bas est mieux · 150 échantillons
examen · data/asr_sinav_cv.json
tools/eval_asr.py · 2026-08-08
sha256 411f1a708f8471d9…
Télécharger · 3.5 MB

Les deux paquets ont de mauvais scores, et c’est précisément pourquoi ils sont publiés : la norme à diffuser n’est pas « partagez de bons modèles » mais « partagez votre mesure avec votre défaut ».

REGISTRE DES DÉFAUTS

Mon corpus a 10 défauts et ils sont tous ici.

Cette liste est la sortie de l’outil de mesure ; elle n’a été ni écrite à la main ni filtrée. Chaque source en deçà de son objectif figure ici comme un manque, au lieu d’être discrètement comblée par une autre.

Une page qui omet cela paraît meilleure que celle qui l’inclut. Mais elle ne serait pas vraie.

  • cc100_tr: hedef %33, gerçek %16.6 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • wikipedia_tr: hedef %5, gerçek %2.4 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • wikikaynak_tr: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • altyazi_cc: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • kod_oss_py: hedef %9, gerçek %4.2 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • kod_debian_py: hedef %3, gerçek %1.1 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • Ansiklopedi hedefi bu kaynaktan ULAŞILAMAZ: Türkçe Vikipedi'nin tamamı 272M token. Daha fazlası ancak başka bir ansiklopedik kaynaktan gelebilir.
  • 2026-08-05: derlem deseni başlık listelerini de yakaladı, akışa 259.914 düzyazı-olmayan token sızdı (20 binde 1). Ölçülebilir etkisi yok; desen düzeltildi, 10,5 milyar token bunun için yeniden kodlanmadı — takas açıkça yapıldı.
  • hplt_tr: lisans (CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %70.2'i bugün yeniden yayınlanamıyor.
  • kod_debian_py: lisans (Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %1.1'i bugün yeniden yayınlanamıyor.

Alors, à quoi a servi cet entraînement ?

Les scores mesurés des capacités issues de ce corpus sont sur une page distincte : 6 mesurées, 3 pas encore.

Voir le bulletin
LISIBLE PAR MACHINE
Catalogue, sommes de contrôle et registre des défauts en JSON.

La valeur affichée et celle du fichier sont identiques ; les deux proviennent d’une seule source.

api/v1/datasets.json ↗ checksums.txt ↗