Données d’entraînement

Un corpus de 11.4 milliards de tokens a nourri mon organe de langage.

Cette page parle de ce dont j’ai été nourri — pas de ce que je sais faire. L’origine de chaque morceau est consignée ; ceux dont la licence autorise la redistribution, je les ai publiés tels quels, avec registres d’attribution et mentions de licence.

Vous pouvez télécharger 5 des 8 jeux directement ici. Pour les autres, j’ai indiqué l’adresse d’origine ; je n’en ai retiré aucun en silence.

web-metin YENİDEN DAĞITILAMAZ Turc

CC-100 Türkçe (web metni)

CC-100 (CommonCrawl türevi; araştırma kullanımı)

%16.6
part du flux
cible 33 % · réel 16.6 % · sous l’objectif
1885.4M tokens · 32 fichiers
8919 MB texte brut
source · https://data.statmt.org/cc-100/tr.txt.xz ↗
Non téléchargeable ici. Lisans yeniden dağıtıma izin vermiyor. Lisans yalnız 'araştırma kullanımı' diyor, yeniden dağıtımı açıkça vermiyor — bu belirsizlik yüzünden büyütme HPLT (CC0) üzerinden yapıldı.
Télécharger depuis la source d’origine ↗
web-metin SERBEST Turc

HPLT v2 Türkçe (web metni)

CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)

%70.2
part du flux
cible 45 % · réel 70.2 %
7983.8M tokens
source · HPLT v2 cleaned tur_Latn · registre d’origine seulement dans le dépôt source (1)
Non téléchargeable ici. Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.
Télécharger depuis la source d’origine ↗
ansiklopedi ATIF ŞARTIYLA Turc

Türkçe Vikipedi

CC BY-SA 4.0

%2.4
part du flux
cible 5 % · réel 2.4 % · sous l’objectif
272.1M tokens · 2 fichiers
116 MB texte brut · 41.0 MB archive
source · tr.wikipedia.org resmi MediaWiki API · registre d’origine · tr_v3 ↗ · tr_v4 ↗
sha256 53f0e9e80b05f2f4…
Télécharger · 41.0 MB
kitap-alıntı ATIF ŞARTIYLA Turc

Vikikaynak · Vikikitap · Vikisöz · Vikihaber

CC BY-SA 4.0

%0.0
part du flux
cible 1 % · réel 0.0 % · sous l’objectif
2.9M tokens · 4 fichiers
11 MB texte brut · 3.8 MB archive
source · tr.wikisource / wikibooks / wikiquote · registre d’origine · tr_wikibooks ↗ · tr_wikinews ↗ · tr_wikiquote ↗ · tr_wikisource ↗
sha256 00bb4e9db674d47e…
Télécharger · 3.8 MB
konuşma-dili ATIF ŞARTIYLA langue non précisée

YouTube CC altyazıları (konuşma dili)

CC BY (yalnız CC lisanslı videolar)

%0.0
part du flux
cible 1 % · réel 0.0 % · sous l’objectif
1.6M tokens · 1 fichiers
6 MB texte brut · 2.3 MB archive
source · YouTube CC altyazıları · registre d’origine · youtube_cc ↗
sha256 f64f7f335b6ead30…
Télécharger · 2.3 MB
kod LİSANS NOTUYLA code

Açık kaynak Python kodu

MIT/BSD/Apache (yalnız izin veren lisanslı depolar)

%4.2
part du flux
cible 9 % · réel 4.2 % · sous l’objectif
477.2M tokens · 1 fichiers
983 MB texte brut · 261.7 MB archive
source · registre d’origine · oss_py ↗
sha256 7f8d81b61cc99060…
Télécharger · 261.7 MB
kod LİSANS NOTUYLA code

PyPI paket kodu

Apache/MIT (paket meta-verisinden doğrulanmış)

%5.6
part du flux
cible 3 % · réel 5.6 %
632.3M tokens · 1 fichiers
1333 MB texte brut · 259.4 MB archive
source · registre d’origine · pypi_py ↗
sha256 067dba41fc249e93…
Télécharger · 259.4 MB
kod LİSANS NOTUYLA code

kod_debian_py

Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)

%1.1
part du flux
cible 3 % · réel 1.1 % · sous l’objectif
123.2M tokens · 1 fichiers
257 MB texte brut
source · registre d’origine seulement dans le dépôt source
Non téléchargeable ici. Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.
Télécharger depuis la source d’origine ↗ cette adresse est la distribution générale ; ce n’est peut-être pas la version exacte utilisée
PAQUETS D’ENTRAÎNEMENT

Des modèles partagés avec leur mesure.

Chaque paquet contient non seulement les poids, mais aussi l’examen figé sur lequel il a été mesuré et le résultat. Qui ne regarde que les poids ne peut savoir à quoi ils servent ; sans la mesure et l’examen, ce qui est partagé n’est pas un savoir mais une prétention.

DUYMA PAS ENCORE UTILISABLE Turc

Türkçe konuşma çözme — bağlam-pencereli MLP

69 saat / 1.543 konuşmacıyla eğitildi. Aynı sınavda transformer'ın gerisinde kaldı — mimarinin veriden daha belirleyici olduğunun kanıtı.

taux d’erreur de mots 0.9987
taux d’erreur de caractères 0.4918
plus bas est mieux · 150 échantillons
examen · data/asr_sinav_cv.json
tools/eval_asr.py · 2026-08-23
sha256 d9b253400b6b34c2…
Télécharger · 3.5 MB

Les deux paquets ont de mauvais scores, et c’est précisément pourquoi ils sont publiés : la norme à diffuser n’est pas « partagez de bons modèles » mais « partagez votre mesure avec votre défaut ».

REGISTRE DES DÉFAUTS

Mon corpus a 10 défauts et ils sont tous ici.

Cette liste est la sortie de l’outil de mesure ; elle n’a été ni écrite à la main ni filtrée. Chaque source en deçà de son objectif figure ici comme un manque, au lieu d’être discrètement comblée par une autre.

Une page qui omet cela paraît meilleure que celle qui l’inclut. Mais elle ne serait pas vraie.

  • cc100_tr: hedef %33, gerçek %16.6 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • wikipedia_tr: hedef %5, gerçek %2.4 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • wikikaynak_tr: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • altyazi_cc: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • kod_oss_py: hedef %9, gerçek %4.2 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • kod_debian_py: hedef %3, gerçek %1.1 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • Ansiklopedi hedefi bu kaynaktan ULAŞILAMAZ: Türkçe Vikipedi'nin tamamı 272M token. Daha fazlası ancak başka bir ansiklopedik kaynaktan gelebilir.
  • 2026-08-05: derlem deseni başlık listelerini de yakaladı, akışa 259.914 düzyazı-olmayan token sızdı (20 binde 1). Ölçülebilir etkisi yok; desen düzeltildi, 10,5 milyar token bunun için yeniden kodlanmadı — takas açıkça yapıldı.
  • hplt_tr: lisans (CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %70.2'i bugün yeniden yayınlanamıyor.
  • kod_debian_py: lisans (Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %1.1'i bugün yeniden yayınlanamıyor.

Alors, à quoi a servi cet entraînement ?

Les scores mesurés des capacités issues de ce corpus sont sur une page distincte : 6 mesurées, 3 pas encore.

Voir le bulletin
LISIBLE PAR MACHINE
Catalogue, sommes de contrôle et registre des défauts en JSON.

La valeur affichée et celle du fichier sont identiques ; les deux proviennent d’une seule source.

api/v1/datasets.json ↗ checksums.txt ↗