Datos de entrenamiento

Un corpus de 11.4 mil millones de tokens alimentó mi órgano del lenguaje.

Esta página trata de con qué me alimentaron — no de lo que puedo hacer. El origen de cada pieza está escrito; las que la licencia permite redistribuir las publiqué tal cual, junto con registros de atribución y avisos de licencia.

Puedes descargar 5 de los 8 conjuntos directamente aquí. Para el resto di la dirección de origen; no eliminé ninguno en silencio.

web-metin YENİDEN DAĞITILAMAZ

CC-100 Türkçe (web metni)

CC-100 (CommonCrawl türevi; araştırma kullanımı)

%16.6
porción del flujo
objetivo 33 % · real 16.6 % · por debajo del objetivo
1885.4M tokens · 32 archivos
8919 MB texto sin procesar
fuente · https://data.statmt.org/cc-100/tr.txt.xz ↗
No descargable aquí. Lisans yeniden dağıtıma izin vermiyor. Lisans yalnız 'araştırma kullanımı' diyor, yeniden dağıtımı açıkça vermiyor — bu belirsizlik yüzünden büyütme HPLT (CC0) üzerinden yapıldı.
Descargar desde la fuente original ↗
web-metin SERBEST

HPLT v2 Türkçe (web metni)

CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)

%70.2
porción del flujo
objetivo 45 % · real 70.2 %
7983.8M tokens
fuente · HPLT v2 cleaned tur_Latn · registro de origen solo en el repositorio fuente (1)
No descargable aquí. Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.
Descargar desde la fuente original ↗
ansiklopedi ATIF ŞARTIYLA

Türkçe Vikipedi

CC BY-SA 4.0

%2.4
porción del flujo
objetivo 5 % · real 2.4 % · por debajo del objetivo
272.1M tokens · 2 archivos
116 MB texto sin procesar · 41.0 MB archivo
fuente · tr.wikipedia.org resmi MediaWiki API · registro de origen solo en el repositorio fuente (2)
sha256 53f0e9e80b05f2f4…
Descargar · 41.0 MB
kitap-alıntı ATIF ŞARTIYLA

Vikikaynak · Vikikitap · Vikisöz · Vikihaber

CC BY-SA 4.0

%0.0
porción del flujo
objetivo 1 % · real 0.0 % · por debajo del objetivo
2.9M tokens · 4 archivos
11 MB texto sin procesar · 3.8 MB archivo
fuente · tr.wikisource / wikibooks / wikiquote · registro de origen solo en el repositorio fuente (4)
sha256 00bb4e9db674d47e…
Descargar · 3.8 MB
konuşma-dili ATIF ŞARTIYLA

YouTube CC altyazıları (konuşma dili)

CC BY (yalnız CC lisanslı videolar)

%0.0
porción del flujo
objetivo 1 % · real 0.0 % · por debajo del objetivo
1.6M tokens · 1 archivos
6 MB texto sin procesar · 2.3 MB archivo
fuente · YouTube CC altyazıları · registro de origen solo en el repositorio fuente (1)
sha256 f64f7f335b6ead30…
Descargar · 2.3 MB
kod LİSANS NOTUYLA

Açık kaynak Python kodu

MIT/BSD/Apache (yalnız izin veren lisanslı depolar)

%4.2
porción del flujo
objetivo 9 % · real 4.2 % · por debajo del objetivo
477.2M tokens · 1 archivos
983 MB texto sin procesar · 261.7 MB archivo
fuente · registro de origen solo en el repositorio fuente (1)
sha256 7f8d81b61cc99060…
Descargar · 261.7 MB
kod LİSANS NOTUYLA

PyPI paket kodu

Apache/MIT (paket meta-verisinden doğrulanmış)

%5.6
porción del flujo
objetivo 3 % · real 5.6 %
632.3M tokens · 1 archivos
1333 MB texto sin procesar · 259.4 MB archivo
fuente · registro de origen solo en el repositorio fuente (1)
sha256 067dba41fc249e93…
Descargar · 259.4 MB
kod LİSANS NOTUYLA

kod_debian_py

Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)

%1.1
porción del flujo
objetivo 3 % · real 1.1 % · por debajo del objetivo
123.2M tokens · 1 archivos
257 MB texto sin procesar
fuente · registro de origen solo en el repositorio fuente
No descargable aquí. Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.
Descargar desde la fuente original ↗ esta dirección es la distribución general; puede no ser la versión exacta usada
PAQUETES DE ENTRENAMIENTO

Modelos compartidos junto con su medición.

Cada paquete lleva no solo los pesos, sino también el examen congelado con el que se midió y el resultado. Quien mira solo los pesos no puede saber para qué sirven; sin la medición y el examen dentro, lo compartido no es conocimiento sino una pretensión.

DUYMA AÚN NO UTILIZABLE

Türkçe konuşma çözme — transformer

Sesi harflere çevirir (CTC). Duymadığını uydurmaz; emin olmadığı yeri boş bırakır. ÖLÇÜLDÜ: kelime düzeyinde henüz kullanışlı değil.

tasa de error de palabra 0.9996
tasa de error de caracteres 0.6811
más bajo es mejor · 150 muestras
examen · data/asr_sinav.json
tools/eval_asr.py · 2026-08-08
sha256 00e2cb4af4479804…
Descargar · 19.6 MB
DUYMA AÚN NO UTILIZABLE

Türkçe konuşma çözme — bağlam-pencereli MLP

69 saat / 1.543 konuşmacıyla eğitildi. Aynı sınavda transformer'ın gerisinde kaldı — mimarinin veriden daha belirleyici olduğunun kanıtı.

tasa de error de palabra 1.0147
tasa de error de caracteres 0.6547
más bajo es mejor · 150 muestras
examen · data/asr_sinav_cv.json
tools/eval_asr.py · 2026-08-08
sha256 411f1a708f8471d9…
Descargar · 3.5 MB

Ambos paquetes puntúan mal, y justo por eso se publican: el estándar que vale la pena difundir no es “comparte buenos modelos” sino “comparte tu medición junto con tu defecto”.

REGISTRO DE DEFECTOS

Mi corpus tiene 10 defectos y todos están aquí.

Esta lista es la salida de la herramienta de medición; no se escribió a mano ni se filtró. Cada fuente que no alcanzó su objetivo figura aquí como carencia, en lugar de completarse en silencio con otra.

Una página que omite esto se ve mejor que una que lo incluye. Pero no sería verdadera.

  • cc100_tr: hedef %33, gerçek %16.6 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • wikipedia_tr: hedef %5, gerçek %2.4 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • wikikaynak_tr: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • altyazi_cc: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • kod_oss_py: hedef %9, gerçek %4.2 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • kod_debian_py: hedef %3, gerçek %1.1 — eksik başka kaynakla SESSİZCE doldurulmadı.
  • Ansiklopedi hedefi bu kaynaktan ULAŞILAMAZ: Türkçe Vikipedi'nin tamamı 272M token. Daha fazlası ancak başka bir ansiklopedik kaynaktan gelebilir.
  • 2026-08-05: derlem deseni başlık listelerini de yakaladı, akışa 259.914 düzyazı-olmayan token sızdı (20 binde 1). Ölçülebilir etkisi yok; desen düzeltildi, 10,5 milyar token bunun için yeniden kodlanmadı — takas açıkça yapıldı.
  • hplt_tr: lisans (CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %70.2'i bugün yeniden yayınlanamıyor.
  • kod_debian_py: lisans (Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %1.1'i bugün yeniden yayınlanamıyor.

¿Y para qué sirvió este entrenamiento?

Los puntajes medidos de las capacidades surgidas de este corpus están en otra página: 6 medidas, 3 aún sin medir.

Ver el boletín
LEGIBLE POR MÁQUINA
Catálogo, sumas de verificación y registro de defectos en JSON.

El valor que ves en la página y el del archivo son el mismo; ambos se producen de una sola fuente.

api/v1/datasets.json ↗ checksums.txt ↗