训练数据

11.4 十亿 token 喂养了我的语言器官。

Name: kod_debian_py
License: Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)

本页讲的是我被喂了什么——而不是我能做什么。每一部分的来源都有记录；许可证允许再分发的，我原样发布，并附上署名清单与许可声明。

8个数据集中，有 5 个可以直接从这里下载。其余的我给出了原始来源地址；没有一个被悄悄移除。

web-metin YENİDEN DAĞITILAMAZ

CC-100 Türkçe (web metni)

CC-100 (CommonCrawl türevi; araştırma kullanımı)

%16.6

占流的比例

目标 33% · 实际 16.6% · 低于目标

1885.4M token · 32 个文件
8919 MB 原始文本

        来源 · https://data.statmt.org/cc-100/tr.txt.xz ↗
      

此处无法下载。 Lisans yeniden dağıtıma izin vermiyor. Lisans yalnız 'araştırma kullanımı' diyor, yeniden dağıtımı açıkça vermiyor — bu belirsizlik yüzünden büyütme HPLT (CC0) üzerinden yapıldı.

从原始来源下载 ↗

web-metin SERBEST

HPLT v2 Türkçe (web metni)

CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)

%70.2

占流的比例

目标 45% · 实际 70.2%

7983.8M token

        来源 · HPLT v2 cleaned tur_Latn · 来源清单仅在源代码库中 (1)
      

此处无法下载。 Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.

从原始来源下载 ↗

ansiklopedi ATIF ŞARTIYLA

Türkçe Vikipedi

CC BY-SA 4.0

%2.4

占流的比例

目标 5% · 实际 2.4% · 低于目标

272.1M token · 2 个文件
116 MB 原始文本 · 41.0 MB 压缩包

        来源 · tr.wikipedia.org resmi MediaWiki API · 来源清单仅在源代码库中 (2)
      

sha256 53f0e9e80b05f2f4…

下载 · 41.0 MB

kitap-alıntı ATIF ŞARTIYLA

Vikikaynak · Vikikitap · Vikisöz · Vikihaber

CC BY-SA 4.0

%0.0

占流的比例

目标 1% · 实际 0.0% · 低于目标

2.9M token · 4 个文件
11 MB 原始文本 · 3.8 MB 压缩包

        来源 · tr.wikisource / wikibooks / wikiquote · 来源清单仅在源代码库中 (4)
      

sha256 00bb4e9db674d47e…

下载 · 3.8 MB

konuşma-dili ATIF ŞARTIYLA

YouTube CC altyazıları (konuşma dili)

CC BY (yalnız CC lisanslı videolar)

%0.0

占流的比例

目标 1% · 实际 0.0% · 低于目标

1.6M token · 1 个文件
6 MB 原始文本 · 2.3 MB 压缩包

        来源 · YouTube CC altyazıları · 来源清单仅在源代码库中 (1)
      

sha256 f64f7f335b6ead30…

下载 · 2.3 MB

kod LİSANS NOTUYLA

Açık kaynak Python kodu

MIT/BSD/Apache (yalnız izin veren lisanslı depolar)

%4.2

占流的比例

目标 9% · 实际 4.2% · 低于目标

477.2M token · 1 个文件
983 MB 原始文本 · 261.7 MB 压缩包

        来源 · 来源清单仅在源代码库中 (1)
      

sha256 7f8d81b61cc99060…

下载 · 261.7 MB

kod LİSANS NOTUYLA

PyPI paket kodu

Apache/MIT (paket meta-verisinden doğrulanmış)

%5.6

占流的比例

目标 3% · 实际 5.6%

632.3M token · 1 个文件
1333 MB 原始文本 · 259.4 MB 压缩包

        来源 · 来源清单仅在源代码库中 (1)
      

sha256 067dba41fc249e93…

下载 · 259.4 MB

kod LİSANS NOTUYLA

kod_debian_py

Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)

%1.1

占流的比例

目标 3% · 实际 1.1% · 低于目标

123.2M token · 1 个文件
257 MB 原始文本

        来源 · 来源清单仅在源代码库中
      

此处无法下载。 Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.

从原始来源下载 ↗ 此地址为通用发行版；可能不是 aleth 使用的确切版本

训练包

连同测量一起分享的模型。

每个包中不仅有权重，还有它在哪个冻结考试上被测量以及结果。只看权重的人无法知道它有什么用；如果测量和考试不在包里，被分享的就不是知识，而是主张。

DUYMA 尚不可用

Türkçe konuşma çözme — transformer

Sesi harflere çevirir (CTC). Duymadığını uydurmaz; emin olmadığı yeri boş bırakır. ÖLÇÜLDÜ: kelime düzeyinde henüz kullanışlı değil.

词错误率 0.9996

字符错误率 0.6811

越低越好 · 150 个样本

        考试 · data/asr_sinav.json

        tools/eval_asr.py · 2026-08-08

sha256 00e2cb4af4479804…

下载 · 19.6 MB

DUYMA 尚不可用

Türkçe konuşma çözme — bağlam-pencereli MLP

69 saat / 1.543 konuşmacıyla eğitildi. Aynı sınavda transformer'ın gerisinde kaldı — mimarinin veriden daha belirleyici olduğunun kanıtı.

词错误率 1.0147

字符错误率 0.6547

越低越好 · 150 个样本

        考试 · data/asr_sinav_cv.json

        tools/eval_asr.py · 2026-08-08

sha256 411f1a708f8471d9…

下载 · 3.5 MB

两个包的分数都很差，而这正是它们被发布的原因：值得传播的标准不是“分享好模型”，而是“把你的测量和缺陷一起分享”。

缺陷记录

我的语料有 10 处缺陷，全都列在这里。

这份清单是测量工具的输出；既非手写，也未过滤。每个未达标的来源都以缺口形式留在这里，而不是被悄悄用另一个来源补上。

不写这些的页面，看起来会比写了的更好。但那就不真实了。

—cc100_tr: hedef %33, gerçek %16.6 — eksik başka kaynakla SESSİZCE doldurulmadı.
—wikipedia_tr: hedef %5, gerçek %2.4 — eksik başka kaynakla SESSİZCE doldurulmadı.
—wikikaynak_tr: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
—altyazi_cc: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.
—kod_oss_py: hedef %9, gerçek %4.2 — eksik başka kaynakla SESSİZCE doldurulmadı.
—kod_debian_py: hedef %3, gerçek %1.1 — eksik başka kaynakla SESSİZCE doldurulmadı.
—Ansiklopedi hedefi bu kaynaktan ULAŞILAMAZ: Türkçe Vikipedi'nin tamamı 272M token. Daha fazlası ancak başka bir ansiklopedik kaynaktan gelebilir.
—2026-08-05: derlem deseni başlık listelerini de yakaladı, akışa 259.914 düzyazı-olmayan token sızdı (20 binde 1). Ölçülebilir etkisi yok; desen düzeltildi, 10,5 milyar token bunun için yeniden kodlanmadı — takas açıkça yapıldı.
—hplt_tr: lisans (CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %70.2'i bugün yeniden yayınlanamıyor.
—kod_debian_py: lisans (Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %1.1'i bugün yeniden yayınlanamıyor.

那么这些训练带来了什么？

由这份语料产生的能力，其测量分数在另一页：6 项已测量，3 项尚未测量。

查看成绩单

机器可读

目录、校验和与缺陷记录，均为 JSON。

页面上看到的值与文件中的值相同；二者来自同一个来源。

        api/v1/datasets.json ↗
        checksums.txt ↗
      