{
  "schemaVersion": 1,
  "updated": "2026-08-08",
  "source": "https://aleth-project.com/api/v1/datasets.json",
  "note": "Sayılar manifestten ölçülür, elle yazılmaz. Bir setin yayınlanabilmesi üç şartın birlikte sağlanmasıdır: lisans yeniden dağıtıma izin verecek, metin hâlâ diskte olacak, kökeni yazılı olacak.",
  "stream": {
    "shards": 185,
    "trainTokens": 11378457256,
    "valTokens": 68862383,
    "vocabSize": 26605,
    "totalTokens": 11378457256
  },
  "datasets": [
    {
      "id": "cc100_tr",
      "title": "CC-100 Türkçe (web metni)",
      "kind": "web-metin",
      "licence": "CC-100 (CommonCrawl türevi; araştırma kullanımı)",
      "origin": "https://data.statmt.org/cc-100/tr.txt.xz",
      "provenance": [],
      "tokens": 1885410417,
      "share": 0.1657,
      "targetShare": 0.33,
      "belowTarget": true,
      "redistribution": "forbidden",
      "redistributionNote": "Lisans yalnız 'araştırma kullanımı' diyor, yeniden dağıtımı açıkça vermiyor — bu belirsizlik yüzünden büyütme HPLT (CC0) üzerinden yapıldı.",
      "published": false,
      "download": null,
      "notPublishedReason": "Lisans yeniden dağıtıma izin vermiyor. Lisans yalnız 'araştırma kullanımı' diyor, yeniden dağıtımı açıkça vermiyor — bu belirsizlik yüzünden büyütme HPLT (CC0) üzerinden yapıldı.",
      "externalSource": "https://data.statmt.org/cc-100/tr.txt.xz"
    },
    {
      "id": "hplt_tr",
      "title": "HPLT v2 Türkçe (web metni)",
      "kind": "web-metin",
      "licence": "CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)",
      "origin": "HPLT v2 cleaned tur_Latn",
      "provenance": [],
      "tokens": 7983809603,
      "share": 0.7017,
      "targetShare": 0.45,
      "belowTarget": false,
      "redistribution": "free",
      "redistributionNote": "Kamuya bırakılmış — olduğu gibi yeniden yayınlanabilir.",
      "published": false,
      "download": null,
      "notPublishedReason": "Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.",
      "externalSource": "https://data.hplt-project.org/two/cleaned/tur_Latn_map.txt"
    },
    {
      "id": "wikipedia_tr",
      "title": "Türkçe Vikipedi",
      "kind": "ansiklopedi",
      "licence": "CC BY-SA 4.0",
      "origin": "tr.wikipedia.org resmi MediaWiki API",
      "provenance": [],
      "tokens": 272066161,
      "share": 0.0239,
      "targetShare": 0.05,
      "belowTarget": true,
      "redistribution": "attribution",
      "redistributionNote": "Atıf + aynı lisansla paylaşım şartıyla yeniden yayınlanabilir.",
      "published": true,
      "download": {
        "url": "https://dysf6trqqo932.cloudfront.net/data/wikipedia_tr-20260806.tar.gz",
        "bytes": 43009978,
        "sha256": "53f0e9e80b05f2f4702c19c1d7f8f19bfacb93c064ccc2fa2814084bab832f5c",
        "current": true
      },
      "notPublishedReason": null,
      "externalSource": null
    },
    {
      "id": "wikikaynak_tr",
      "title": "Vikikaynak · Vikikitap · Vikisöz · Vikihaber",
      "kind": "kitap-alıntı",
      "licence": "CC BY-SA 4.0",
      "origin": "tr.wikisource / wikibooks / wikiquote",
      "provenance": [],
      "tokens": 2866167,
      "share": 0.0003,
      "targetShare": 0.01,
      "belowTarget": true,
      "redistribution": "attribution",
      "redistributionNote": "Atıf + aynı lisansla paylaşım şartıyla yeniden yayınlanabilir.",
      "published": true,
      "download": {
        "url": "https://dysf6trqqo932.cloudfront.net/data/wikikaynak_tr-20260806.tar.gz",
        "bytes": 4007092,
        "sha256": "00bb4e9db674d47e578605ce88d54790738489004a2749f26726fd837e9fd9b2",
        "current": true
      },
      "notPublishedReason": null,
      "externalSource": null
    },
    {
      "id": "altyazi_cc",
      "title": "YouTube CC altyazıları (konuşma dili)",
      "kind": "konuşma-dili",
      "licence": "CC BY (yalnız CC lisanslı videolar)",
      "origin": "YouTube CC altyazıları",
      "provenance": [],
      "tokens": 1569551,
      "share": 0.0001,
      "targetShare": 0.01,
      "belowTarget": true,
      "redistribution": "attribution",
      "redistributionNote": "Atıf şartıyla yeniden yayınlanabilir.",
      "published": true,
      "download": {
        "url": "https://dysf6trqqo932.cloudfront.net/data/altyazi_cc-20260806.tar.gz",
        "bytes": 2374892,
        "sha256": "f64f7f335b6ead3078046ad004ee0c745b0ebe770d64420906b5a0dc2de003f2",
        "current": true
      },
      "notPublishedReason": null,
      "externalSource": null
    },
    {
      "id": "kod_oss_py",
      "title": "Açık kaynak Python kodu",
      "kind": "kod",
      "licence": "MIT/BSD/Apache (yalnız izin veren lisanslı depolar)",
      "origin": "",
      "provenance": [],
      "tokens": 477173764,
      "share": 0.0419,
      "targetShare": 0.09,
      "belowTarget": true,
      "redistribution": "notice-required",
      "redistributionNote": "Depo/dosya lisans notları birlikte taşınırsa yeniden yayınlanabilir.",
      "published": true,
      "download": {
        "url": "https://dysf6trqqo932.cloudfront.net/data/kod_oss_py-20260806.tar.gz",
        "bytes": 274438399,
        "sha256": "7f8d81b61cc99060bf4542926cd645717a5acabca1e3c9ab52847044920fe120",
        "current": true
      },
      "notPublishedReason": null,
      "externalSource": null
    },
    {
      "id": "kod_pypi_py",
      "title": "PyPI paket kodu",
      "kind": "kod",
      "licence": "Apache/MIT (paket meta-verisinden doğrulanmış)",
      "origin": "",
      "provenance": [],
      "tokens": 632329620,
      "share": 0.0556,
      "targetShare": 0.03,
      "belowTarget": false,
      "redistribution": "notice-required",
      "redistributionNote": "Depo/dosya lisans notları birlikte taşınırsa yeniden yayınlanabilir.",
      "published": true,
      "download": {
        "url": "https://dysf6trqqo932.cloudfront.net/data/kod_pypi_py-20260806.tar.gz",
        "bytes": 271974322,
        "sha256": "067dba41fc249e934d46e3b4b02fdf30acaf56492fbb900f8f7dcd48532a32e0",
        "current": true
      },
      "notPublishedReason": null,
      "externalSource": null
    },
    {
      "id": "kod_debian_py",
      "title": "kod_debian_py",
      "kind": "kod",
      "licence": "Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)",
      "origin": "",
      "provenance": [],
      "tokens": 123231973,
      "share": 0.0108,
      "targetShare": 0.03,
      "belowTarget": true,
      "redistribution": "notice-required",
      "redistributionNote": "Depo/dosya lisans notları birlikte taşınırsa yeniden yayınlanabilir.",
      "published": false,
      "download": null,
      "notPublishedReason": "Lisans yeniden dağıtıma izin veriyor, ancak kaynak metin artık diskte değil: kodlandıktan sonra silindi. Bu yüzden bugün yeniden yayınlanamıyor.",
      "externalSource": "https://sources.debian.org/"
    }
  ],
  "defects": [
    "cc100_tr: hedef %33, gerçek %16.6 — eksik başka kaynakla SESSİZCE doldurulmadı.",
    "wikipedia_tr: hedef %5, gerçek %2.4 — eksik başka kaynakla SESSİZCE doldurulmadı.",
    "wikikaynak_tr: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.",
    "altyazi_cc: hedef %1, gerçek %0.0 — eksik başka kaynakla SESSİZCE doldurulmadı.",
    "kod_oss_py: hedef %9, gerçek %4.2 — eksik başka kaynakla SESSİZCE doldurulmadı.",
    "kod_debian_py: hedef %3, gerçek %1.1 — eksik başka kaynakla SESSİZCE doldurulmadı.",
    "Ansiklopedi hedefi bu kaynaktan ULAŞILAMAZ: Türkçe Vikipedi'nin tamamı 272M token. Daha fazlası ancak başka bir ansiklopedik kaynaktan gelebilir.",
    "2026-08-05: derlem deseni başlık listelerini de yakaladı, akışa 259.914 düzyazı-olmayan token sızdı (20 binde 1). Ölçülebilir etkisi yok; desen düzeltildi, 10,5 milyar token bunun için yeniden kodlanmadı — takas açıkça yapıldı.",
    "hplt_tr: lisans (CC0 1.0 (kaynak sayfaların kendi hakları sahiplerinde)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %70.2'i bugün yeniden yayınlanamıyor.",
    "kod_debian_py: lisans (Expat/BSD/Apache (debian/copyright DEP-5 BEYANI — tahmin değil)) yeniden dağıtıma izin veriyor AMA metin artık diskte yok — kodlandıktan sonra silindi. Akışın %1.1'i bugün yeniden yayınlanamıyor."
  ]
}