Search is not available for this dataset
total_docs int64 | total_tokens int64 | avg_edu_score float64 | high_edu_rate float64 | num_dumps int64 |
|---|---|---|---|---|
49,526,501 | 360,705,622,033 | 1.996641 | 0.144808 | 106 |
Is the Web Getting More Educational?
Temporal analysis of educational quality in all languages across 106 CommonCrawl dumps.
Trend
High Educational Content (edu >= 3)
###############################################################
██████████████████████████████████ 10.8% 2013
██████████████████████████████████ 10.7% 2014
█████████████████████████████████ 10.4% 2015
████████████████████████████████████ 11.3% 2016
██████████████████████████████████████████████ 14.2% 2017
█████████████████████████████████████████████ 14.0% 2018
███████████████████████████████████████████ 13.6% 2019
███████████████████████████████████████████ 13.6% 2020
██████████████████████████████████████████████████ 15.5% 2021
██████████████████████████████████████████████ 14.5% 2022
█████████████████████████████████████████████ 14.2% 2023
██████████████████████████████████████████████ 14.4% 2024
███████████████████████████████████████████████ 14.8% 2025
Average Educational Score
##############################################################
███████████████████████████████████████████████ 1.94 2013
███████████████████████████████████████████████ 1.94 2014
███████████████████████████████████████████████ 1.93 2015
████████████████████████████████████████████████ 1.94 2016
█████████████████████████████████████████████████ 2.01 2017
█████████████████████████████████████████████████ 1.99 2018
████████████████████████████████████████████████ 1.97 2019
████████████████████████████████████████████████ 1.97 2020
██████████████████████████████████████████████████ 2.02 2021
█████████████████████████████████████████████████ 1.99 2022
█████████████████████████████████████████████████ 1.98 2023
█████████████████████████████████████████████████ 1.99 2024
█████████████████████████████████████████████████ 2.00 2025
Key Finding
| Year | Avg Edu Score | High Edu Rate |
|---|---|---|
| 2013 | 1.94 | 10.8% |
| 2025 | 2.00 | 14.8% |
Performance
- 49,526,501 documents processed in 793 seconds
- 62,483 docs/sec using Polars streaming
- Single scan, no full dataset download required
Summary
| Metric | Value |
|---|---|
| Scope | all languages |
| Total Documents | 49,526,501 |
| Total Tokens | 360,705,622,033 |
| Avg Edu Score | 1.997 |
| High Edu Rate | 14.5% |
| CommonCrawl Dumps | 106 |
Files
global_stats- Overall summarytemporal_stats- Per-dump breakdown (sorted chronologically)
Reproduce
uv run https://huggingface.co/datasets/uv-scripts/dataset-stats/raw/main/finepdfs-stats.py \
--all-languages --output-repo your-username/stats
Source
- Dataset: HuggingFaceFW/finepdfs-edu
- Script: uv-scripts/dataset-stats
- Downloads last month
- 14