{
"cells": [
{
"cell_type": "markdown",
"id": "81ff8ab3",
"metadata": {},
"source": [
"# 02 - Results, evaluation and interpretation\n",
"**Primary analysis (fixed in advance):** models tuned with `TimeSeriesSplit(5)` CV on 2015-2017, selected on 2018,\n",
"refitted on 2015-2018 and scored **once** on 2019 (`src/train.py`, `src/evaluate.py`).\n",
"**Robustness analysis:** a rolling-origin evaluation over the 2017-2019 seasons at 1-3 day horizons (`src/robustness.py`).\n",
"It was added after the primary result, to test whether that result generalises, and it changes the conclusion."
]
},
{
"cell_type": "code",
"execution_count": 1,
"id": "c2b7f406",
"metadata": {
"execution": {
"iopub.execute_input": "2026-11-15T10:57:59.208036Z",
"iopub.status.busy": "2026-11-15T10:57:59.207836Z",
"iopub.status.idle": "2026-11-15T10:57:59.400630Z",
"shell.execute_reply": "2026-11-15T10:57:59.400071Z"
}
},
"outputs": [],
"source": [
"import sys, json, warnings\n",
"from pathlib import Path\n",
"warnings.filterwarnings(\"ignore\")\n",
"sys.path.insert(0, str(Path.cwd().parent / \"src\"))\n",
"import pandas as pd, numpy as np\n",
"from IPython.display import Image, display\n",
"import config as C\n",
"pd.set_option(\"display.precision\", 2)"
]
},
{
"cell_type": "code",
"execution_count": 2,
"id": "d332e3e3",
"metadata": {
"execution": {
"iopub.execute_input": "2026-11-15T10:57:59.402069Z",
"iopub.status.busy": "2026-11-15T10:57:59.401894Z",
"iopub.status.idle": "2026-11-15T10:57:59.412356Z",
"shell.execute_reply": "2026-11-15T10:57:59.411918Z"
}
},
"outputs": [
{
"name": "stdout",
"output_type": "stream",
"text": [
"Selected on validation: RandomForest {'RandomForest': 20.601, 'HistGB': 20.665, 'Ridge': 22.971}\n"
]
},
{
"data": {
"text/html": [
"\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" alpha | \n",
" cv_mae | \n",
" max_depth | \n",
" max_features | \n",
" min_samples_leaf | \n",
" n_estimators | \n",
" l2_regularization | \n",
" learning_rate | \n",
" max_iter | \n",
"
\n",
" \n",
" \n",
" \n",
" | Ridge/no_fires | \n",
" 100.0 | \n",
" 31.50 | \n",
" NaN | \n",
" NaN | \n",
" NaN | \n",
" NaN | \n",
" NaN | \n",
" NaN | \n",
" NaN | \n",
"
\n",
" \n",
" | Ridge/with_fires | \n",
" 100.0 | \n",
" 31.15 | \n",
" NaN | \n",
" NaN | \n",
" NaN | \n",
" NaN | \n",
" NaN | \n",
" NaN | \n",
" NaN | \n",
"
\n",
" \n",
" | RandomForest/no_fires | \n",
" NaN | \n",
" 29.90 | \n",
" 10.0 | \n",
" 0.5 | \n",
" 3.0 | \n",
" 300.0 | \n",
" NaN | \n",
" NaN | \n",
" NaN | \n",
"
\n",
" \n",
" | RandomForest/with_fires | \n",
" NaN | \n",
" 30.07 | \n",
" NaN | \n",
" 0.5 | \n",
" 3.0 | \n",
" 300.0 | \n",
" NaN | \n",
" NaN | \n",
" NaN | \n",
"
\n",
" \n",
" | HistGB/no_fires | \n",
" NaN | \n",
" 30.93 | \n",
" 3.0 | \n",
" NaN | \n",
" 20.0 | \n",
" NaN | \n",
" 1.0 | \n",
" 0.03 | \n",
" 200.0 | \n",
"
\n",
" \n",
" | HistGB/with_fires | \n",
" NaN | \n",
" 30.71 | \n",
" 3.0 | \n",
" NaN | \n",
" 20.0 | \n",
" NaN | \n",
" 1.0 | \n",
" 0.03 | \n",
" 500.0 | \n",
"
\n",
" \n",
"
\n",
"
\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" model | \n",
" variant | \n",
" overall_MAE | \n",
" fire_season_MAE | \n",
"
\n",
" \n",
" \n",
" \n",
" | 0 | \n",
" Persistence | \n",
" baseline | \n",
" 23.40 | \n",
" 42.94 | \n",
"
\n",
" \n",
" | 1 | \n",
" SeasonalMean | \n",
" baseline | \n",
" 34.89 | \n",
" 65.77 | \n",
"
\n",
" \n",
" | 2 | \n",
" Ridge | \n",
" no_fires | \n",
" 23.12 | \n",
" 41.75 | \n",
"
\n",
" \n",
" | 3 | \n",
" Ridge | \n",
" with_fires | \n",
" 22.82 | \n",
" 39.91 | \n",
"
\n",
" \n",
" | 4 | \n",
" RandomForest | \n",
" no_fires | \n",
" 20.60 | \n",
" 35.49 | \n",
"
\n",
" \n",
" | 5 | \n",
" RandomForest | \n",
" with_fires | \n",
" 20.60 | \n",
" 34.39 | \n",
"
\n",
" \n",
" | 6 | \n",
" HistGB | \n",
" no_fires | \n",
" 20.67 | \n",
" 36.59 | \n",
"
\n",
" \n",
" | 7 | \n",
" HistGB | \n",
" with_fires | \n",
" 20.66 | \n",
" 37.61 | \n",
"
\n",
" \n",
"
\n",
"
\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" | \n",
" MAE | \n",
" R2 | \n",
" RMSE | \n",
"
\n",
" \n",
" | \n",
" scope | \n",
" fire_season | \n",
" overall | \n",
" fire_season | \n",
" overall | \n",
" fire_season | \n",
" overall | \n",
"
\n",
" \n",
" | model | \n",
" variant | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
" | \n",
"
\n",
" \n",
" \n",
" \n",
" | HistGB | \n",
" no_fires | \n",
" 50.99 | \n",
" 24.36 | \n",
" 0.54 | \n",
" 0.78 | \n",
" 77.90 | \n",
" 39.97 | \n",
"
\n",
" \n",
" | with_fires | \n",
" 47.30 | \n",
" 23.43 | \n",
" 0.56 | \n",
" 0.79 | \n",
" 76.31 | \n",
" 38.84 | \n",
"
\n",
" \n",
" | Persistence | \n",
" baseline | \n",
" 54.45 | \n",
" 27.95 | \n",
" 0.46 | \n",
" 0.71 | \n",
" 84.08 | \n",
" 46.38 | \n",
"
\n",
" \n",
" | RandomForest | \n",
" no_fires | \n",
" 52.97 | \n",
" 25.28 | \n",
" 0.52 | \n",
" 0.77 | \n",
" 79.38 | \n",
" 40.72 | \n",
"
\n",
" \n",
" | with_fires | \n",
" 50.57 | \n",
" 25.30 | \n",
" 0.57 | \n",
" 0.78 | \n",
" 74.85 | \n",
" 40.26 | \n",
"
\n",
" \n",
" | Ridge | \n",
" no_fires | \n",
" 56.43 | \n",
" 27.31 | \n",
" 0.38 | \n",
" 0.72 | \n",
" 90.24 | \n",
" 45.15 | \n",
"
\n",
" \n",
" | with_fires | \n",
" 57.80 | \n",
" 27.22 | \n",
" 0.38 | \n",
" 0.72 | \n",
" 90.45 | \n",
" 45.21 | \n",
"
\n",
" \n",
" | SeasonalMean | \n",
" baseline | \n",
" 97.17 | \n",
" 43.61 | \n",
" -0.07 | \n",
" 0.48 | \n",
" 118.31 | \n",
" 61.69 | \n",
"
\n",
" \n",
"
\n",
"
\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" model | \n",
" bootstrap | \n",
" MAE no fires | \n",
" MAE with fires | \n",
" gain | \n",
" gain % | \n",
" 95% CI low | \n",
" 95% CI high | \n",
" P(gain<=0) | \n",
"
\n",
" \n",
" \n",
" \n",
" | 0 | \n",
" Ridge | \n",
" iid | \n",
" 56.43 | \n",
" 57.80 | \n",
" -1.37 | \n",
" -2.43 | \n",
" -4.51 | \n",
" 1.94 | \n",
" 8.06e-01 | \n",
"
\n",
" \n",
" | 1 | \n",
" Ridge | \n",
" block7 | \n",
" 56.43 | \n",
" 57.80 | \n",
" -1.37 | \n",
" -2.43 | \n",
" -3.96 | \n",
" 0.96 | \n",
" 8.76e-01 | \n",
"
\n",
" \n",
" | 2 | \n",
" RandomForest | \n",
" iid | \n",
" 52.97 | \n",
" 50.57 | \n",
" 2.40 | \n",
" 4.53 | \n",
" -0.05 | \n",
" 5.05 | \n",
" 2.70e-02 | \n",
"
\n",
" \n",
" | 3 | \n",
" RandomForest | \n",
" block7 | \n",
" 52.97 | \n",
" 50.57 | \n",
" 2.40 | \n",
" 4.53 | \n",
" 0.55 | \n",
" 5.32 | \n",
" 4.00e-03 | \n",
"
\n",
" \n",
" | 4 | \n",
" HistGB | \n",
" iid | \n",
" 50.99 | \n",
" 47.30 | \n",
" 3.69 | \n",
" 7.25 | \n",
" 0.64 | \n",
" 6.89 | \n",
" 8.00e-03 | \n",
"
\n",
" \n",
" | 5 | \n",
" HistGB | \n",
" block7 | \n",
" 50.99 | \n",
" 47.30 | \n",
" 3.69 | \n",
" 7.25 | \n",
" -0.30 | \n",
" 8.35 | \n",
" 3.10e-02 | \n",
"
\n",
" \n",
"
\n",
"
\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" horizon | \n",
" model | \n",
" season MAE no fires | \n",
" season MAE with fires | \n",
" gain % | \n",
" iid CI low | \n",
" iid CI high | \n",
" gain % 2017 | \n",
" gain % 2018 | \n",
" gain % 2019 | \n",
" folds improved (of 3) | \n",
"
\n",
" \n",
" \n",
" \n",
" | 0 | \n",
" 1 | \n",
" Ridge | \n",
" 49.48 | \n",
" 49.13 | \n",
" 0.71 | \n",
" -1.15 | \n",
" 1.86 | \n",
" 1.14 | \n",
" 4.42 | \n",
" -2.43 | \n",
" 2 | \n",
"
\n",
" \n",
" | 1 | \n",
" 1 | \n",
" RandomForest | \n",
" 44.86 | \n",
" 45.72 | \n",
" -1.90 | \n",
" -3.03 | \n",
" 1.15 | \n",
" -12.65 | \n",
" 3.10 | \n",
" 4.17 | \n",
" 2 | \n",
"
\n",
" \n",
" | 2 | \n",
" 1 | \n",
" HistGB | \n",
" 45.54 | \n",
" 45.83 | \n",
" -0.64 | \n",
" -2.56 | \n",
" 2.00 | \n",
" -3.83 | \n",
" -2.79 | \n",
" 4.06 | \n",
" 1 | \n",
"
\n",
" \n",
" | 3 | \n",
" 2 | \n",
" Ridge | \n",
" 60.29 | \n",
" 59.89 | \n",
" 0.67 | \n",
" -1.56 | \n",
" 2.42 | \n",
" 4.81 | \n",
" -3.41 | \n",
" -0.28 | \n",
" 1 | \n",
"
\n",
" \n",
" | 4 | \n",
" 2 | \n",
" RandomForest | \n",
" 59.86 | \n",
" 59.73 | \n",
" 0.22 | \n",
" -2.22 | \n",
" 2.58 | \n",
" -2.28 | \n",
" -2.50 | \n",
" 3.86 | \n",
" 1 | \n",
"
\n",
" \n",
" | 5 | \n",
" 2 | \n",
" HistGB | \n",
" 59.75 | \n",
" 61.87 | \n",
" -3.54 | \n",
" -5.34 | \n",
" 0.87 | \n",
" -5.62 | \n",
" -18.56 | \n",
" 6.61 | \n",
" 1 | \n",
"
\n",
" \n",
" | 6 | \n",
" 3 | \n",
" Ridge | \n",
" 63.37 | \n",
" 62.07 | \n",
" 2.06 | \n",
" -1.17 | \n",
" 3.60 | \n",
" 4.64 | \n",
" -5.50 | \n",
" 3.95 | \n",
" 2 | \n",
"
\n",
" \n",
" | 7 | \n",
" 3 | \n",
" RandomForest | \n",
" 65.08 | \n",
" 64.07 | \n",
" 1.56 | \n",
" -1.78 | \n",
" 3.85 | \n",
" -2.53 | \n",
" -5.03 | \n",
" 8.12 | \n",
" 1 | \n",
"
\n",
" \n",
" | 8 | \n",
" 3 | \n",
" HistGB | \n",
" 64.91 | \n",
" 64.61 | \n",
" 0.47 | \n",
" -2.96 | \n",
" 3.31 | \n",
" 0.85 | \n",
" -8.10 | \n",
" 5.21 | \n",
" 2 | \n",
"
\n",
" \n",
"
\n",
"
\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" model | \n",
" alert | \n",
" forecast thr | \n",
" recall | \n",
" precision | \n",
" TP | \n",
" FN | \n",
" FP | \n",
"
\n",
" \n",
" \n",
" \n",
" | 0 | \n",
" RandomForest no_fires | \n",
" severe | \n",
" 250.0 | \n",
" 0.38 | \n",
" 0.72 | \n",
" 13 | \n",
" 21 | \n",
" 5 | \n",
"
\n",
" \n",
" | 1 | \n",
" RandomForest no_fires | \n",
" very_poor_or_worse | \n",
" 120.0 | \n",
" 0.86 | \n",
" 0.84 | \n",
" 92 | \n",
" 15 | \n",
" 18 | \n",
"
\n",
" \n",
" | 2 | \n",
" RandomForest no_fires | \n",
" severe_val_calibrated | \n",
" 220.0 | \n",
" 0.74 | \n",
" 0.64 | \n",
" 25 | \n",
" 9 | \n",
" 14 | \n",
"
\n",
" \n",
" | 3 | \n",
" RandomForest with_fires | \n",
" severe | \n",
" 250.0 | \n",
" 0.41 | \n",
" 0.74 | \n",
" 14 | \n",
" 20 | \n",
" 5 | \n",
"
\n",
" \n",
" | 4 | \n",
" RandomForest with_fires | \n",
" very_poor_or_worse | \n",
" 120.0 | \n",
" 0.84 | \n",
" 0.87 | \n",
" 90 | \n",
" 17 | \n",
" 13 | \n",
"
\n",
" \n",
" | 5 | \n",
" RandomForest with_fires | \n",
" severe_val_calibrated | \n",
" 225.0 | \n",
" 0.74 | \n",
" 0.66 | \n",
" 25 | \n",
" 9 | \n",
" 13 | \n",
"
\n",
" \n",
" | 6 | \n",
" Persistence | \n",
" severe | \n",
" 250.0 | \n",
" 0.65 | \n",
" 0.63 | \n",
" 22 | \n",
" 12 | \n",
" 13 | \n",
"
\n",
" \n",
" | 7 | \n",
" Persistence | \n",
" very_poor_or_worse | \n",
" 120.0 | \n",
" 0.84 | \n",
" 0.84 | \n",
" 90 | \n",
" 17 | \n",
" 17 | \n",
"
\n",
" \n",
"
\n",
"
\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" pred_Good | \n",
" pred_Satisfactory | \n",
" pred_Moderate | \n",
" pred_Poor | \n",
" pred_Very Poor | \n",
" pred_Severe | \n",
"
\n",
" \n",
" \n",
" \n",
" | actual_Good | \n",
" 9 | \n",
" 14 | \n",
" 2 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
"
\n",
" \n",
" | actual_Satisfactory | \n",
" 3 | \n",
" 57 | \n",
" 27 | \n",
" 8 | \n",
" 2 | \n",
" 0 | \n",
"
\n",
" \n",
" | actual_Moderate | \n",
" 0 | \n",
" 13 | \n",
" 43 | \n",
" 21 | \n",
" 1 | \n",
" 0 | \n",
"
\n",
" \n",
" | actual_Poor | \n",
" 0 | \n",
" 0 | \n",
" 15 | \n",
" 33 | \n",
" 10 | \n",
" 0 | \n",
"
\n",
" \n",
" | actual_Very Poor | \n",
" 0 | \n",
" 0 | \n",
" 1 | \n",
" 16 | \n",
" 51 | \n",
" 5 | \n",
"
\n",
" \n",
" | actual_Severe | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
" 0 | \n",
" 20 | \n",
" 14 | \n",
"
\n",
" \n",
"
\n",
"
\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" pm25_level | \n",
" n | \n",
" MAE | \n",
" bias | \n",
"
\n",
" \n",
" \n",
" \n",
" | 0 | \n",
" Good | \n",
" 25 | \n",
" 13.14 | \n",
" 12.81 | \n",
"
\n",
" \n",
" | 1 | \n",
" Satisfactory | \n",
" 97 | \n",
" 15.70 | \n",
" 11.53 | \n",
"
\n",
" \n",
" | 2 | \n",
" Moderate | \n",
" 78 | \n",
" 16.02 | \n",
" 5.23 | \n",
"
\n",
" \n",
" | 3 | \n",
" Poor | \n",
" 58 | \n",
" 20.46 | \n",
" 5.86 | \n",
"
\n",
" \n",
" | 4 | \n",
" Very Poor | \n",
" 73 | \n",
" 29.64 | \n",
" -4.86 | \n",
"
\n",
" \n",
" | 5 | \n",
" Severe | \n",
" 34 | \n",
" 81.80 | \n",
" -70.17 | \n",
"
\n",
" \n",
"
\n",
"
\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" nw_wind | \n",
" n | \n",
" MAE | \n",
" bias | \n",
"
\n",
" \n",
" \n",
" \n",
" | 0 | \n",
" other wind | \n",
" 178 | \n",
" 18.54 | \n",
" 3.4 | \n",
"
\n",
" \n",
" | 1 | \n",
" NW wind | \n",
" 187 | \n",
" 31.73 | \n",
" -6.2 | \n",
"
\n",
" \n",
"
\n",
"
\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" target_date | \n",
" pm25_next | \n",
" RandomForest_with_fires | \n",
" error | \n",
" pm25_t | \n",
" is_diwali_window | \n",
" precip | \n",
" wind_speed | \n",
" nw_wind | \n",
" fire_count_t | \n",
"
\n",
" \n",
" \n",
" \n",
" | 0 | \n",
" 2019-11-03 | \n",
" 582.3 | \n",
" 263.4 | \n",
" -318.9 | \n",
" 320.3 | \n",
" 0 | \n",
" 0.2 | \n",
" 18.9 | \n",
" 1 | \n",
" 8 | \n",
"
\n",
" \n",
" | 1 | \n",
" 2019-11-12 | \n",
" 384.3 | \n",
" 225.2 | \n",
" -159.1 | \n",
" 252.5 | \n",
" 0 | \n",
" 0.0 | \n",
" 13.8 | \n",
" 1 | \n",
" 189 | \n",
"
\n",
" \n",
" | 2 | \n",
" 2019-01-14 | \n",
" 94.4 | \n",
" 247.9 | \n",
" 153.4 | \n",
" 272.4 | \n",
" 0 | \n",
" 0.0 | \n",
" 13.2 | \n",
" 1 | \n",
" 8 | \n",
"
\n",
" \n",
" | 3 | \n",
" 2019-11-16 | \n",
" 174.0 | \n",
" 321.0 | \n",
" 147.0 | \n",
" 423.5 | \n",
" 0 | \n",
" 0.0 | \n",
" 12.1 | \n",
" 1 | \n",
" 28 | \n",
"
\n",
" \n",
" | 4 | \n",
" 2019-11-04 | \n",
" 272.3 | \n",
" 419.2 | \n",
" 146.9 | \n",
" 582.3 | \n",
" 0 | \n",
" 0.0 | \n",
" 13.1 | \n",
" 1 | \n",
" 26 | \n",
"
\n",
" \n",
" | 5 | \n",
" 2019-12-19 | \n",
" 261.2 | \n",
" 134.9 | \n",
" -126.3 | \n",
" 144.0 | \n",
" 0 | \n",
" 0.0 | \n",
" 14.0 | \n",
" 1 | \n",
" 0 | \n",
"
\n",
" \n",
" | 6 | \n",
" 2019-01-17 | \n",
" 358.9 | \n",
" 236.8 | \n",
" -122.1 | \n",
" 272.0 | \n",
" 0 | \n",
" 0.0 | \n",
" 9.4 | \n",
" 0 | \n",
" 0 | \n",
"
\n",
" \n",
" | 7 | \n",
" 2019-12-05 | \n",
" 272.0 | \n",
" 156.5 | \n",
" -115.5 | \n",
" 163.2 | \n",
" 0 | \n",
" 0.0 | \n",
" 9.3 | \n",
" 1 | \n",
" 35 | \n",
"
\n",
" \n",
" | 8 | \n",
" 2019-01-16 | \n",
" 272.0 | \n",
" 161.2 | \n",
" -110.7 | \n",
" 134.6 | \n",
" 0 | \n",
" 0.0 | \n",
" 17.1 | \n",
" 1 | \n",
" 1 | \n",
"
\n",
" \n",
" | 9 | \n",
" 2019-11-01 | \n",
" 388.4 | \n",
" 280.0 | \n",
" -108.4 | \n",
" 314.3 | \n",
" 0 | \n",
" 0.0 | \n",
" 12.7 | \n",
" 1 | \n",
" 731 | \n",
"
\n",
" \n",
"
\n",
"
\n",
"\n",
"
\n",
" \n",
" \n",
" | \n",
" model | \n",
" variant | \n",
" MAE | \n",
" R2 | \n",
"
\n",
" \n",
" \n",
" \n",
" | 0 | \n",
" Persistence | \n",
" baseline | \n",
" 19.75 | \n",
" 0.72 | \n",
"
\n",
" \n",
" | 1 | \n",
" SeasonalMean | \n",
" baseline | \n",
" 47.47 | \n",
" -0.01 | \n",
"
\n",
" \n",
" | 2 | \n",
" Ridge | \n",
" no_fires | \n",
" 21.72 | \n",
" 0.74 | \n",
"
\n",
" \n",
" | 3 | \n",
" Ridge | \n",
" with_fires | \n",
" 21.38 | \n",
" 0.75 | \n",
"
\n",
" \n",
" | 4 | \n",
" RandomForest | \n",
" no_fires | \n",
" 17.34 | \n",
" 0.80 | \n",
"
\n",
" \n",
" | 5 | \n",
" RandomForest | \n",
" with_fires | \n",
" 17.25 | \n",
" 0.80 | \n",
"
\n",
" \n",
" | 6 | \n",
" HistGB | \n",
" no_fires | \n",
" 17.09 | \n",
" 0.80 | \n",
"
\n",
" \n",
" | 7 | \n",
" HistGB | \n",
" with_fires | \n",
" 17.05 | \n",
" 0.80 | \n",
"
\n",
" \n",
"
\n",
"