Si te gusta Skforecast , ayúdanos dándonos una estrella en GitHub! ⭐️
Forecasting series temporales con gradient boosting: Skforecast, XGBoost, LightGBM y CatBoost
Más sobre ciencia de datos: cienciadedatos.net
- Skforecast: forecasting series temporales con Python y Scikit Learn
- Predicción (forecasting) de la demanda eléctrica con Python
- Predicción (forecasting) de visitas a página web con machine learning
- Predicción del precio de Bitcoin con Python
- Intervalos de predicción en modelos de forecasting
- Multi-series forecasting
- Predicción de demanda intermitente
Introducción¶
Los modelos gradient boosting destacan dentro de la comunidad de machine learning debido a su capacidad para lograr excelentes resultados en una amplia variedad de casos de uso, incluyendo tanto la regresión como la clasificación. Aunque su uso en el forecasting de series temporales ha sido limitado, investigaciones recientes han demostrado que también pueden conseguir resultados muy competitivos en este ámbito. Algunas de las ventajas que presenta el uso de este tipo de modelos son:
La facilidad con que pueden incorporarse al modelo variables exógenas, además de las autorregresivas.
La capacidad de capturar relaciones no lineales entre variables.
Alta escalabilidad, que permite a los modelos manejar grandes volúmenes de datos.
Algunas implementaciones permiten incluir variables categóricas sin necesidad de codificación one-hot.
A pesar de estas ventajas, el uso de modelos de machine learning para forecasting presenta varios retos que pueden hacer que el analista sea reticente a su uso, los principales son:
Reestructurar los datos para poder utilizarlos como si se tratara de un problema de regresión.
Dependiendo de cuántas predicciones futuras se necesiten (horizonte de predicción), puede ser necesario un proceso iterativo en el que cada nueva predicción se base en las anteriores.
La validación de los modelos requiere de estrategias específicas como backtesting, walk-forward validation o time series cross-validation. No puede aplicarse la validación cruzada tradicional.
La librería skforecast ofrece soluciones automatizadas a estos retos, facilitando el uso y la validación de modelos de machine learning en problemas de forecasting. La librería es compatible con varios modelos avanzados de gradient boosting, incluyendo XGBoost, LightGBM, Catboost y HistGradientBoostingRegressor. Este documento muestra cómo utilizarlos para construir modelos de forecasting precisos.
🖉 Nota
Los modelos de *machine learning* no siempre superan a los modelos propios del aprendizaje estadístico como *AR*, *ARIMA* o *Exponential Smoothing*. Cuál funciona mejor depende en gran medida de las características del caso de uso al que se apliquen.⚠ Warning
Las cuatro implementaciones de *gradient boosting* – LightGBM, scikit-learn's HistogramGradientBoosting, XGBoost, y CatBoost – son capaces de manejar directamente variables categóricas. Sin embargo, es importante señalar que cada una tiene sus propias configuraciones, ventajas y limitaciones. Para comprender en detalle cómo utilizar cada uno de estos modelos en skforecast, se recomienda consultar la documentacion.Caso de uso¶
Los sistemas de bicicletas compartidas, también conocidos como sistemas de bicicletas públicas, facilitan la disponibilidad automática de bicicletas para que sean utilizadas temporalmente como medio de transporte. La mayoría de estos sistemas permiten recoger una bicicleta y devolverla en un punto diferente (estaciones o dockers), para que el usuario solo necesite tener la bicicleta en su posesión durante el desplazamiento. Uno de los principales retos en la gestión de estos sistemas es la necesidad de redistribuir las bicicletas para intentar que, en todas las estaciones, haya bicicletas disponibles a la vez que espacios libres para devoluciones.
Con el objetivo de mejorar la planificación y ejecución de la distribución de las bicicletas, se plantea crear un modelo capaz de predecir el número de usuarios para las siguientes 36 horas. De esta forma, a las 12h de cada día, la compañía encargada de gestionar las estaciones de alquiler podrá conocer la demanda prevista el resto del día (12 horas) y el siguiente día (24 horas).
A efectos ilustrativos, el ejemplo actual sólo modela una estación, sin embargo, el modelo puede adaptarse y ampliarse para cubrir múltiples estaciones, mejorando así la gestión de los sistemas de bicicletas compartidas a mayor escala.
# Tratamiento de datos
# ==============================================================================
import numpy as np
import pandas as pd
# Gráficos
# ==============================================================================
import matplotlib.pyplot as plt
from statsmodels.graphics.tsaplots import plot_acf
from statsmodels.graphics.tsaplots import plot_pacf
import plotly.graph_objects as go
import plotly.express as px
import plotly.io as pio
pio.templates.default = "seaborn"
plt.style.use('seaborn-v0_8-darkgrid')
# Modelado y Forecasting
# ==============================================================================
from xgboost import XGBRegressor
from lightgbm import LGBMRegressor
from catboost import CatBoostRegressor
from sklearn.ensemble import HistGradientBoostingRegressor
from sklearn.preprocessing import OneHotEncoder
from sklearn.preprocessing import OrdinalEncoder
from sklearn.preprocessing import FunctionTransformer
from sklearn.pipeline import make_pipeline
from sklearn.compose import make_column_transformer
from sklearn.compose import make_column_selector
from skforecast.ForecasterAutoreg import ForecasterAutoreg
from skforecast.ForecasterAutoregMultiOutput import ForecasterAutoregMultiOutput
from skforecast.model_selection import grid_search_forecaster
from skforecast.model_selection import backtesting_forecaster
# Configuración warnings
# ==============================================================================
import warnings
Datos¶
Los datos empleados en este documento representan el uso, a nivel horario, del sistema de alquiler de bicicletas en la ciudad de Washington D.C. durante los años 2011 y 2012. Además del número de usuarios por hora, se dispone de información sobre las condiciones meteorológicas y sobre los días festivos. Los datos originales se han obtenido del UCI Machine Learning Repository y han sido limpiados previamente (código) aplicando las siguientes modificaciones :
Columnas renombradas con nombres más descriptivos.
Categorías de la variable meteorológica renombradas. La categoría de heavy rain, se ha combinado con la de rain.
Variables de temperatura, humedad y viento desnormalizadas.
Creada variable date_time y establecida como índice.
Imputación de valores missing mediante forward fill.
El data set resultante contiene las columnas:
date_time: fecha y hora.
month : mes (1 al 12).
hour : hora (0 al 23).
holiday : si el día es festivo o no (obtenido de from http://dchr.dc.gov/page/holiday-schedule).
weekday : día de la semana (Lunes=0, Domingo=6).
workingday : si es un día laboral.
weather : la meteorología del día (clear, mist, rain).
temp : temperatura registrada.
atemp: sensación térmica.
hum: humedad registrada.
windspeed: velocidad del viento registrada.
users: usuarios totales del servicio de alquiler de bicicletas.
# Descarga de datos
# ==============================================================================
url = ('https://raw.githubusercontent.com/JoaquinAmatRodrigo/Estadistica-machine-'
'learning-python/master/data/bike_sharing_dataset_clean.csv')
datos = pd.read_csv(url)
datos['date_time'] = pd.to_datetime(datos['date_time'], format='%Y-%m-%d %H:%M:%S')
datos = datos.set_index('date_time')
datos = datos.asfreq('H')
datos = datos.sort_index()
datos = datos.drop(columns=['workingday'])
datos
Con el objetivo de poder entrenar los modelos, hacer búsqueda de los mejores hiperparámetros y evaluar su capacidad predictiva, se reparten los datos en tres conjuntos: entrenamiento, validación y test.
# Separación de datos train-val-test
# ==============================================================================
fin_train = '2012-03-31 23:59:00'
fin_validacion = '2012-08-31 23:59:00'
datos_train = datos.loc[: fin_train, :]
datos_val = datos.loc[fin_train:fin_validacion, :]
datos_test = datos.loc[fin_validacion:, :]
print(f"Fechas train : {datos_train.index.min()} --- {datos_train.index.max()} (n={len(datos_train)})")
print(f"Fechas validación : {datos_val.index.min()} --- {datos_val.index.max()} (n={len(datos_val)})")
print(f"Fechas test : {datos_test.index.min()} --- {datos_test.index.max()} (n={len(datos_test)})")
Exploración gráfica¶
La exploración gráfica de series temporales puede ser un método eficaz para identificar tendencias, patrones y estacionalidad. Esto, a su vez, ayuda a orientar la selección de posibles lags que podrían servir como predictores en el modelo.
Representación de la serie temporal¶
# Plot time series with zoom
# ==============================================================================
zoom = ('2011-08-01 00:00:00','2011-08-15 00:00:00')
fig = plt.figure(figsize=(8, 4))
grid = plt.GridSpec(nrows=8, ncols=1, hspace=0.1, wspace=0)
main_ax = fig.add_subplot(grid[1:3, :])
zoom_ax = fig.add_subplot(grid[5:, :])
datos_train['users'].plot(ax=main_ax, label='train', alpha=0.5)
datos_val['users'].plot(ax=main_ax, label='validation', alpha=0.5)
datos_test['users'].plot(ax=main_ax, label='test', alpha=0.5)
min_y = min(datos['users'])
max_y = max(datos['users'])
main_ax.fill_between(zoom, min_y, max_y, facecolor='blue', alpha=0.5, zorder=0)
main_ax.set_xlabel('')
main_ax.legend(loc='lower center', ncol=3, bbox_to_anchor=(0.5, -0.8))
datos.loc[zoom[0]: zoom[1]]['users'].plot(ax=zoom_ax, color='blue', linewidth=1)
main_ax.set_title(f'Número de usuarios: {datos.index.min()}, {datos.index.max()}', fontsize=10)
zoom_ax.set_title(f'Número de usuarios: {zoom}', fontsize=10)
zoom_ax.set_xlabel('')
plt.subplots_adjust(hspace=1)
# Gráfico interactivo de la serie temporal
# ==============================================================================
datos.loc[:fin_train, 'partition'] = 'train'
datos.loc[fin_train:fin_validacion, 'partition'] = 'validation'
datos.loc[fin_validacion:, 'partition'] = 'test'
fig = px.line(
data_frame = datos.reset_index(),
x = 'date_time',
y = 'users',
color = 'partition',
title = 'Número de usuarios',
width = 800,
height = 450
)
fig.update_layout(
width = 800,
height = 400,
margin=dict(l=20, r=20, t=35, b=20),
legend=dict(
orientation="h",
yanchor="top",
y=1,
xanchor="left",
x=0.001
)
)
fig.update_xaxes(rangeslider_visible=True)
fig.show()
datos=datos.drop(columns='partition')