简介面向R语言学习者和电力数据分析人员的GEFCOM2014能源负荷预测资源包聚焦EPFL竞赛中的小时级负荷数据提供从数据探索到建模评估的完整实践参考。压缩包大小约111.53MB数据涵盖时间、地理与负荷等多维字段便于开展时间序列分析与特征工程。已有1423人学习/下载适合教学、科研及项目预研。内容覆盖ts对象处理、季节性与趋势分解ARIMA、状态空间、随机森林等单模型构建并进一步介绍基于dplyr的特征构造、交叉验证、网格调参、集成学习及caretEnsemble框架结合ggplot2实现残差与预测对比可视化。读者可据此系统掌握能源负荷预测的典型流程获得R语言实操思路并能处理温度、节假日等外部变量快速迁移到实际负荷预测任务中。1. 为什么GEFCom2014依然值得拿来练手这两年总有人问我都2025年了深度学习大模型满天飞还有必要折腾GEFCom2014这种老掉牙的负荷预测竞赛数据吗我的回答一直是太有必要了尤其是对想真正理解负荷预测这门手艺的人来说。GEFCom2014Global Energy Forecasting Competition 2014是国际电力负荷预测领域公认的标杆赛事由全球能源预测领域的权威学者组织EPFL瑞士洛桑联邦理工学院参与了其中核心赛题的方案设计与数据整理。这项比赛当年提供了每小时一条的负荷记录要求参赛者基于历史序列和温度数据预测未来一段时间内的电力负荷曲线并给出了统一的误差评价标准。它的价值不在于“新”而在于数据干净、任务定义清晰、评价指标固定几乎每个做时序预测的人都绕不开这一套基准。如果你正在做能源调度、微电网规划、电力市场交易或者单纯想系统学习短期负荷预测GEFCom2014就是一块绝佳的“练手试验田”。我个人的建议是别一上来就堆Transformer先用经典方案把这条流程完整跑通再去对比复杂模型你就能真正知道每个环节在解决什么问题。2. 数据长什么样先摸清家底再动手2.1 赛题结构与数据来源GEFCom2014的负荷预测赛题分为两个层级第一个层级是基于历史负荷和温度预测未来负荷第二个层级加入了更多气象变量和时空维度。绝大多数公开复现项目都聚焦在第一个层级因为它的数据公开、任务难度适中而且已经足够覆盖负荷预测的核心方法论。训练数据大概是这样的格式每行记录包含时间戳年月日小时、该时点的电力负荷值部分赛题还提供对应区域的气温数据。负荷值通常以MW兆瓦为单位时间分辨率是1小时整段数据跨越数年其中包含多个年度周期。这里要特别提醒一句数据里是有缺失值的尤其是温度数据不同台站缺测情况还不一样处理不好后面全是坑。2.2 温度是最重要的外生变量做过实际负荷预测的人都知道温度对负荷的影响往往是决定性的。夏天温度每升高1度空调负荷可能拉动峰值增加几个百分点冬天寒潮来袭电采暖负荷同样来势凶猛。GEFCom2014的数据里温度并非完全对齐每一小时的负荷记录有些时段只有日最高最低温需要做插值或者特征扩展。我习惯的处理方式是把原始温度拆成多个维度比如当前小时温度、过去24小时平均温度、过去24小时最高温度以及温度与舒适区比如18到22度之间的偏离量。这样模型才能捕捉到“热累积效应”和“温度突变带来的负荷跳变”单纯丢一个原始温度进去模型很难学到这种非线性关系。2.3 时间特征的工程化处理负荷曲线有非常明显的三重周期性一天之内有早晚高峰一周之内工作日与周末差异巨大一年之内冬夏两季负荷形态截然不同。处理这些周期性特征最直接的手段就是构造小时数、星期数、节假日标记和一年中的第几天。这里有个容易被新手忽略的点小时和星期这两个特征如果用原始数值比如星期一是1星期日是7模型会认为6和7之间的距离比1和7更近但实际周日和下周一本来就是相邻的。所以建议用正弦余弦编码把周期性展开成二维坐标例如小时特征可以拆成sin(2πh/24)和cos(2πh/24)这样模型不会误解“23点和0点离得很远”这种伪命题。3. 方案选型从传统方法到深度模型3.1 为什么先推荐梯度提升树GEFCom2014的官方冠军方案其实是多种模型的组合但单模型表现最稳健的往往不是最复杂的神经网络。我自己做过对比实验在同样的特征工程下LightGBM和XGBoost这类梯度提升树的精度通常能超过早期版本的LSTM尤其当训练数据量不是超大时树模型对非线性特征的拟合又快又稳。梯度提升树的优势在于它对异常值相对鲁棒、不需要对特征做过多归一化、训练速度快而且天然支持特征重要性分析。在负荷预测这个领域你能直接从模型里看到温度特征在哪个时段起主导作用这种可解释性在实际工程中非常宝贵。3.2 神经网络方案该怎么切入如果你想用深度学习方案我建议不要一上来就搭一个端到端的黑箱。先用上面得到的特征工程结果喂给一个简单的多层感知机MLP看看基线效果之后再用LSTM或GRU做序列建模输入过去168小时一周的负荷和温度数据预测未来24小时。LSTM这类循环神经网络的优势是能自动学习负荷序列的时间依赖比如“昨天这个时候负荷很高因为昨天是工作日而今天是周末”这种模式如果靠人工构造特征会非常繁琐。但代价是训练时间长、超参数敏感而且容易过拟合。我的建议是先跑通MLP再上LSTM最后再考虑Transformer或时序卷积网络TCN每一步都保留实验记录这样你能清楚知道模型复杂度换来了多少精度提升。3.3 集成与后处理的必要性在GEFCom2014的实际测评中单纯一个模型很难在所有时段都表现优秀。比如树模型在白天峰值时段可能误差较小但对夜间负荷的平滑变化拟合不足LSTM则反过来在连续趋势段表现好但对突发的温度变化响应滞后。所以稳健的做法是加权集成对每个预测时点根据该时段的特点动态分配不同模型的权重。比如峰时段多给树模型一点权重谷时段多给序列模型一点权重。算权重的方法不需要多复杂网格搜索几个固定系数就够用关键是验证集上的误差要分时段统计而不是只看总体的RMSE。4. 实操流程一步一步复现一个可用的预测系统4.1 环境准备与数据加载我用的环境是Python 3.9 Pandas NumPy Scikit-learn LightGBM PyTorch都是常规配置。先加载数据然后打印出数据的前几行确认时间列格式、负荷列是否存在非数值字符等。这一步看似多余但实际数据往往比想象中脏我遇到过负荷列里混入逗号分隔符导致类型推断失败的情况。import pandas as pd df pd.read_csv(load_data.csv, parse_dates[time]) df df.sort_values(time).reset_index(dropTrue) # 清洗负荷值异常为负的剔除 df df[df[load] 0].copy() # 填充缺失温度 df[temp] df[temp].interpolate(methodlinear) print(df.info()) print(df.head())执行完这段代码你应该能看到完整的时间范围和缺失值情况。这里有个经验负荷数据如果出现连续多个小时的缺失不建议直接线性插值最好用前一天同时刻的数据替换因为负荷的日周期性远强于小时尺度的平滑性。4.2 特征工程完整实现下面这段代码把温度特征和时间特征一次性构造完整我强烈建议你复制下来放到自己的项目里改一改它已经过多次项目验证。import numpy as np def build_features(df): df df.copy() # 时间特征 t df[time].dt df[hour] t.hour df[weekday] df[time].dt.weekday df[day_of_year] t.dayofyear df[month] t.month # 周期编码 df[hour_sin] np.sin(2 * np.pi * df[hour] / 24) df[hour_cos] np.cos(2 * np.pi * df[hour] / 24) df[weekday_sin] np.sin(2 * np.pi * df[weekday] / 7) df[weekday_cos] np.cos(2 * np.pi * df[weekday] / 7) # 滞后特征前一天同一时刻 df[load_lag24] df[load].shift(24) df[load_lag168] df[load].shift(168) # 滑动平均 df[load_ma24] df[load].rolling(window24).mean().shift(1) # 温度特征 df[temp_lag24] df[temp].shift(24) df[temp_diff] df[temp].diff() # 节日标记这里以元旦为例可按需扩展 df[is_holiday] ((df[month] 1) (t.day 1)).astype(int) # 删除构造滞后特征引入的缺失 df df.dropna().reset_index(dropTrue) return df df_feat build_features(df)这段代码的关键在于滞后特征和滑动平均的shift操作。shift(24)表示取“24小时前”的负荷值shift(168)表示取“7天前”的同时刻值这两个特征对负荷的日周期和周周期有极强的指示作用。滚动平均一定记得shift(1)否则当前时刻的滑动平均里包含了当前时刻的负荷预测时是看不到这个值的会造成严重的数据泄漏。4.3 训练集与验证集切分负荷预测不能用随机切分必须按时间顺序切分否则模型会在验证集上“偷看”未来信息。我通常的做法是用最后一年的数据做验证之前的数据用于训练如果数据量允许再留出小部分做早停验证。train_size int(len(df_feat) * 0.8) train_df df_feat.iloc[:train_size] valid_df df_feat.iloc[train_size:] feature_cols [hour_sin, hour_cos, weekday_sin, weekday_cos, day_of_year, temp, temp_lag24, temp_diff, load_lag24, load_lag168, load_ma24] target_col load X_train train_df[feature_cols].values y_train train_df[target_col].values X_valid valid_df[feature_cols].values y_valid valid_df[target_col].values这里要特别说明切分比例的问题80/20是通用默认但在负荷预测里如果验证集正好包含极端天气年份误差会突然增大。更稳妥的做法是滚动验证即用多段重叠的时间窗口来评估模型取误差平均值。当然这会让实验时间成倍增长所以日常快速迭代时先用简单的末段时间切分就够了。4.4 训练LightGBM模型我习惯先把树模型的参数记录在一个字典里方便后续反复对比。下面的参数是我在多个负荷数据集上调出来的一个稳妥起点不是绝对最优但通常不会太差。import lightgbm as lgb model lgb.LGBMRegressor( n_estimators1000, learning_rate0.05, num_leaves63, max_depth-1, subsample0.8, colsample_bytree0.8, reg_alpha0.1, reg_lambda0.1, random_state42 ) model.fit( X_train, y_train, eval_set[(X_valid, y_valid)], feature_namefeature_cols, callbacks[lgb.early_stopping(100), lgb.log_evaluation(100)] ) pred model.predict(X_valid, num_iterationmodel.best_iteration_)LightGBM的early_stopping非常重要不设早停的1000棵树很容易过拟合训练日志里能看到验证集误差在某个迭代次数后开始回升。我用这套配置在GEFCom2014公开数据上能跑到一个合理基线RMSE大致稳定在一个可以接受的区间内关键是训练时间只要几十秒迭代速度极快。4.5 简单的LSTM对比方案树模型跑通后再搭一个LSTM做对比。LSTM输入是三维张量样本数、时间步长、特征数。这里的时间步长我选168即输入过去一周的数据预测未来24小时中的某一个时点。为了简化先做单步预测训练24个模型每个模型预测一个未来小时或者用一个模型预测24个输出维度。import torch import torch.nn as nn class LoadLSTM(nn.Module): def __init__(self, n_features, hidden64, out_dim24): super().__init__() self.lstm nn.LSTM(n_features, hidden, batch_firstTrue) self.fc nn.Linear(hidden, out_dim) def forward(self, x): out, _ self.lstm(x) return self.fc(out[:, -1, :])训练这种多输出模型时损失函数用HuberLoss比MSELoss更稳因为HuberLoss对大误差的梯度不像MSE那样放大对负荷突变不那么敏感。优化器我用AdamW初始学习率0.001配合余弦退火调度器。训练完以后把LSTM的预测结果和LightGBM做简单加权平均通常验证集误差能再下降几个百分点。5. 评估指标与结果解读5.1 指标选择的门道GEFCom2014官方评价指标在不同赛题里略有差异多数情况下使用RMSE均方根误差或者MAPE平均绝对百分比误差。RMSE对大误差的惩罚更严重适合关注峰值精度的场景MAPE更直观但在负荷接近零的凌晨时段会变得不稳定偶尔一个极小的真实值就能让MAPE爆表。我建议在项目里同时计算RMSE、MAE和MAPE分别记录白天时段8点到20点和夜间时段的误差。为什么因为负荷预测在峰时段的价值远高于谷时段电网调度最关心的就是峰值预测准不准。有些模型总体RMSE很好看结果全是在凌晨拉低的分数这种模型实际工程意义不大。5.2 可视化是发现问题的第一步预测结果一定要画图不要只看数字。把验证集中的某两周真实负荷和预测负荷画在同一张图里你能非常直观地看到模型是在哪个时段系统性偏高了还是对某一类天气响应不足。我经常发现模型在节假日前后产生明显偏差原因在于节假日的负荷曲线与普通工作日差异太大但数据量又不足以让模型学到这种规律。import matplotlib.pyplot as plt plt.figure(figsize(14, 5)) plt.plot(valid_df[time], y_valid, labelactual, alpha0.7) plt.plot(valid_df[time], pred, labelpred, alpha0.7) plt.legend() plt.title(Load Forecast vs Actual) plt.tight_layout() plt.savefig(forecast_compare.png)画完图之后再做一个残差分析把预测误差按小时维度聚合看哪个小时的误差最大。如果发现晚上7点到9点的峰值时段误差显著偏大就要考虑是不是当天的温度特征没有捕捉到体感温度的影响。5.3 误差修正技巧GEFCom2014历史上有一个非常经典的trick对预测残差再做一次后处理修正。具体做法是用验证集计算出每个小时的平均误差偏差然后在最终预测时把这个偏差减去。虽然这种方法比较粗糙但在某些温度中等、天气平稳的月份效果非常明显能把RMSE降低一个明显的幅度。更精细的做法是训练一个小的线性回归模型输入是预测值和温度特征输出是真实负荷用验证集拟合这个修正模型的参数。这种“stacking”的思想在负荷预测竞赛里被反复验证有效本质上是用一个浅层模型去学习基模型的系统性偏差模式。6. 常见问题与避坑指南6.1 数据泄漏防不胜防数据泄漏是负荷预测项目里最隐蔽的问题。比如你用了当天全天的平均温度来预测当天全天的负荷这在训练时看似合理但当天的平均温度要等一天结束才知道实际预测时根本拿不到这个值。所以特征的构造必须严格遵循“只用过去和当前已知量”的原则这是我反复强调的一点。另一种泄漏来自数据预处理如果你先把全部数据做了归一化然后才切分训练验证集那么验证集的均值和方差已经悄悄混进了训练过程。正确做法是只统计训练集的归一化参数再把它应用在验证集上。6.2 节假日处理的无奈与务实节假日是负荷预测的普遍痛点GEFCom2014里很多参赛方案也专门针对节假日设计了额外特征比如节假日前后一天标识、连续节假日长度等。但实际的困难是一年中真正的大规模假期也就十几天样本量太少模型很难学出稳定规律。我的务实做法是把节假日当作独立的类别特征输入模型并在后处理阶段对节假日预测值进行人工修正修正系数可基于历史节假日与普通周末负荷差异的比例来设定。对于工程项目一个稳定的“节假日系数”比复杂的节假日模型更可靠。6.3 超参数调优的节奏不要一开始就做贝叶斯优化或者大规模网格搜索。先把特征工程确定下来把模型结构固定用默认参数跑通完整的训练验证流程确认误差处于合理区间再开始对最重要的两三个参数做微调。LightGBM里我优先调num_leaves和learning_rateLSTM里优先调hidden_size和dropout其他参数保持默认就够了。6.4 多步预测的累积误差如果业务需求不是预测未来24小时的全部时间点而是希望滚动预测未来7天你很快会发现累积误差问题预测第48小时时输入中有一部分是模型自己预测出来的“假历史”误差会逐渐放大。解决办法有两种一是训练时加入噪声模拟预测误差传播二是使用多步预测专用模型结构比如seq2seq框架或者直接预测长序列的输出层。对于GEFCom2014赛题来说多数任务只需未来24小时累积误差问题还不严重但到了实际工程中这是绕不开的坎。7. 更进一步的扩展方向GEFCom2014只是起点。当你完整复现并理解了这套流程之后可以沿着几个方向继续深入一是把温度预报数据作为输入把确定性预测升级为概率预测输出置信区间这对电力市场的风险定价非常有用二是引入更多空间维度的数据比如相邻区域的负荷和气象信息尝试图神经网络建模区域之间的负荷传播效应三是把任务从单区域扩展为多区域联合预测利用共享特征提升整体精度。我自己后来的不少项目都是先把GEFCom2014的基线代码跑通再替换成业务所在地的数据用同一套特征工程和评估框架快速验证新思路的可行性。这种复用的价值比单纯把某个模型刷到排行榜第一要实用得多。如果是刚入门的朋友建议老老实实从LightGBM基线开始跑通一整套流程之后再去折腾深度学习。把每个环节的输入输出都亲手打印一遍把训练日志仔细读一遍把预测曲线的形状和真实曲线的差异认真看一遍这套“笨功夫”打下基础以后再复杂的模型在你的眼里也会变得清晰起来。本文还有配套的精品资源点击获取 GEFCom2014负荷预测实战：从特征工程到LightGBM与LSTM
简介面向R语言学习者和电力数据分析人员的GEFCOM2014能源负荷预测资源包聚焦EPFL竞赛中的小时级负荷数据提供从数据探索到建模评估的完整实践参考。压缩包大小约111.53MB数据涵盖时间、地理与负荷等多维字段便于开展时间序列分析与特征工程。已有1423人学习/下载适合教学、科研及项目预研。内容覆盖ts对象处理、季节性与趋势分解ARIMA、状态空间、随机森林等单模型构建并进一步介绍基于dplyr的特征构造、交叉验证、网格调参、集成学习及caretEnsemble框架结合ggplot2实现残差与预测对比可视化。读者可据此系统掌握能源负荷预测的典型流程获得R语言实操思路并能处理温度、节假日等外部变量快速迁移到实际负荷预测任务中。1. 为什么GEFCom2014依然值得拿来练手这两年总有人问我都2025年了深度学习大模型满天飞还有必要折腾GEFCom2014这种老掉牙的负荷预测竞赛数据吗我的回答一直是太有必要了尤其是对想真正理解负荷预测这门手艺的人来说。GEFCom2014Global Energy Forecasting Competition 2014是国际电力负荷预测领域公认的标杆赛事由全球能源预测领域的权威学者组织EPFL瑞士洛桑联邦理工学院参与了其中核心赛题的方案设计与数据整理。这项比赛当年提供了每小时一条的负荷记录要求参赛者基于历史序列和温度数据预测未来一段时间内的电力负荷曲线并给出了统一的误差评价标准。它的价值不在于“新”而在于数据干净、任务定义清晰、评价指标固定几乎每个做时序预测的人都绕不开这一套基准。如果你正在做能源调度、微电网规划、电力市场交易或者单纯想系统学习短期负荷预测GEFCom2014就是一块绝佳的“练手试验田”。我个人的建议是别一上来就堆Transformer先用经典方案把这条流程完整跑通再去对比复杂模型你就能真正知道每个环节在解决什么问题。2. 数据长什么样先摸清家底再动手2.1 赛题结构与数据来源GEFCom2014的负荷预测赛题分为两个层级第一个层级是基于历史负荷和温度预测未来负荷第二个层级加入了更多气象变量和时空维度。绝大多数公开复现项目都聚焦在第一个层级因为它的数据公开、任务难度适中而且已经足够覆盖负荷预测的核心方法论。训练数据大概是这样的格式每行记录包含时间戳年月日小时、该时点的电力负荷值部分赛题还提供对应区域的气温数据。负荷值通常以MW兆瓦为单位时间分辨率是1小时整段数据跨越数年其中包含多个年度周期。这里要特别提醒一句数据里是有缺失值的尤其是温度数据不同台站缺测情况还不一样处理不好后面全是坑。2.2 温度是最重要的外生变量做过实际负荷预测的人都知道温度对负荷的影响往往是决定性的。夏天温度每升高1度空调负荷可能拉动峰值增加几个百分点冬天寒潮来袭电采暖负荷同样来势凶猛。GEFCom2014的数据里温度并非完全对齐每一小时的负荷记录有些时段只有日最高最低温需要做插值或者特征扩展。我习惯的处理方式是把原始温度拆成多个维度比如当前小时温度、过去24小时平均温度、过去24小时最高温度以及温度与舒适区比如18到22度之间的偏离量。这样模型才能捕捉到“热累积效应”和“温度突变带来的负荷跳变”单纯丢一个原始温度进去模型很难学到这种非线性关系。2.3 时间特征的工程化处理负荷曲线有非常明显的三重周期性一天之内有早晚高峰一周之内工作日与周末差异巨大一年之内冬夏两季负荷形态截然不同。处理这些周期性特征最直接的手段就是构造小时数、星期数、节假日标记和一年中的第几天。这里有个容易被新手忽略的点小时和星期这两个特征如果用原始数值比如星期一是1星期日是7模型会认为6和7之间的距离比1和7更近但实际周日和下周一本来就是相邻的。所以建议用正弦余弦编码把周期性展开成二维坐标例如小时特征可以拆成sin(2πh/24)和cos(2πh/24)这样模型不会误解“23点和0点离得很远”这种伪命题。3. 方案选型从传统方法到深度模型3.1 为什么先推荐梯度提升树GEFCom2014的官方冠军方案其实是多种模型的组合但单模型表现最稳健的往往不是最复杂的神经网络。我自己做过对比实验在同样的特征工程下LightGBM和XGBoost这类梯度提升树的精度通常能超过早期版本的LSTM尤其当训练数据量不是超大时树模型对非线性特征的拟合又快又稳。梯度提升树的优势在于它对异常值相对鲁棒、不需要对特征做过多归一化、训练速度快而且天然支持特征重要性分析。在负荷预测这个领域你能直接从模型里看到温度特征在哪个时段起主导作用这种可解释性在实际工程中非常宝贵。3.2 神经网络方案该怎么切入如果你想用深度学习方案我建议不要一上来就搭一个端到端的黑箱。先用上面得到的特征工程结果喂给一个简单的多层感知机MLP看看基线效果之后再用LSTM或GRU做序列建模输入过去168小时一周的负荷和温度数据预测未来24小时。LSTM这类循环神经网络的优势是能自动学习负荷序列的时间依赖比如“昨天这个时候负荷很高因为昨天是工作日而今天是周末”这种模式如果靠人工构造特征会非常繁琐。但代价是训练时间长、超参数敏感而且容易过拟合。我的建议是先跑通MLP再上LSTM最后再考虑Transformer或时序卷积网络TCN每一步都保留实验记录这样你能清楚知道模型复杂度换来了多少精度提升。3.3 集成与后处理的必要性在GEFCom2014的实际测评中单纯一个模型很难在所有时段都表现优秀。比如树模型在白天峰值时段可能误差较小但对夜间负荷的平滑变化拟合不足LSTM则反过来在连续趋势段表现好但对突发的温度变化响应滞后。所以稳健的做法是加权集成对每个预测时点根据该时段的特点动态分配不同模型的权重。比如峰时段多给树模型一点权重谷时段多给序列模型一点权重。算权重的方法不需要多复杂网格搜索几个固定系数就够用关键是验证集上的误差要分时段统计而不是只看总体的RMSE。4. 实操流程一步一步复现一个可用的预测系统4.1 环境准备与数据加载我用的环境是Python 3.9 Pandas NumPy Scikit-learn LightGBM PyTorch都是常规配置。先加载数据然后打印出数据的前几行确认时间列格式、负荷列是否存在非数值字符等。这一步看似多余但实际数据往往比想象中脏我遇到过负荷列里混入逗号分隔符导致类型推断失败的情况。import pandas as pd df pd.read_csv(load_data.csv, parse_dates[time]) df df.sort_values(time).reset_index(dropTrue) # 清洗负荷值异常为负的剔除 df df[df[load] 0].copy() # 填充缺失温度 df[temp] df[temp].interpolate(methodlinear) print(df.info()) print(df.head())执行完这段代码你应该能看到完整的时间范围和缺失值情况。这里有个经验负荷数据如果出现连续多个小时的缺失不建议直接线性插值最好用前一天同时刻的数据替换因为负荷的日周期性远强于小时尺度的平滑性。4.2 特征工程完整实现下面这段代码把温度特征和时间特征一次性构造完整我强烈建议你复制下来放到自己的项目里改一改它已经过多次项目验证。import numpy as np def build_features(df): df df.copy() # 时间特征 t df[time].dt df[hour] t.hour df[weekday] df[time].dt.weekday df[day_of_year] t.dayofyear df[month] t.month # 周期编码 df[hour_sin] np.sin(2 * np.pi * df[hour] / 24) df[hour_cos] np.cos(2 * np.pi * df[hour] / 24) df[weekday_sin] np.sin(2 * np.pi * df[weekday] / 7) df[weekday_cos] np.cos(2 * np.pi * df[weekday] / 7) # 滞后特征前一天同一时刻 df[load_lag24] df[load].shift(24) df[load_lag168] df[load].shift(168) # 滑动平均 df[load_ma24] df[load].rolling(window24).mean().shift(1) # 温度特征 df[temp_lag24] df[temp].shift(24) df[temp_diff] df[temp].diff() # 节日标记这里以元旦为例可按需扩展 df[is_holiday] ((df[month] 1) (t.day 1)).astype(int) # 删除构造滞后特征引入的缺失 df df.dropna().reset_index(dropTrue) return df df_feat build_features(df)这段代码的关键在于滞后特征和滑动平均的shift操作。shift(24)表示取“24小时前”的负荷值shift(168)表示取“7天前”的同时刻值这两个特征对负荷的日周期和周周期有极强的指示作用。滚动平均一定记得shift(1)否则当前时刻的滑动平均里包含了当前时刻的负荷预测时是看不到这个值的会造成严重的数据泄漏。4.3 训练集与验证集切分负荷预测不能用随机切分必须按时间顺序切分否则模型会在验证集上“偷看”未来信息。我通常的做法是用最后一年的数据做验证之前的数据用于训练如果数据量允许再留出小部分做早停验证。train_size int(len(df_feat) * 0.8) train_df df_feat.iloc[:train_size] valid_df df_feat.iloc[train_size:] feature_cols [hour_sin, hour_cos, weekday_sin, weekday_cos, day_of_year, temp, temp_lag24, temp_diff, load_lag24, load_lag168, load_ma24] target_col load X_train train_df[feature_cols].values y_train train_df[target_col].values X_valid valid_df[feature_cols].values y_valid valid_df[target_col].values这里要特别说明切分比例的问题80/20是通用默认但在负荷预测里如果验证集正好包含极端天气年份误差会突然增大。更稳妥的做法是滚动验证即用多段重叠的时间窗口来评估模型取误差平均值。当然这会让实验时间成倍增长所以日常快速迭代时先用简单的末段时间切分就够了。4.4 训练LightGBM模型我习惯先把树模型的参数记录在一个字典里方便后续反复对比。下面的参数是我在多个负荷数据集上调出来的一个稳妥起点不是绝对最优但通常不会太差。import lightgbm as lgb model lgb.LGBMRegressor( n_estimators1000, learning_rate0.05, num_leaves63, max_depth-1, subsample0.8, colsample_bytree0.8, reg_alpha0.1, reg_lambda0.1, random_state42 ) model.fit( X_train, y_train, eval_set[(X_valid, y_valid)], feature_namefeature_cols, callbacks[lgb.early_stopping(100), lgb.log_evaluation(100)] ) pred model.predict(X_valid, num_iterationmodel.best_iteration_)LightGBM的early_stopping非常重要不设早停的1000棵树很容易过拟合训练日志里能看到验证集误差在某个迭代次数后开始回升。我用这套配置在GEFCom2014公开数据上能跑到一个合理基线RMSE大致稳定在一个可以接受的区间内关键是训练时间只要几十秒迭代速度极快。4.5 简单的LSTM对比方案树模型跑通后再搭一个LSTM做对比。LSTM输入是三维张量样本数、时间步长、特征数。这里的时间步长我选168即输入过去一周的数据预测未来24小时中的某一个时点。为了简化先做单步预测训练24个模型每个模型预测一个未来小时或者用一个模型预测24个输出维度。import torch import torch.nn as nn class LoadLSTM(nn.Module): def __init__(self, n_features, hidden64, out_dim24): super().__init__() self.lstm nn.LSTM(n_features, hidden, batch_firstTrue) self.fc nn.Linear(hidden, out_dim) def forward(self, x): out, _ self.lstm(x) return self.fc(out[:, -1, :])训练这种多输出模型时损失函数用HuberLoss比MSELoss更稳因为HuberLoss对大误差的梯度不像MSE那样放大对负荷突变不那么敏感。优化器我用AdamW初始学习率0.001配合余弦退火调度器。训练完以后把LSTM的预测结果和LightGBM做简单加权平均通常验证集误差能再下降几个百分点。5. 评估指标与结果解读5.1 指标选择的门道GEFCom2014官方评价指标在不同赛题里略有差异多数情况下使用RMSE均方根误差或者MAPE平均绝对百分比误差。RMSE对大误差的惩罚更严重适合关注峰值精度的场景MAPE更直观但在负荷接近零的凌晨时段会变得不稳定偶尔一个极小的真实值就能让MAPE爆表。我建议在项目里同时计算RMSE、MAE和MAPE分别记录白天时段8点到20点和夜间时段的误差。为什么因为负荷预测在峰时段的价值远高于谷时段电网调度最关心的就是峰值预测准不准。有些模型总体RMSE很好看结果全是在凌晨拉低的分数这种模型实际工程意义不大。5.2 可视化是发现问题的第一步预测结果一定要画图不要只看数字。把验证集中的某两周真实负荷和预测负荷画在同一张图里你能非常直观地看到模型是在哪个时段系统性偏高了还是对某一类天气响应不足。我经常发现模型在节假日前后产生明显偏差原因在于节假日的负荷曲线与普通工作日差异太大但数据量又不足以让模型学到这种规律。import matplotlib.pyplot as plt plt.figure(figsize(14, 5)) plt.plot(valid_df[time], y_valid, labelactual, alpha0.7) plt.plot(valid_df[time], pred, labelpred, alpha0.7) plt.legend() plt.title(Load Forecast vs Actual) plt.tight_layout() plt.savefig(forecast_compare.png)画完图之后再做一个残差分析把预测误差按小时维度聚合看哪个小时的误差最大。如果发现晚上7点到9点的峰值时段误差显著偏大就要考虑是不是当天的温度特征没有捕捉到体感温度的影响。5.3 误差修正技巧GEFCom2014历史上有一个非常经典的trick对预测残差再做一次后处理修正。具体做法是用验证集计算出每个小时的平均误差偏差然后在最终预测时把这个偏差减去。虽然这种方法比较粗糙但在某些温度中等、天气平稳的月份效果非常明显能把RMSE降低一个明显的幅度。更精细的做法是训练一个小的线性回归模型输入是预测值和温度特征输出是真实负荷用验证集拟合这个修正模型的参数。这种“stacking”的思想在负荷预测竞赛里被反复验证有效本质上是用一个浅层模型去学习基模型的系统性偏差模式。6. 常见问题与避坑指南6.1 数据泄漏防不胜防数据泄漏是负荷预测项目里最隐蔽的问题。比如你用了当天全天的平均温度来预测当天全天的负荷这在训练时看似合理但当天的平均温度要等一天结束才知道实际预测时根本拿不到这个值。所以特征的构造必须严格遵循“只用过去和当前已知量”的原则这是我反复强调的一点。另一种泄漏来自数据预处理如果你先把全部数据做了归一化然后才切分训练验证集那么验证集的均值和方差已经悄悄混进了训练过程。正确做法是只统计训练集的归一化参数再把它应用在验证集上。6.2 节假日处理的无奈与务实节假日是负荷预测的普遍痛点GEFCom2014里很多参赛方案也专门针对节假日设计了额外特征比如节假日前后一天标识、连续节假日长度等。但实际的困难是一年中真正的大规模假期也就十几天样本量太少模型很难学出稳定规律。我的务实做法是把节假日当作独立的类别特征输入模型并在后处理阶段对节假日预测值进行人工修正修正系数可基于历史节假日与普通周末负荷差异的比例来设定。对于工程项目一个稳定的“节假日系数”比复杂的节假日模型更可靠。6.3 超参数调优的节奏不要一开始就做贝叶斯优化或者大规模网格搜索。先把特征工程确定下来把模型结构固定用默认参数跑通完整的训练验证流程确认误差处于合理区间再开始对最重要的两三个参数做微调。LightGBM里我优先调num_leaves和learning_rateLSTM里优先调hidden_size和dropout其他参数保持默认就够了。6.4 多步预测的累积误差如果业务需求不是预测未来24小时的全部时间点而是希望滚动预测未来7天你很快会发现累积误差问题预测第48小时时输入中有一部分是模型自己预测出来的“假历史”误差会逐渐放大。解决办法有两种一是训练时加入噪声模拟预测误差传播二是使用多步预测专用模型结构比如seq2seq框架或者直接预测长序列的输出层。对于GEFCom2014赛题来说多数任务只需未来24小时累积误差问题还不严重但到了实际工程中这是绕不开的坎。7. 更进一步的扩展方向GEFCom2014只是起点。当你完整复现并理解了这套流程之后可以沿着几个方向继续深入一是把温度预报数据作为输入把确定性预测升级为概率预测输出置信区间这对电力市场的风险定价非常有用二是引入更多空间维度的数据比如相邻区域的负荷和气象信息尝试图神经网络建模区域之间的负荷传播效应三是把任务从单区域扩展为多区域联合预测利用共享特征提升整体精度。我自己后来的不少项目都是先把GEFCom2014的基线代码跑通再替换成业务所在地的数据用同一套特征工程和评估框架快速验证新思路的可行性。这种复用的价值比单纯把某个模型刷到排行榜第一要实用得多。如果是刚入门的朋友建议老老实实从LightGBM基线开始跑通一整套流程之后再去折腾深度学习。把每个环节的输入输出都亲手打印一遍把训练日志仔细读一遍把预测曲线的形状和真实曲线的差异认真看一遍这套“笨功夫”打下基础以后再复杂的模型在你的眼里也会变得清晰起来。本文还有配套的精品资源点击获取