技术标签: 数据建模
多变量时间序列预测问题可以被理解为,利用历史时刻的各项数据来预测下一个时刻的目标数据。
在本文中,我使用了北京市空气污染历史监测数据集来进行时序预测实验,那么时序预测任务则是利用过去一段时间所记录的温度、气压、风速以及空气污染程度等数据来预测下一时刻的空气污染程度。
数据集下载地址:http://archive.ics.uci.edu/ml/datasets/Beijing+PM2.5+Data
数据来源自位于北京的美国大使馆在2010年至2014年共5年间每小时采集的天气及空气污染指数。包括了日期、PM2.5浓度(空气污染程度)、露点、温度、风向、风速、累积小时雪量和累积小时雨量,完整特征如下:
1. No 行数
2. year 年
3. month 月
4. day 日
5. hour 小时
6. pm2.5 PM2.5浓度
7. DEWP 露点
8. TEMP 温度
9. PRES 大气压
10. cbwd 风向
11. lws 风速
12. ls 累积雪量
13. lr 累积雨量
我们使用 Pandas 库函数来进行数据读取和处理:
import pandas as pd
# 加载数据
def parse(x):
return datetime.strptime(x, '%Y %m %d %H')
dataset = pd.read_csv('./PRSA_data_2010.1.1-2014.12.31.csv', parse_dates=[['year', 'month', 'day', 'hour']], index_col=0, date_parser=parse)
# 删除无用列
dataset.drop('No', axis=1, inplace=True)
# 修改剩余列名称
dataset.columns = ['pollution', 'dew', 'temp', 'press', 'wnd_dir', 'wnd_spd', 'snow', 'rain']
dataset.index.name = 'date'
# 将所有空值替换为0
dataset['pollution'].fillna(0, inplace=True)
# 删除前24小时行(因为有缺失)
dataset = dataset[24:]
# 将离散类别型特征数值化
encoder = LabelEncoder()
dataset['wnd_dir'] = encoder.fit_transform(dataset['wnd_dir'])
# 打印前5行
print(dataset.head(5))
打印出来的经处理后的数据集的前五行:
pollution dew temp press wnd_dir wnd_spd snow rain
date
2010-01-02 00:00:00 129.0 -16 -4.0 1020.0 2 1.79 0 0
2010-01-02 01:00:00 148.0 -15 -4.0 1020.0 2 2.68 0 0
2010-01-02 02:00:00 159.0 -11 -5.0 1021.0 2 3.57 0 0
2010-01-02 03:00:00 181.0 -7 -5.0 1022.0 2 5.36 1 0
2010-01-02 04:00:00 138.0 -7 -5.0 1022.0 2 6.25 2 0
计算各个属性之间的相关性,并绘图:
hitmapTemp = dataset[list(dataset.columns)]
hitmapData = hitmapTemp.corr()
sns.heatmap(hitmapData, vmax=1, square=True, annot=True)
# plt.savefig('./figs/Correlation-Matrix.png')
plt.xticks(rotation=-70)
plt.yticks(rotation=20)
plt.show()
相关矩阵如下图所示,可见空气污染程度与各个特征之间并没有明显相关性(最大与风向呈0.19正相关,风速呈-0.23负相关)。
在建模之前,我们还需要将数据进行归一化处理,从而消除量纲,减少量纲对模型带来的影响。
values = dataset.values
# 确保所有数据是浮点数类型
values = values.astype('float32')
# # 对特征标准化
scaler = MinMaxScaler(feature_range=(0, 1))
scaled = scaler.fit_transform(values)
# 分离出特征和标签
data = scaled
label = scaled[:, 0]
由于我们需要利用 (T-N, T-1) 时间段的数据作为训练数据,T 时刻的空气污染程度作为标签,因此,我们使用时间滑窗来制造训练数据和标签对,示意图如下:
假设当我们设的时间窗口长度为2时,也就是利用历史两期数据来预测下一期的数据:
d a t a = ( X 1 , Y 1 , X 2 , Y 2 ) l a b e l = Y 3 \begin{aligned} data=& (X_1, Y_1,X_2,Y_2)\\ label=& Y_{3} \end{aligned} data=label=(X1,Y1,X2,Y2)Y3
d a t a = ( X 2 , Y 2 , X 3 , Y 3 ) l a b e l = Y 4 \begin{aligned} data=& (X_2, Y_2,X_3,Y_3)\\ label=& Y_{4} \end{aligned} data=label=(X2,Y2,X3,Y3)Y4
d a t a = ( X 3 , Y 3 , X 4 , Y 4 ) l a b e l = Y 5 \begin{aligned} data=& (X_3, Y_3,X_4,Y_4)\\ label=& Y_{5} \end{aligned} data=label=(X3,Y3,X4,Y4)Y5
依次类推,生成训练数据-标签对,代码实现如下:
def generate_pair(x, y, ts):
length = len(x)
start, end = 0, length - ts
data = []
label = []
for i in range(end):
data.append(x[i: i+ts, :])
label.append(y[i+ts])
return np.array(data, dtype=np.float64), np.array(label, dtype=np.float64)
data, label = generate_pair(data, label, ts=72)
在经过了上述一系列处理后,我们便可以得到能直接拿来建模的数据啦~
在本文中,我们使用 LSTM 进行时序建模预测,LSTM是循环神经网络的一种变体,在这就不具体介绍LSTM了,有需要的可以自行去了解。 知乎专栏:人人都能看懂的LSTM
代码如下:
# 划分数据集
train_test_split = int(0.7 * len(label))
train_X = data[0: train_test_split]
train_y = label[0: train_test_split]
test_X = data
test_y = label
from keras.layers import Dropout
model = Sequential()
model.add(LSTM(128, input_shape=(train_X.shape[1], train_X.shape[2])))
model.add(Dropout(0.6))
model.add(Dense(1))
model.compile(loss='mae', optimizer='adam')
# 训练模型
if __name__ == '__main__':
history = model.fit(train_X, train_y, epochs=200, batch_size=64, validation_data=(test_X, test_y), verbose=2, shuffle=True)
# 开始预测
yhat = model.predict(test_X)
plt.plot(history.history['loss'], label='train')
plt.plot(history.history['val_loss'], label='test')
plt.legend()
plt.show()
# 绘图
plt.plot(yhat[train_test_split-50: train_test_split+50])
plt.plot(test_y[train_test_split-50: train_test_split+50])
plt.axvline(x=50, c="r", ls="--", lw=2)
plt.legend(['预测数据', '真实数据', '开始预测'])
plt.grid()
plt.show()
绘制出来的拟合曲线:
观察上面绘制出来的拟合曲线的波峰波谷,可以发现,预测的曲线存在一个时间的延时,也就是说,预测数据其实是上一个时刻的真实数据。那么该如何消除这个时延性呢?
文章浏览阅读3.2k次。本文研究全球与中国市场分布式光纤传感器的发展现状及未来发展趋势,分别从生产和消费的角度分析分布式光纤传感器的主要生产地区、主要消费地区以及主要的生产商。重点分析全球与中国市场的主要厂商产品特点、产品规格、不同规格产品的价格、产量、产值及全球和中国市场主要生产商的市场份额。主要生产商包括:FISO TechnologiesBrugg KabelSensor HighwayOmnisensAFL GlobalQinetiQ GroupLockheed MartinOSENSA Innovati_预计2026年中国分布式传感器市场规模有多大
文章浏览阅读1.1k次,点赞2次,收藏12次。常用组合逻辑电路结构——为IC设计的延时估计铺垫学习目的:估计模块间的delay,确保写的代码的timing 综合能给到多少HZ,以满足需求!_基4布斯算法代码
文章浏览阅读3.3k次,点赞3次,收藏5次。OpenAI Manager助手(基于SpringBoot和Vue)_chatgpt网页版
文章浏览阅读2.2k次。USACO自1992年举办,到目前为止已经举办了27届,目的是为了帮助美国信息学国家队选拔IOI的队员,目前逐渐发展为全球热门的线上赛事,成为美国大学申请条件下,含金量相当高的官方竞赛。USACO的比赛成绩可以助力计算机专业留学,越来越多的学生进入了康奈尔,麻省理工,普林斯顿,哈佛和耶鲁等大学,这些同学的共同点是他们都参加了美国计算机科学竞赛(USACO),并且取得过非常好的成绩。适合参赛人群USACO适合国内在读学生有意向申请美国大学的或者想锻炼自己编程能力的同学,高三学生也可以参加12月的第_usaco可以多次提交吗
文章浏览阅读394次。1.1 存储程序1.2 创建存储过程1.3 创建自定义函数1.3.1 示例1.4 自定义函数和存储过程的区别1.5 变量的使用1.6 定义条件和处理程序1.6.1 定义条件1.6.1.1 示例1.6.2 定义处理程序1.6.2.1 示例1.7 光标的使用1.7.1 声明光标1.7.2 打开光标1.7.3 使用光标1.7.4 关闭光标1.8 流程控制的使用1.8.1 IF语句1.8.2 CASE语句1.8.3 LOOP语句1.8.4 LEAVE语句1.8.5 ITERATE语句1.8.6 REPEAT语句。_mysql自定义函数和存储过程
文章浏览阅读188次。半导体二极管——集成电路最小组成单元。_本征半导体电流为0
文章浏览阅读2.8k次,点赞3次,收藏18次。游戏水面特效实现方式太多。咱们这边介绍的是一最简单的UV动画(无顶点位移),整个mesh由4个顶点构成。实现了水面效果(左图),不动代码稍微修改下参数和贴图可以实现岩浆效果(右图)。有要思路是1,uv按时间去做正弦波移动2,在1的基础上加个凹凸图混合uv3,在1、2的基础上加个水流方向4,加上对雾效的支持,如没必要请自行删除雾效代码(把包含fog的几行代码删除)S..._unity 岩浆shader
文章浏览阅读5k次。广义线性模型是线性模型的扩展,它通过连接函数建立响应变量的数学期望值与线性组合的预测变量之间的关系。广义线性模型拟合的形式为:其中g(μY)是条件均值的函数(称为连接函数)。另外,你可放松Y为正态分布的假设,改为Y 服从指数分布族中的一种分布即可。设定好连接函数和概率分布后,便可以通过最大似然估计的多次迭代推导出各参数值。在大部分情况下,线性模型就可以通过一系列连续型或类别型预测变量来预测正态分布的响应变量的工作。但是,有时候我们要进行非正态因变量的分析,例如:(1)类别型.._广义线性回归模型
文章浏览阅读69次。环境保护、 保护地球、 校园环保、垃圾分类、绿色家园、等网站的设计与制作。 总结了一些学生网页制作的经验:一般的网页需要融入以下知识点:div+css布局、浮动、定位、高级css、表格、表单及验证、js轮播图、音频 视频 Flash的应用、ul li、下拉导航栏、鼠标划过效果等知识点,网页的风格主题也很全面:如爱好、风景、校园、美食、动漫、游戏、咖啡、音乐、家乡、电影、名人、商城以及个人主页等主题,学生、新手可参考下方页面的布局和设计和HTML源码(有用点赞△) 一套A+的网_垃圾分类网页设计目标怎么写
文章浏览阅读614次,点赞7次,收藏11次。之前找到一个修改 exe 中 DLL地址 的方法, 不太好使,虽然能正确启动, 但无法改变 exe 的工作目录,这就影响了.Net 中很多获取 exe 执行目录来拼接的地址 ( 相对路径 ),比如 wwwroot 和 代码中相对目录还有一些复制到目录的普通文件 等等,它们的地址都会指向原来 exe 的目录, 而不是自定义的 “lib” 目录,根本原因就是没有修改 exe 的工作目录这次来搞一个启动程序,把 .net 的所有东西都放在一个文件夹,在文件夹同级的目录制作一个 exe._.net dll 全局目录
文章浏览阅读1.5k次。本文为转载,原博客地址:http://blog.csdn.net/hujingshuang/article/details/46910259简介 BRIEF是2010年的一篇名为《BRIEF:Binary Robust Independent Elementary Features》的文章中提出,BRIEF是对已检测到的特征点进行描述,它是一种二进制编码的描述子,摈弃了利用区域灰度..._breif description calculation 特征点
文章浏览阅读4.1k次,点赞21次,收藏79次。本文是《基于SpringBoot的房屋租赁管理系统》的配套原创说明文档,可以给应届毕业生提供格式撰写参考,也可以给开发类似系统的朋友们提供功能业务设计思路。_基于spring boot的房屋租赁系统论文