准备工作: mysql库的安装。
python中mysql库用的是mysql-connector,安装执行如下命令:
第一步: 连接mysql,读取数据。
通过执行sql语句,读取mysql数据。
至此,获得mysql的原始数据raw_data 。接下来对数据进行预处理,按日期进行分组聚合,然后重命名行和列名,得到dataFrame格式的数据。
第二步: 连接ES。
这步没有太多的可解释的地方,就是配置信息。
第三步: ES主键加密。
这步的目的是为了保持主键唯一性,防止重复写入。用的方法是md5加密。
第四步: 写入ES
至此,一切的准备工作都做好了,数据也有了,主键加密也做了,就开始写入了。
用main方法执行以上方法:
最后查看一下ES写的是否成功,用查询方法
如果返回以下信息,说明ES里成功插入了数据。
另外,ES删除索引的 *** 作:
一般来说,MySQL断开连接后,数据不会写入。MySQL采用事务模式,在数据写入之前会先进行一个提交 *** 作,即 *** 作的结果会被写入到磁盘上,如果断开连接,则没有提交 *** 作,所以写入的数据就不会被保存下来。欢迎分享,转载请注明来源:内存溢出
评论列表(0条)