两分钟弄懂Python爬虫的用途_后端开发
Python爬虫是用Python编程语言实现的网络爬虫,主要用于网络数据的抓取和处理,相比于其他语言,Python是一门非常适合开发网络爬虫的编程语言,大量内置包,可以轻松实现网络爬虫功能。
python写入html文件中文乱码问题
使用open函数将爬虫爬取的html写入文件,有时候在控制台不会乱码,但是写入文件的html中的中文是乱码的
案例分析
看下面一段代码:
# 爬虫未使用cookiefrom urllib import requestif __name__ == '__main__': url = "http://www.renren.com/967487029/profile" rsp = request.urlopen(url) html = rsp.read().decode() with open("rsp.html","w")as f: # 将爬取的页面 print(html) f.write(html)
看似没有问题,并且在控制台输出的html也不会出现中文乱码,但是创建的html文件中
史上最高效的Python爬虫框架(推荐)_后端开发
网络爬虫(又被称为网页蜘蛛,网络机器人,在FOAF社区中间,更经常的称为网页追逐者),是一种按照一定的规则,自动地抓取万维网信息的程序或者脚本。
下面我们一起来了解一下。
解决方案
使用open方法的一个参数,名为encoding=” “,加入encoding=”utf-8”即可
# 爬虫未使用cookiefrom urllib import requestif __name__ == '__main__': url = "http://www.renren.com/967487029/profile" rsp = request.urlopen(url) html = rsp.read().decode() with open("rsp.html","w",encoding="utf-8")as f: # 将爬取的页面 print(html) f.write(html)
运行结果
感谢大家的阅读,希望大家收益多多。
本文转自: https://blog.csdn.net/qq_40147863/article/details/81746445
推荐教程:《python教程》
以上就是如何解决python写入html文件中乱码的现象(图文详解)的详细内容,更多请关注ki4网其它相关文章!
php快速实现联系客服(在线咨询)_后端开发
现在好多网站上都有联系客服,那么是怎么做到的呢,下面我告诉大家个简单的方法,一行代码就能实现 第三方QQ联系 这个方法需要加QQ才能聊天,那么有人问了加QQ那么麻烦怎么样才能提高用户体验呢,很简单 第一步:打开这个网址https://shang.qq.com/v3/index.html,登陆自己的扣扣号 选择推广工具,选择标准型如下图 ![在这里插入图片描述](https://im..._php在线咨询
欢迎分享,转载请注明来源:内存溢出
评论列表(0条)