如何入门 Python 爬虫

链接：> 提取码：2b6c

课程简介

毕业不知如何就业？工作效率低经常挨骂？很多次想学编程都没有学会？

Python 实战：四周实现爬虫系统，无需编程基础，二十八天掌握一项谋生技能。

带你学到如何从网上批量获得几十万数据，如何处理海量大数据，数据可视化及网站制作。

课程目录

开始之前，魔力手册 for 实战学员预习

第一周：学会爬取网页信息

第二周：学会爬取大规模数据

第三周：数据统计与分析

第四周：搭建 Django 数据可视化网站

只会抓取页面，，当然页面里你会读取到数据库数据。。
所以它不算是抓取你数据库，只是你用在了页面上，生成了结果 ，
它抓取你这个结果。。。
其实想想也是知道的，，数据库除了开发者对程序授权，别人怎么可以 *** 作得到数据库，要不然那不是天下大乱了嘛。。。

爬虫技术是做从网页上抓取数据信息并保存的自动化程序，它的原理就是模拟浏览器发送网络请求，接受请求响应，然后按照一定的规则自动抓取互联网数据。分析如下：

1、获取网页

获取网页可以简单理解为向网页的服务器发送网络请求，然后服务器返回给我们网页的源代码，其中通信的底层原理较为复杂，而Python给我们封装好了urllib库和requests库等，这些库可以让我们非常简单的发送各种形式的请求。

2、提取信息

获取到的网页源码内包含了很多信息，想要进提取到我们需要的信息，则需要对源码还要做进一步筛选。可以选用python中的re库即通过正则匹配的形式去提取信息，也可以采用BeautifulSoup库（bs4）等解析源代码，除了有自动编码的优势之外，bs4库还可以结构化输出源代码信息，更易于理解与使用。

3、保存数据

提取到我们需要的有用信息后，需要在Python中把它们保存下来。可以使用通过内置函数open保存为文本数据，也可以用第三方库保存为其它形式的数据，例如可以通过pandas库保存为常见的xlsx数据，如果有等非结构化数据还可以通过pymongo库保存至非结构化数据库中。

4、让爬虫自动运行

从获取网页，到提取信息，然后保存数据之后，我们就可以把这些爬虫代码整合成一个有效的爬虫自动程序，当我们需要类似的数据时，随时可以获取。

可以通过requests库re库进行淘宝商品爬虫爬取
import requests
import re
def getHTMLText(url):
try:
r= requestsget(url,timeout=30)
rraise_for_status()
rencoding = rapparent_encoding
return rtext
except:
return ""
def parsePage(ilt,html):
try:
plt = refindall(r'\"view_price\":\"[\d+\]\"',html)
tlt = refindall(r'\"raw_title\"\:\"\"',html)
for i in range(len(plt)):
price = eval(plt[i]split(':')[1])
title = eval(tlt[i]split(':')[1])
iltappend([price,title])
except:
print("F")
def printGoodsList(ilt):
tplt = "{:4}\t{:8}\t{:16}"
print(tpltformat("序号","价格","商品名称"))
count = 0
for g in ilt:
count = count +1
print(tpltformat(count,g[0],g[1]))
def main():
goods = '书包'
depth = 2
start_url = ">