1.python解释器类型
1.cpython:c语言开发的
2.jpython：java语言开发的
3.Ironpython:.net语言开发
2.python中程序的组成
程序是有模块组成
模块中包含语句，函数，类等
语句包含表达式
表达式建立并处理数据对象并返回对象的引用关系
3.python中的数据类型
int float complex（1+2j相当于复数）布尔类型
4.python算术运算符和表达式
表达式：由数学和运算符组成
作用：让计算机做一些事并返回值
运算符：+ - * //地板除（除法取整） %取余 幂运算
5.数值类型函数
1.abs（）返回一个数的绝对值
2.round（number，【ndigits】）
number：将要处理的数据
ndigits：保留小数点后几位小数
在python中如果一个函数的参数带有【】。代表这个参数可有可无，可以传参数也可以不传参数
3.pow（x，y，z=None）
xy%z
6.变量
1.概念
变量是关联一个对象的标识符
2.作用
用来绑定一个对象，并返回对象的引用关系，以便于以后重复使用
3.变量的命名规则
以字母或下划线开头，后接字母下划线或者数字
不能用python中的关键字作为变量名（大约有33个）
7.赋值语句
1.语法
变量名=表达式
2.类型
变量本身没有类型，他的类型是由绑定的对象决定的
3.说明
1.当变量不存在时，创建此变量，并与对象建立起关系联系
2.当变量存在时，改变变量于对象的绑定关系
4.注意
1.一个变量只能绑定一个变量
2.一个对象可以绑定多个变量
8.python中的小整数对象池
在cpython中，-5~256这个范围内的数字会永远的存在于内存地址当中，永远不会被释放
9.pycharm中的大整数对象池
pycharm的开发者为了节省内存，把同一个文件下的相同对象默认为是同一个对象
10.基本输出函数【print】
1.作用
将一系列的值按照字符的形式输出到标准输出设备上
2.语法
print（value，sep="",end="/n"）
value 输出的内容
；sep代表输出内容之间的分隔符 默认
11,标准输入函数 [input]
1.作用：从标准输入设备上获取一系列的字符
2.语法：input(“提示字符串”)
3.返回类型：str字符串
注释用#。
12，类型转换函数
1.float()：将字符串或数字转换为浮点型数
2.int():将字符串或数字转换为十进制整数型数
int([obj],base=10)
obj:将要处理的数据，base:代表obj数据的进制
比如：int(“11”,base=2),则返回3，
13，比较运算
1、语句 statement@H_502_1653@1、概念语句是python程序执行的最小单位2、说明多条语句写在一行内需要用(;)分隔，但是不建议这样写3、折行符【\】1、显示换行折行符【\】是告诉解释执行器，下一行的代码也是此语句的内容2、隐式换行所有括号内的内容换行时，解释执行器会自动去下一行找到相对应的括号，直到找到为止,>=,<,<=,==,!=
s=100+300+56+2345+10s1=100+300+56+\ 2345+10s2=(100+300+56+ 2345+10)print(s)print(s1)print(s2)if 真值表达式1: 语句块1elif 真值表达式2: 语句块2elif 真值表达式3: 语句块3else: 语句块4# n=int(input("请输入一个数字："))# if n%2==0:# print(n,"是偶数！")# else:# print(n,"是奇数！")# n=int(input("请输入一个数字："))# if n>0:# print(n,"是正数！")# if n<0:# print(n,"是负数！")# else:# print("n为0！")month=int(input("请输入月份数："))if 1<=month<=12: # pass #占位符 if month<=3: print("春季！") elif month<=6: print("夏季！") elif month<=9: print("秋季！") else: print("冬季！")else: print("您输入的月份有误，请重新输入！")a=int(input("请输入第一科成绩:"))b=int(input("请输入第二科成绩:"))c = int(input("请输入第三科成绩:"))# 方法一# if c < a > b:# print(a,"是最高成绩！")# elif a<b>c:# print(b,"是最高成绩！")# else:# print(c,"是最高成绩！")# 方法二m=a # 假设a就是最高成绩if b>m: m=b #因为b比最高成绩还高，所以把b赋值给最高成绩的变量if c>m: m=cprint(m,"是最高成绩！")>>> s='hello world'>>> type(s)<class 'str'>>>> s'hello world'>>> s="hello world">>> s'hello world'>>> s='I'm a student' file "<stdin>", line 1 s='I'm a student' ^SyntaxError: invalID Syntax>>> s="I'm a student">>> s"I'm a student">>> s="""hello world... my name is xx... """>>> s'hello world\nmy name is xx\n'>>> print(s)hello worldmy name is xxs='I\'m a student' #用\'代表一个‘| 符号 | 描述 | 符号 | 描述 |
|---|---|---|---|
| \’ | 代表一个单引号 | \" | 代表一个双引号 |
| \n | 代表一个换行符 | \ | 代表一个\ |
| \r | 返回光标至行首 | \t | 水平制表符(Tab) |
>>> s="C:\newfile\test.py">>> print(s)C:ewfile est.py>>> s=r"C:\newfile\test.py">>> print(s)C:\newfile\test.py>>>>>> ord("徐")24464>>> ord("a")97>>> ord("A")65>>>>>> chr(24464)'徐'>>> chr(55555)'\ud903'>>> chr(46783)'뚿'>>>>>> "a">"A"True>>> "ABC">"abc"False>>> "ABC" > "Abc"False>>> "ABC" >"ABCD"False>>>s=input("请输入一段字符串：")print(s[0])print(s[-1])if len(s)%2==0: print("@")else: mID_index=len(s)//2 #求出中间字符所对应的索引 print(s[mID_index])>>> s[0:3]'ABC'>>> s[1:5]'BCDE'>>> s[1:-1]'BCDEF'>>> s[0:-1:2]'ACE'>>> s[-1:0:-2]'GEC'>>>>>> s[0:-1:-2]fmt="姓名:%s,年龄:%d"name="小明"age=20print(fmt%(name,age))| 符号 | 描述 |
|---|---|
| %s | 字符串占位符 |
| %d | 十进制整数占位符 |
| %f | 十进制浮点数占位符 |
>>> a123>>> "%d"%123'123'>>> "%10d"%123' 123'>>> "%-10d"%123'123 '>>> "%-+10d"%123'+123 '>>> "%0+10d"%123'+000000123'>>> "%f"%123.456'123.456000'>>> "%.2f"%123.456'123.46'>>> "%2f"%123.456'123.456000'>>> "%f"%123.4567891'123.456789'>>> "%.7f"%123.4567891'123.4567891'>>>初始条件while 真值表达式: 语句块1 条件变化量else: 语句块2i=1 #用来记录循环次数的变量while i<=10: print("hello world") i+=1while 真值表达式1: 语句块1 while 真值表达式2: 语句块2 else: 语句块3else: 语句块4j=1while j<=10: i=1 while i<=20: print(i,end=" ") i+=1 else: print() #打印一个换行符 j+=1i=1while i<10: print("循环开始时的i=",i) if i==5: break print("循环结束时的i=",i) i+=1else: print("else语句被执行！")print("程序退出时的i=",i)n=int(input("请输入一个正整数："))if n<=1: print("不是素数！")elif n==2: print(n,"是素数！")else: i=2 while i<n: if n%i==0: print("不是素数") break i+=1 else: print("是素数！")for 变量 in 可迭代对象: 语句块1else: 语句块2s="ABCDEF"for i in s: print(i,end=" ") print()else: print("循环因迭代结束而终止！")s=input("请输入一个字符串：")count=0 #用来统计空格个数的变量# i=0# lenth=len(s)# while i<lenth:# if s[i]==" ":# count+=1# i+=1# print("输入的空格个数为%d个"%count)for i in s: if i==" ": count+=1print("输入的空格个数为%d个"%count)for x in "ABC": for y in "123": print(x+y)for i in range(10): print(i,end=" ")print()for i in range(1,20,2): print(i,end=" ")for i in range(5): if i==2: continue print(i)import randoma=random.random()print(a)b=random.randint(1,100)print(b)c=random.randrange(1,100,2)print(c)>>> L=[100,200,300,400]>>> ID(L)1883498866184>>> L=L+[500,600]>>> L[100, 200, 300, 400, 500, 600]>>> ID(L)1883498866824>>> L=[100,200,300,400]>>> ID(L)1883498866184>>> L+=[500,500]>>> L[100, 200, 300, 400, 500, 500]>>> ID(L)1883498866184>>>>>> s="abc">>> ID(s)1883497905432>>> s=s+"de">>> s'abcde'>>> ID(s)1883498848184>>> s="abc">>> ID(s)1883497905432>>> s+="de">>> s'abcde'>>> ID(s)1883498848128>>>>>> L=[100,200,300]>>> L[0]="hello">>> L['hello', 200, 300]>>>>>> L=[100,200,300,400,500,600]>>> L[0:1][100]>>> L[0:1]=["A"]>>> L['A', 200, 300, 400, 500, 600]>>> L[0:1]=["A","B"]>>> L['A', 'B', 200, 300, 400, 500, 600]>>>>>> L[0:3]['A', 'B', 200]>>> L[0:5:2]['A', 200, 400]>>> L[0:5:2]=["hello","world","name"]>>> L['hello', 'B', 'world', 300, 'name', 500, 600]>>> L[0:5:2]=["hello","world","name",100]Traceback (most recent call last): file "<stdin>", line 1, in <module>ValueError: attempt to assign sequence of size 4 to extended slice of size 3>>> L[0:5:2]=["hello","world","name",]>>> L['hello', 'B', 'world', 300, 'name', 500, 600]>>>>>> L[0:0][]>>> L[0:0]=[1000]>>> L[1000, 'hello', 'B', 'world', 300, 'name', 500, 600]>>> d={}>>> d{}>>> type(d)<class 'dict'>>>> d={"name":"小明","age":20}>>> d{'name': '小明', 'age': 20}>>>>>> d["name"]'小明'>>> d["age"]20>>>>>> t=(100,200)>>> t(100, 200)>>> type(t)<class 'tuple'>>>> t=(100)>>> t100>>> type(t)<class 'int'>>>> t=(100,)>>> t(100,)>>> type(t)<class 'tuple'>>>> s="www.baIDu.com">>> s.split(".")['www', 'baIDu', 'com']>>>>>> L="hello">>> "-".join(L)'h-e-l-l-o'>>> " ".join(L)'h e l l o'>>>def 函数名(参数列表[形参]): 语句块def say_demo(): print("hello world") print("wlecome to Hangzhou") print("xxx")say_demo() #函数的调用day3
1,函数的实参传递方式
1.位置传参
实参和形参的对应关系是按照位置来依次对应的
def func(a,b,c):
print(“a”,a)
print(“b”,b)
print(“c”,c)
func(100,200,300) 2.序列传参 序列传参是指函数调用过程中，用*将序列拆解后，按照位置传参的方式进行参数传递 def func(a,b,c): print("a",a) print("b",b) print("c",c) L【100,200,300】 func(*L) 3.关键字传参 传参时，形参和实参按照名称进行匹配 def func(a,b,c): print("a",a) print("b",b) print("c",c) func(a=100,b=200,c=300) 4.字典关键字传参 是指当实参为字典时，用**将字典拆解后，按照关键字传参的方式进行传参 def func(a,b,c): print("a",a) print("b",b) print("c",c) d=("a":100,"b":200,"c":300) func(**d)2,函数的缺省参数 1.语法 def 函数名(形参名1=默认值，。。。)： pass 缺省参数必须自右至左依次存在，如果有一个参数为缺省参数，那么其右侧的所有参数都必须为缺省参数3,函数的形参的定义方式 1.位置形参 按照形参的位置接受实参 2.星号元组形参 def 函数名(*args): print("实参个数为"，len(args)) print("args",args) 3.命名关键字形参 1.语法 def func(*,命名关键字形参) pass def func(*args,命名关键字形参) pass 2.作用 所有的命名关键字形参必须用关键字传参或者字典关键字进行传参 def func(**kwargs): print("关键字参数个数为："，len(kwar gs)) print("kwar gs=",kwar gs) func(a=100,b=200,c="300") 函数参数自左向右的顺序： 位置形参 星号元组形参 命名关键字形参 双星号关键字形参 4.双星号字典形参 1.语法 def func(**kwargs) pass 2.作用 收集多余的关键字传参 def func(**kwargs): print("关键字参数个数为："，len(kwar gs)) print("kwar gs=",kwar gs) func(a=100,b=200,c="300") 函数参数自左向右的顺序： 位置形参 星号元组形参 命名关键字形参 双星号关键字形参 4,函数变量问题 1.局部变量 定义在函数内部的变量称为局部变量（函数的形参也是局部变量） 局部变量只能在函数的内部使用 局部变量在函数调用时被创建，在函数调用之后自动销毁 2.全局变量 定义在函数外部，模块内部（当前.py）的变量称为全局变量 全局变量，所有函数都可以直接访问（但函数内部不能将其直接赋值） 局部变量的说明 1.在函数内首次对变量赋值时创建局部变量，再次为变量赋值时修改局部变量的绑定关系 2.在函数内部的赋值语句不会对全局变量造成影响 3.局部变量只能在被声明的函数内部访问，而全局变量可以在整个模块（当前文件）范围内访问 注意：cpython中解释执行器会把运算符左侧的变量默认为局部变量 5,面向对象编程 1.对象 现实生活中的物体或者实例 2.面向对象编程 把一切看成对象，对象和对象之间用行为建立起关系联系 对象可以有属性【名词】 对象可以有行为【动词】 3.类【class】 拥有相同属性和行为的对象分为一组，即为一个类型 类是用来描述对象的工具，类可以创建此类的对象（实例） 类定义了该集合中每个对象所共有的属性和方法 4.语法 class 类名（继承列表）： """类的文档字符串""" 实例方法 类变量 类方法 静态方法 5.作用 1.可以创建一个或多个对象（实例） 2.类内定义的变量和方法都能被此类创建的实例所拥有 6.说明 1.类名必须是标识符（和变量的命名规则相同）建议首字母大写 2.类名实质上就是变量，它绑定一个类实例 class Car(): """此类是个汽车类""" print("汽车工厂创建完成！") def __init__(self,color) self.colro=color def run(self,speed): //self代表类产生的实例 """用来给实例添加行驶的行为的方法""" self.speed = speed //给实例添加上速度的属性 print("汽车正在以"，self.speed,"的速度行驶！")
def Loge(self,loge ):
self.loge=loge
print(“汽车的品牌”,self.loge)
car=Car()
car.run(100)
car.Loge(奔驰)
7.类的实例化（类的调用）
1.语法
变量=类名([创建参数列表])
2.作用
创建这个类的实例对象，并返回此实例对象的引用关系
3.说明
实例用自己的作用域和名字空间，可以为该实例田间实例变量（属性），实例可以调用类中的方法，访问类中的类变量
添加属性:car.color=黑色
8.类的实例方法 1.语法 class 类名(): def 实例方法名（self,参数1，参数2.。。）： pass 2.作用 用于描述一个对象的行为，让此类的全部对象都可以拥有此行为 3.说明 1.实例方法本质是函数，定义在类内的函数 2.实例方法的第一个参数代表调用这个方法的实例，一般用self表示 3.实例方法属性类的属性 9.实例方法的调用 实例.实例方法名（参数列表） 类名.实例方法名（实例，调用参数） 10.类的构造函数（初始化函数） 1.语法 class 类名（）： def __init__(self,参数列表)： pass 2.作用 1.init方法是一种特殊的方法，被称为类的构造函数或初始化方法，当创建这个类的实例时会自动的调用该方法 2.self代表类的实例，在定义时是必须存在的，虽然不必传入相应的参数 3.如果像个自己创建的类添加形参，就需要用到构造函数 4.作用：对新创建的对象添加属性等必须的资源 11.继承 1.概念 1.继承：继承是延续旧类的功能 2.派生：在旧类的基础上添加新的功能 2.作用 1.用继承与派生机制，可以将一些共有功能加在基类 2.在不改变父类代码的基础上改变原有类的功能，实现代码共享 12.python中的文件 *** 作 文件是用来数据存储的基本单位，通常用于长期存储数据 1.文件的 *** 作步骤 1.打开文件 2.读写文件 3.关闭文件 2. *** 作格式 1，语法 open(filename,mod,[enCoding]) filename文件的路径或者名称 mod文件的 *** 作模式 enCoding文件的编码格式 2.说明 打开一个文件，返回文件流对象，如果打开失败则触发ioError错误 3.关闭文件的方法 f.close() 1-1.mod参数设置 r:以只读方式打开 w:.........覆盖写入//写是具备自己创造文件的功能 a:以只写方式打开，如果源文件有内容，则追加写入 b:以二进制模式打开文件 wb:以二进制写模式打开文件 rb:以二进制读模式打开文件 t:以文本模式打开文件 4.文本的读取和写入（要自己写换行符） 1.文本的写入 1.f.write(字符串)：写字符串到一个已经打开的文件 2.fwritelines(字符串列表)：写多个字符串到一个已经打开的文件 2.文本的读取 1.f.readline() 读取一行文字 2.f.readlines() 读取多行文字 3.f.read(n) 读取N个字符 5.with语句 1.语法 with 表达式 as 变量 pass7,Python爬虫 1.web回顾 url:统一资源定位符 http:80 https：443 get获取显示在url里 post获取比较安全8,爬虫请求模块 1.分类 1.python2中：urllib2 urllib3 2.python3中：urllib.request requests 2.常用方法 1.urllib.request.urlopen(url) 作用：向网站发起请求并获取响应 格式：字节流=res.read()//获取 字符串 res.read().decode("utf-8")//解码 2.req=urllib.request.Request(url,headers) 作用：创建一个请求对象，去向网站发起请求并获取响应 使用流程： 1.req=urllib.request.Request(url,headers) 创建请求对象 2.res=urllib.request.urlopen(req) 向网站发起请求 3.HTML=res.read().decode("utf-8") 解码9,url编码模块 https://www.baIDu.com/s?wd=%E8%94%A1%E5%BE%90%E5%9D%A4 1.模块名 urllib.parse：url编码模块 2.编码方法 urlencode 1.语法 urllib.parse.urlencode({字典}) //import urllib.parse //key={"wd":"叶震源"} //data=urllib.parse.urlencode(key) #对数据进行编码 //print(data) 3.quote方法——编码 //import urllib.parse //data=urllib.parse.quote("源") //print(data) 4.unquote方法——解码 //import urllib.parse //data=urllib.parse.unquote("%E6%BA%90") //print(data) 1项目一
写一个小型爬虫，当程序运行起来时，在终端输入任意一个关键词，通过百度查询函数，获取查询后网页的源代码。
1.先获取查询的信息
2.对查询信息进行url编码
3.对真是的url进行拼接
4.通过真实的url进行访问，得到相应的对象
5.对相应对象进行转码。并保存到本地
/*import urllib.request
import urllib.parse
headers={"User-Agent":"Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"} base_url="https://www.baIDu.com/s?" #网页的默认url key=input("请输入您要查询的信息：") key=urllib.parse.urlencode({"wd":key}) #对数据进行url编码 url=base_url+key #拼接得到真实的url req=urllib.request.Request(url,headers=headers) #创建请求对象 res=urllib.request.urlopen(req) #向网站发起请求 HTML=res.read().decode("utf-8") with open("百度.HTML","w",enCoding="utf-8") as f: f.write(HTML) print("文件写入成功！")*/项目二
写一个爬虫程序，当程序运行时，输入指定的贴吧名称，可以进入任意一个贴吧内，爬取这个贴吧内指定范围页数的源代码（用面向对象编程）
import urllib.requestimport urllib.parseclass URL(): def __init__(self): self.base_url= "https://tIEba.baIDu.com/f?" self.headers= {"User-Agent": "Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"} def get_HTML(self,url,filename): #获取网页源代码的函数 req=urllib.request.Request(url,headers=self.headers) res=urllib.request.urlopen(req) HTML=res.read().decode("utf-8") self.save_HTML(HTML,filename) def get_page(self): name=input("请输入查询的贴吧名称：") begin=int(input("请输入爬取初始页码：")) end=int(input("请输入爬取终止页码：")) for i in range(begin,end): key= urllib.parse.urlencode({"kw":name})#对输入的贴吧名称编码 pn=(i-1)*50 #得出控制页码数的参数 url=self.base_url+key+"&pn"+str(pn) #拼接得到的真实url filename="第"+str(i)+"页.HTML"#给文件创建名称 self.get_HTML(url,filename) #调用上层函数获取源代码 def save_HTML(self,HTML,filename): with open(filename,"w",enCoding="utf-8") as f: f.write(HTML) print("数据保存成功")tIEba=URL()tIEba.get_page()| 元字符 | 作用 |
|---|---|
| . | 匹配任意一个字符(不包括换行\n) |
| \d | 匹配任意数字 |
| \s | 匹配任意空白字符 |
| \S | 匹配任意非空白字符 |
| \n | 匹配一个换行符 |
| \w | 匹配字母、数字以及下划线 |
| \W | 匹配不是字母、数字、下划线 |
| * | 匹配0个或多个表达式 |
| + | 匹配出现一次或n次 |
| ？ | 匹配1个或0个前面的正则表达式定义的片段(非贪婪) |
| {m} | 精确匹配m个前面的表达式 |
| ^ | 匹配一行字符串的开头 |
| $ | 匹配一行字符串的结尾 |
| () | 匹配括号里的表达式，也表示一个组 |
import recontent="Hello 123 4567 cxk_ji ni tai mei"result=re.match("^Hello\s\d\d\d\s\d{4}\s\w{3}",content)print(result.group())print(result.span())import recontent="Hello 123 4567 cxk_ji ni tai mei"result=re.match("^Hello\s(\d\d\d\s\d{4})\s(\w{3})",content)print(result.group(1))print(result.group(2))print(result.span())import recontent="Hello 123 4567 cxk_ji ni tai mei"result=re.match("^Hello.*$",content)print(result.group())print(result.span())import recontent="Hello 1234567 cxk_ji ni tai mei"result=re.match("^Hello.*(\d+).*$",content) #贪婪匹配 得到的结果只有7print(result.group(1))print(result.span())import recontent="Hello 1234567 cxk_ji ni tai mei"result=re.match("^Hello.*?(\d+).*$",content) #非贪婪匹配 得到的结果只有1234567print(result.group(1))print(result.span())import recontent="""Hello 1234567 cxk_ji ni tai mei"""result=re.match("^Hello.*$",content,re.S) #贪婪匹配 得到的结果只有7 re.S代表可以匹配换行符print(result.group())print(result.span())| 修饰符 | 描述 |
|---|---|
| re.I | 使匹配对大小写不敏感 |
| re.L | 做本地化识别匹配 |
| re.M | 多行匹配 |
| re.S | 可以匹配换行符 |
| re.U | 根据Unicode字符集解析字符 |
| re.X | 该标志通过给予你更灵活的格式以便于你正则表达式写的更易于理解 |
import recontent="""Hello 1234567 cxk_ji ni tai mei"""result=re.search("cxk.*$",content,re.S) print(result.group())print(result.span())string="12dskjdskj34kdslkds56lkds78"content=re.sub("\d+","",string) #去掉所有的数字，第二个参数为替换的字符串print(content)string1="2019-7-7 10:48"string2="2019-7-8 11:48"string3="2019-7-9 12:48"pattern=re.compile("\d{2}:\d{2}") #把正则表达式编译为一个对象result1=re.sub(pattern,"",string1)result2=re.sub(pattern,"",string2)result3=re.sub(pattern,"",string3)print(result1)print(result2)print(result3)import csvwith open("demo.csv","w",newline="",enCoding="utf-8") as f: writer=csv.writer(f) #初始化写入对象 L=["小明",20,"男"] L1=["小红",30,"女"] writer.writerow(L) #写入数据 writer.writerow(L1)'<div >.*?title="(.*?)".*?>(.*?)</p>.*?>(.*?)</p>',re.Simport requestsurl="https://www.baIDu.com/"headers={"User-Agent":"Mozilla/5.0 (windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"}res=requests.get(url,headers=headers)res.enCoding="utf-8"print(res.text)print(res.url) #返回实际数据的URL地址print(res.status_code) #返回http响应码print(res.content) #获取内容 bytes{"Accept": "text/HTML,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3","Accept-EnCoding": "gzip, deflate","Accept-Language": "zh-CN,zh;q=0.9","Cache-Control": "max-age=0","Connection": "keep-alive","cookie": "anonymID=jxsj5fy78nj65k; depovince=ZJ; _r01_=1; jebe_key=dacc7a51-8acd-46aa-ac34-9b0dcd0bf180%7C712e620fada2a7904696ec0f971e40cd%7C1562478178258%7C1%7C1562478176757; JsESSIONID=abcU3TNteZ-K-7OYbFlVw; ick_login=0feb451a-fdc7-4f21-9739-70aa6b149596; loginfrom=null; wp_fold=0; jebe_key=dacc7a51-8acd-46aa-ac34-9b0dcd0bf180%7C20431d0d28353673afdf82da213cc1fa%7C1562487391831%7C1%7C1562487390408; t=60525e04b0d5fb0611a37d12e64779fe7; socIEtyguester=60525e04b0d5fb0611a37d12e64779fe7; ID=964833547; xnsID=347dad61; jebecookies=5da84bdc-7000-4f30-8e5c-10fcff9ae57a|||||","Host": "www.renren.com","upgrade-insecure-requests":"1" ,"User-Agent": "Mozilla/5.0 (windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"}HTML = """<HTML><head><Title>The Dormouse's story</Title></head><body><p name="dromouse"><b>The Dormouse's story</b></p><p >Once upon a time there were three little sisters; and their names were<a href="http://example.com/elsIE" ID="link1"><!-- ElsIE --></a>,<a href="http://example.com/lacIE" ID="link2">LacIE</a> and<a href="http://example.com/tillIE" ID="link3">TillIE</a>;and they lived at the bottom of a well.</p><p >...</p>"""from bs4 import BeautifulSoupsoup=BeautifulSoup(HTML,"lxml")print(soup.Title)print(soup.head)print(soup.p.string)print(type(soup.p))print(soup.p.attrs["name"])print(soup.p.attrs)print(soup.p["name"])print(soup.head.Title.string)HTML="""<div > <div > <h4>Hello</h4> </div> <div > <ul ID="@R_403_6818@-1"> <li >Foo</li> <li >bar</li> <li >Jay</li> </ul> <ul ID="@R_403_6818@-2"> <li >Foo</li> <li >bar</li> </ul> </div></div>"""from bs4 import BeautifulSoupsoup=BeautifulSoup(HTML,"lxml")# print(soup.find_all(name="ul")) #按照节点名称进行查找# print(type(soup.find_all(name="ul")[1])) #返回类型都是bs4.element.Tag 都是可迭代对象for i in soup.find_all(name="ul"): for li in i.find_all(name="li"): print(li.string)print(soup.find_all(attrs={"ID":"@R_403_6818@-1"}))print(soup.find_all(ID="@R_403_6818@-1"))print(soup.find_all(class_="element"))print(soup.find_all("ul",class_="@R_403_6818@ @R_403_6818@-small"))print(soup.find_all(text=re.compile("Hello")))print(soup.find_all(text="Hello"))print(soup.find(name="ul"))print(soup.select(".panel .panel-heading"))print(soup.select("ul li")) #查找 ul下 li的节点信息print(soup.select("#@R_403_6818@-2 .element"))#查找ID为@R_403_6818@-2下的class=element的节点信息print(soup.select("div > ul > li"))#查找 div下面的ul标签下面的li的节点信息for ul in soup.select("ul"): print(ul["ID"]) print(ul.attrs["ID"])for li in soup.select("li"): print("get_text:",li.get_text()) print("string:",li.string) print("text:",li.text)import requestsfrom bs4 import BeautifulSoupclass Douban(): def __init__(self): self.baseurl="https://movIE.douban.com/subject/30171425/comments?start=" self.headers ={"User-Agent": "Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"} self.star=0 def get_HTML(self,url): HTML=requests.get(url,headers=self.headers).text self.get_comment(HTML) def get_comment(self,HTML): comment_@R_403_6818@=[]#保存处理之后的评论列表 soup=BeautifulSoup(HTML,"lxml") comment=soup.select(".comment p") # comment=soup.find_all("span",class_="short") for i in comment: comment_@[email protected](i.text) self.save_comment(comment_@R_403_6818@) def save_comment(self,comment_@R_403_6818@): with open("comment.txt","w",enCoding="utf-8") as f: f.writelines(comment_@R_403_6818@) print("信息存储完成！") def get_page(self): begin=int(input("输入爬取起始页")) end=int(input("输入爬取终止页")) for page in range(begin,end+1): self.star=(page-1)*10 url=self.baseurl+str(self.star) self.get_HTML(url)#调用上层函数获取网页源代码douban=Douban()douban.get_page()import requestsfrom bs4 import BeautifulSoupimport osclass Gushi(): def __init__(self): self.url = "https://so.gushiwen.org/shiwen/default_0AA2.aspx" self.headers = { "User-Agent": "Mozilla/5.0 (windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/75.0.3770.100 Safari/537.36"} def get_HTML(self): HTML=requests.get(self.url,headers=self.headers).text self.get_info(HTML) def get_info(self,HTML): soup=BeautifulSoup(HTML,"lxml") Title=soup.select("div > p > a > b") content=soup.find_all("div",class_="contson") self.save_info(Title,content)#调用保存函数 def save_info(self,Title,content): files=os.getcwd()+"\古诗词"#创建一个文件夹路径 if not os.path.exists(files): os.mkdir(files)#创建一个文件夹 L=[] for i in range(len(Title)): L.append(content[i].text)#把处理后的内容存入到列表当中 with open(files+"\%s.txt"%Title[i].text,"w",enCoding="utf-8")as f: f.write(Title[i].text)#写入标题 for j in L[i]: if j!=" ": f.write(j)#写入内容 if j=="。": f.write("\n")gushi=Gushi()gushi.get_HTML()from lxml import etreeparseHTML=etree.HTML(HTML)result=parseHTML.xpath("xpath表达式")| nodename | 选择此节点的所有节点 |
|---|---|
| / | 从当前节点选取直接子节点 |
| // | 从当前节点选择子孙节点 |
| . | 选取当前节点 |
| … | 选取当前节点的父节点 |
| @ | 选取属性 |
from lxml import etreeHTML=etree.HTML(text)#将数据转换为xpath对象print(HTML.xpath('//*'))#获取所有的节点信息from lxml import etreeHTML=etree.HTML(text)#将数据转换为xpath对象print(HTML.xpath('//li'))#获取指定名称的节点信息print(HTML.xpath('//li/a'))#查找li下的子节点print(HTML.xpath('//ul//a'))#查找ul下的子孙节点aprint(HTML.xpath('//a[@href="http://domestic.firefox.sina.com/"]/../@class'))#查询当前节点的父节点的class属性print(HTML.xpath('//a[@href="http://domestic.firefox.sina.com/"]/../../@ID'))#查询当前节点的爷爷节点的ID属性print(HTML.xpath('//li[@]'))print(HTML.xpath('//a[@ID="channel"]'))print(HTML.xpath('//li[@]/a/text()'))#提取li节点下a节点的文字信息print(HTML.xpath('//li[@]/a/@href'))#提取li节点下a节点的href信息text="""<li ><a href="link.HTML">hello world</a></li><li ><a href="link.HTML">hello</a></li>"""from lxml import etreeHTML=etree.HTML(text)#将数据转换为xpath对象print(HTML.xpath('//li[@]/a/text()'))print(HTML.xpath('//li[contains(@class,"li")]/a/text()'))text="""<div> <ul> <li ><a href="link1.HTML">cxk song</a></li> <li ><a href="link2.HTML">cxk dance</a></li> <li ><a href="link3.HTML">cxk rap</a></li> <li ><a href="link4.HTML">cxk basketball</a></li> </ul></div>"""from lxml import etreeHTML=etree.HTML(text)#将数据转换为xpath对象# print(HTML.xpath('//li[@]/a/text()'))# print(HTML.xpath('//li[contains(@class,"li")]/a/text()'))print(HTML.xpath('//li[last()]/a/text()'))print(HTML.xpath('//li[1]/a/text()'))#获取第一个li标签中a标签内的文本信息print(HTML.xpath('//li[position()<3]/a/text()'))print(HTML.xpath('//li[last()-2]/a/text()'))#倒数第三个print(HTML.xpath('//li[@][2]/a/text()'))import Jsonstr="""[{"name":"小明"},{"age":"20"},{"sex":"男"}]"""print(type(str))data=Json.loads(str) #将Json信息转换为python的数据类型print(data)print(type(data))print(data[0]["name"])print(data[1].get("age"))print(data[0].get("address","北京")) #如果信息不存在返回默认值with open("data.Json","w",enCoding="utf-8") as f: f.write(Json.dumps(data,indent=2,ensure_ascii=False)) #indent参数表示缩进字符个数获取下载地址Json["data"]["items"]然后 遍历 for i in Json["data"]["items"]： i["item"]["vIDeo_playurl"]import requestsimport Jsonimport stringimport timeimport randomclass BilibiliVIDeo(): def __init__(self): self.url="http://API.vc.bilibili.com/board/v1/ranking/top?" #动态请求的公有url部分 self.headers={"User-Agent":"Mozilla/5.0 (windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36"} self.all_str=string.punctuation+string.whitespace #将所有的特殊字符以及空白字符绑定 def get_Json(self): for offset in range(1,52,10): #通过循环更改offset的值来实现多次抓取 params={"page_size":"10", "next_offset":str(offset), "tag":"小视频", "type":"tag_general_week", "platform":"pc"} HTML=requests.post(self.url,data=params,headers=self.headers).text #返回网页数据(Json) HTML=Json.loads(HTML) #把Json信息变成python中的数据类型 self.get_vIDeo_url(HTML) #调用获取视频链接的函数 def get_vIDeo_url(self,HTML): #获取小视频下载地址的函数 for vIDeo in HTML["data"]["items"]: vIDeo_url=vIDeo["item"]["vIDeo_playurl"] #获取视频的下载地址 vIDeo_name=vIDeo["item"]["description"] #获取视频的名称 for char in vIDeo_name: #对视频名称中的字符进行遍历 if char in self.all_str: #如果存在特殊字符 vIDeo_name=vIDeo_name.replace(char,"") #如果存在，用空替换掉特殊字符 if len(vIDeo_name)>=50: vIDeo_name=vIDeo_name[:51] #如果视频名称长度大于50，对名称进行切片，只保留前50位 filename=vIDeo_name+".mp4" #将文件保存文mp4格式 vIDeo_content=requests.get(vIDeo_url,headers=self.headers).content #对视频地址发起请求并获取二进制信息 with open(filename,"wb") as f: f.write(vIDeo_content) print("%s下载成功"%filename) time.sleep(random.randint(1,5))bilibili=BilibiliVIDeo()bilibili.get_Json()以上是内存溢出为你收集整理的Python的基本语法全部内容，希望文章能够帮你解决Python的基本语法所遇到的程序开发问题。
如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。
欢迎分享，转载请注明来源：内存溢出
微信扫一扫
支付宝扫一扫
评论列表（0条）