Python多进程与多线程编程及GIL详解

概述介绍如何使用python的multiprocess和threading模块进行多线程和多进程编程。 Python的多进程编程与multiprocess模块 python的多进程编程主要依靠multiprocess模块。我们先对比两段代码，看看多进程编程的优势。我们模拟了一个非常耗时的任务，计算8的20次方，为了使这个任务显得更耗时，我们还让它sleep 2秒。第一段代码是单进程计算(代码如下所示)

介绍如何使用python的multiprocess和threading模块进行多线程和多进程编程。

Python的多进程编程与multiprocess模块

python的多进程编程主要依靠multiprocess模块。我们先对比两段代码，看看多进程编程的优势。我们模拟了一个非常耗时的任务，计算8的20次方，为了使这个任务显得更耗时，我们还让它sleep 2秒。第一段代码是单进程计算(代码如下所示)，我们按顺序执行代码，重复计算2次，并打印出总共耗时。

import timeimport osdef long_time_task():    print(‘当前进程: {}‘.format(os.getpID()))    time.sleep(2)    print("结果: {}".format(8 ** 20))if __name__ == "__main__":    print(‘当前母进程: {}‘.format(os.getpID()))    start = time.time()    for i in range(2):        long_time_task()    end = time.time()    print("用时{}秒".format((end-start)))

输出结果如下，总共耗时4秒，至始至终只有一个进程14236。看来电脑计算8的20次方基本不费时。

当前母进程: 14236
当前进程: 14236
结果: 1152921504606846976
当前进程: 14236
结果: 1152921504606846976
用时4.01080060005188秒

第2段代码是多进程计算代码。我们利用multiprocess模块的Process方法创建了两个新的进程p1和p2来进行并行计算。Process方法接收两个参数,第一个是target，一般指向函数名，第二个时args，需要向函数传递的参数。对于创建的新进程，调用start()方法即可让其开始。我们可以使用os.getpID()打印出当前进程的名字。

from multiprocessing import Processimport osimport timedef long_time_task(i):    print(‘子进程: {} - 任务{}‘.format(os.getpID(),i))    time.sleep(2)    print("结果: {}".format(8 ** 20))if __name__==‘__main__‘:    print(‘当前母进程: {}‘.format(os.getpID()))    start = time.time()    p1 = Process(target=long_time_task,args=(1,))    p2 = Process(target=long_time_task,args=(2,))    print(‘等待所有子进程完成。‘)    p1.start()    p2.start()    p1.join()    p2.join()    end = time.time()    print("总共用时{}秒".format((end - start)))

输出结果如下所示，耗时变为2秒，时间减了一半，可见并发执行的时间明显比顺序执行要快很多。你还可以看到尽管我们只创建了两个进程，可实际运行中却包含里1个母进程和2个子进程。之所以我们使用join()方法就是为了让母进程阻塞，等待子进程都完成后才打印出总共耗时，否则输出时间只是母进程执行的时间。

当前母进程: 6920
等待所有子进程完成。
子进程: 17020 - 任务1
子进程: 5904 - 任务2
结果: 1152921504606846976
结果: 1152921504606846976
总共用时2.131091356277466秒

知识点:

新创建的进程与进程的切换都是要耗资源的，所以平时工作中进程数不能开太大。

同时可以运行的进程数一般受制于cpu的核数。

除了使用Process方法，我们还可以使用Pool类创建多进程。

 

利用multiprocess模块的Pool类创建多进程

很多时候系统都需要创建多个进程以提高cpu的利用率，当数量较少时，可以手动生成一个个Process实例。当进程数量很多时，或许可以利用循环，但是这需要程序员手动管理系统中并发进程的数量，有时会很麻烦。这时进程池Pool就可以发挥其功效了。可以通过传递参数限制并发进程的数量，默认值为cpu的核数。 

Pool类可以提供指定数量的进程供用户调用，当有新的请求提交到Pool中时，如果进程池还没有满，就会创建一个新的进程来执行请求。如果池满，请求就会告知先等待，直到池中有进程结束，才会创建新的进程来执行这些请求。 

下面介绍一下multiprocessing 模块下的Pool类的几个方法：

1.apply_async

函数原型：apply_async(func[,args=()[,kwds={}[,callback=None]]])

其作用是向进程池提交需要执行的函数及参数， 各个进程采用非阻塞（异步）的调用方式，即每个子进程只管运行自己的，不管其它进程是否已经完成。

2.map()

函数原型：map(func,iterable[,chunksize=None])

Pool类中的map方法，与内置的map函数用法行为基本一致，它会使进程阻塞直到结果返回。 注意：虽然第二个参数是一个迭代器，但在实际使用中，必须在整个队列都就绪后，程序才会运行子进程。

3.map_async()

函数原型：map_async(func,chunksize[,callback]])
与map用法一致，但是它是非阻塞的。其有关事项见apply_async。

4.close()

关闭进程池（pool），使其不在接受新的任务。

5. terminate()

结束工作进程，不在处理未处理的任务。

6.join()

主进程阻塞等待子进程的退出， join方法要在close或terminate之后使用。

 

下例是一个简单的multiprocessing.Pool类的实例。因为小编我的cpu是4核的，一次最多可以同时运行4个进程，所以我开启了一个容量为4的进程池。4个进程需要计算5次，你可以想象4个进程并行4次计算任务后，还剩一次计算任务(任务4)没有完成，系统会等待4个进程完成后重新安排一个进程来计算。

from multiprocessing import Pool,cpu_countimport osimport timedef long_time_task(i):    print(‘子进程: {} - 任务{}‘.format(os.getpID(),i))    time.sleep(2)    print("结果: {}".format(8 ** 20))if __name__==‘__main__‘:    print("cpu内核数:{}".format(cpu_count()))    print(‘当前母进程: {}‘.format(os.getpID()))    start = time.time()    p = Pool(4)    for i in range(5):        p.apply_async(long_time_task,args=(i,))    print(‘等待所有子进程完成。‘)    p.close()    p.join()    end = time.time()    print("总共用时{}秒".format((end - start)))

知识点:  

对Pool对象调用join()方法会等待所有子进程执行完毕，调用join()之前必须先调用close()或terminate()方法，让其不再接受新的Process了。

 输出结果如下所示，5个任务（每个任务大约耗时2秒)使用多进程并行计算只需4.37秒,耗时减少了60%。

cpu内核数:4
当前母进程: 2556
等待所有子进程完成。
子进程: 16480 - 任务0
子进程: 15216 - 任务1
子进程: 15764 - 任务2
子进程: 10176 - 任务3
结果: 1152921504606846976
结果: 1152921504606846976
子进程: 15216 - 任务4
结果: 1152921504606846976
结果: 1152921504606846976
结果: 1152921504606846976
总共用时4.377134561538696秒

 相信大家都知道python解释器中存在GIL(全局解释器锁),它的作用就是保证同一时刻只有一个线程可以执行代码。由于GIL的存在，很多人认为python中的多线程其实并不是真正的多线程，如果想要充分地使用多核cpu的资源，在python中大部分情况需要使用多进程。然而这并意味着python多线程编程没有意义哦，请继续阅读下文。

  多进程间的数据共享与通信

 通常，进程之间是相互独立的，每个进程都有独立的内存。通过共享内存(nmap模块)，进程之间可以共享对象，使多个进程可以访问同一个变量(地址相同，变量名可能不同)。多进程共享资源必然会导致进程间相互竞争，所以应该尽最大可能防止使用共享状态。还有一种方式就是使用队列queue来实现不同进程间的通信或数据共享，这一点和多线程编程类似。

from multiprocessing import Process,Queueimport os,time,random@H_451_419@#@H_451_419@ 写数据进程执行的代码:def write(q):    print(‘Process to write: {}‘.format(os.getpID()))    for value in [‘A‘,‘B‘,‘C‘]:        print(‘Put %s to queue...‘ % value)        q.put(value)        time.sleep(random.random())@H_451_419@#@H_451_419@ 读数据进程执行的代码:def read(q):    print(‘Process to read:{}‘.format(os.getpID()))    while True:        value = q.get(True)        print(‘Get %s from queue.‘ % value)if __name__==‘__main__‘:    @H_451_419@#@H_451_419@ 父进程创建Queue，并传给各个子进程：   q = Queue()    pw = Process(target=write,args=(q,))    pr = Process(target=read,))    @H_451_419@#@H_451_419@ 启动子进程pw，写入:    pw.start()    @H_451_419@#@H_451_419@ 启动子进程pr，读取:    pr.start()    @H_451_419@#@H_451_419@ 等待pw结束:    pw.join()    @H_451_419@#@H_451_419@ pr进程里是死循环，无法等待其结束，只能强行终止:    pr.terminate()

下例这段代码中中创建了2个独立进程，一个负责写(pw),一个负责读(pr),实现了共享一个队列queue。

输出结果如下所示:

Process to write: 3036
Put A to queue...
Process to read:9408
Get A from queue.
Put B to queue...
Get B from queue.
Put C to queue...
Get C from queue.

 Python的多线程编程与threading模块

 python 3中的多进程编程主要依靠threading模块。创建新线程与创建新进程的方法非常类似。threading.Thread方法可以接收两个参数,第一个是target，一般指向函数名，第二个时args，需要向函数传递的参数。对于创建的新线程，调用start()方法即可让其开始。我们还可以使用current_thread().name打印出当前线程的名字。 下例中我们使用多线程技术重构之前的计算代码。

import threadingimport timedef long_time_task(i):    print(‘当前子线程: {} - 任务{}‘.format(threading.current_thread().name,i))    time.sleep(2)    print("结果: {}".format(8 ** 20))if __name__==‘__main__‘:    start = time.time()    print(‘这是主线程：{}‘.format(threading.current_thread().name))    t1 = threading.Thread(target=long_time_task,))    t2 = threading.Thread(target=long_time_task,))    t1.start()    t2.start()    end = time.time()    print("总共用时{}秒".format((end - start)))

下面是输出结果。为什么总耗时居然是0秒? 我们可以明显看到主线程和子线程其实是独立运行的，主线程根本没有等子线程完成，而是自己结束后就打印了消耗时间。主线程结束后，子线程仍在独立运行，这显然不是我们想要的。

这是主线程：MainThread
当前子线程: Thread-1 - 任务1
当前子线程: Thread-2 - 任务2
总共用时0.0017192363739013672秒
结果: 1152921504606846976
结果: 1152921504606846976

如果要实现主线程和子线程的同步，我们必需使用join方法（代码如下所示)。

import threadingimport timedef long_time_task(i):    print(‘当前子线程: {} 任务{}‘.format(threading.current_thread().name,i))    time.sleep(2)    print("结果: {}".format(8 ** 20))if __name__==‘__main__‘:    start = time.time()    print(‘这是主线程：{}‘.format(threading.current_thread().name))    thread_List = []    for i in range(1,3):        t = threading.Thread(target=long_time_task,args=(i,))        thread_List.append(t)    for t in thread_List:        t.start()    for t in thread_List:        t.join()    end = time.time()    print("总共用时{}秒".format((end - start)))

修改代码后的输出如下所示。这时你可以看到主线程在等子线程完成后才答应出总消耗时间(2秒)，比正常顺序执行代码(4秒)还是节省了不少时间。

这是主线程：MainThread
当前子线程: Thread - 1 任务1
当前子线程: Thread - 2 任务2
结果: 1152921504606846976
结果: 1152921504606846976
总共用时2.0166890621185303秒

当我们设置多线程时，主线程会创建多个子线程，在python中，默认情况下主线程和子线程独立运行互不干涉。如果希望让主线程等待子线程实现线程的同步，我们需要使用join()方法。如果我们希望一个主线程结束时不再执行子线程，我们应该怎么办呢? 我们可以使用t.setDaemon(True)，代码如下所示。

import threadingimport timedef long_time_task():    print(‘当子线程: {}‘.format(threading.current_thread().name))    time.sleep(2)    print("结果: {}".format(8 ** 20))if __name__==‘__main__‘:    start = time.time()    print(‘这是主线程：{}‘.format(threading.current_thread().name))    for i in range(5):        t = threading.Thread(target=long_time_task,args=())        t.setDaemon(True)        t.start()    end = time.time()    print("总共用时{}秒".format((end - start)))

通过继承Thread类重写run方法创建新线程

 除了使用Thread()方法创建新的线程外，我们还可以通过继承Thread类重写run方法创建新的线程，这种方法更灵活。下例中我们自定义的类为MyThread,随后我们通过该类的实例化创建了2个子线程。

@H_451_419@#@H_451_419@-*- enCoding:utf-8 -*-import threadingimport timedef long_time_task(i):    time.sleep(2)    return 8**20class MyThread(threading.Thread):    def __init__(self,func,args,name=‘‘,):        threading.Thread.__init__(self)        self.func = func        self.args = args        self.name = name        self.result = None    def run(self):        print(‘开始子进程{}‘.format(self.name))        self.result = self.func(self.args[0],)        print("结果: {}".format(self.result))        print(‘结束子进程{}‘.format(self.name))if __name__==‘__main__‘:    start = time.time()    threads = []    for i in range(1,3):        t = MyThread(long_time_task,(i,),str(i))        threads.append(t)    for t in threads:        t.start()    for t in threads:        t.join()    end = time.time()    print("总共用时{}秒".format((end - start)))

输出结果如下所示:

开始子进程1
开始子进程2
结果: 1152921504606846976
结果: 1152921504606846976
结束子进程1
结束子进程2
总共用时2.005445718765259秒

 不同线程间的数据共享

一个进程所含的不同线程间共享内存，这就意味着任何一个变量都可以被任何一个线程修改，因此线程之间共享数据最大的危险在于多个线程同时改一个变量，把内容给改乱了。如果不同线程间有共享的变量，其中一个方法就是在修改前给其上一把锁lock，确保一次只有一个线程能修改它。threading.lock()方法可以轻易实现对一个共享变量的锁定，修改完后release供其它线程使用。比如下例中账户余额balance是一个共享变量，使用lock可以使其不被改乱。

@H_451_419@#@H_451_419@ -*- Coding: utf-8 -*import threadingclass Account:    def __init__(self):        self.balance = 0    def add(self,lock):        @H_451_419@#@H_451_419@ 获得锁        lock.acquire()        for i in range(0,100000):            self.balance += 1        @H_451_419@#@H_451_419@ 释放锁        lock.release()    def delete(self,100000):            self.balance -= 1            @H_451_419@#@H_451_419@ 释放锁        lock.release()if __name__ == "__main__":    account = Account()    lock = threading.Lock()    @H_451_419@#@H_451_419@ 创建线程   thread_add = threading.Thread(target=account.add,args=(lock,name=‘Add‘)    thread_delete = threading.Thread(target=account.delete,name=‘Delete‘)    @H_451_419@#@H_451_419@ 启动线程   thread_add.start()    thread_delete.start()    @H_451_419@#@H_451_419@ 等待线程结束   thread_add.join()    thread_delete.join()    print(‘The final balance is: {}‘.format(account.balance))

 

另一种实现不同线程间数据共享的方法就是使用消息队列queue。不像列表，queue是线程安全的，可以放心使用，见下文。

 使用queue队列通信-经典的生产者和消费者模型

下例中创建了两个线程，一个负责生成，一个负责消费，所生成的产品存放在queue里，实现了不同线程间沟通。

from queue import Queueimport random,threading,time@H_451_419@#@H_451_419@ 生产者类class Producer(threading.Thread):    def __init__(self,name,queue):        threading.Thread.__init__(self,name=name)        self.queue = queue    def run(self):        for i in range(1,5):            print("{} is producing {} to the queue!".format(self.getname(),i))            self.queue.put(i)            time.sleep(random.randrange(10) / 5)        print("%s finished!" % self.getname())@H_451_419@#@H_451_419@ 消费者类class Consumer(threading.Thread):    def __init__(self,name=name)        self.queue = queue    def run(self):        for i in range(1,5):            val = self.queue.get()            print("{} is consuming {} in the queue.".format(self.getname(),val))            time.sleep(random.randrange(10))        print("%s finished!" % self.getname())def main():    queue = Queue()    producer = Producer(‘Producer‘,queue)    consumer = Consumer(‘Consumer‘,queue)    producer.start()    consumer.start()    producer.join()    consumer.join()    print(‘All threads finished!‘)if __name__ == ‘__main__‘:    main()

队列queue的put方法可以将一个对象obj放入队列中。如果队列已满，此方法将阻塞至队列有空间可用为止。queue的get方法一次返回队列中的一个成员。如果队列为空，此方法将阻塞至队列中有成员可用为止。queue同时还自带emtpy(),full()等方法来判断一个队列是否为空或已满，但是这些方法并不可靠，因为多线程和多进程，在返回结果和使用结果之间，队列中可能添加/删除了成员。

 Python多进程和多线程哪个快?

 由于GIL的存在，很多人认为Python多进程编程更快，针对多核cpu，理论上来说也是采用多进程更能有效利用资源。网上很多人已做过比较，我直接告诉你结论吧。

对cpu密集型代码(比如循环计算) - 多进程效率更高

对IO密集型代码(比如文件 *** 作，网络爬虫) - 多线程效率更高。 

为什么是这样呢？其实也不难理解。对于IO密集型 *** 作，大部分消耗时间其实是等待时间，在等待时间中cpu是不需要工作的，那你在此期间提供双cpu资源也是利用不上的，相反对于cpu密集型代码，2个cpu干活肯定比一个cpu快很多。那么为什么多线程会对IO密集型代码有用呢？这因是为python碰到等待会释放GIL供新的线程使用，实现了线程间的切换。

 

GIL是什么

首先需要明确的一点是GIL并不是Python的特性，它是在实现Python解析器(cpython)时所引入的一个概念。就好比C++是一套语言（语法）标准，但是可以用不同的编译器来编译成可执行代码。有名的编译器例如GCC，INTEL C++，Visual C++等。Python也一样，同样一段代码可以通过cpython，PyPy，Psyco等不同的Python执行环境来执行。像其中的JPython就没有GIL。然而因为cpython是大部分环境下默认的Python执行环境。所以在很多人的概念里cpython就是Python，也就想当然的把GIL归结为Python语言的缺陷。所以这里要先明确一点：GIL并不是Python的特性，Python完全可以不依赖于GIL。

GIL: 一个防止多线程并发执行机器码的一个Mutex，乍一看就是个BUG般存在的全局锁嘛！别急，我们下面慢慢的分析。

为什么会有GIL

由于物理上得限制，各cpu厂商在核心频率上的比赛已经被多核所取代。为了更有效的利用多核处理器的性能，就出现了多线程的编程方式，而随之带来的就是线程间数据一致性和状态同步的困难。即使在cpu内部的Cache也不例外，为了有效解决多份缓存之间的数据同步时各厂商花费了不少心思，也不可避免的带来了一定的性能损失。

Python当然也逃不开，为了利用多核，Python开始支持多线程。而解决多线程之间数据完整性和状态同步的最简单方法自然就是加锁。 于是有了GIL这把超级大锁，而当越来越多的代码库开发者接受了这种设定后，他们开始大量依赖这种特性（即默认python内部对象是thread-safe的，无需在实现时考虑额外的内存锁和同步 *** 作）。

慢慢的这种实现方式被发现是蛋疼且低效的。但当大家试图去拆分和去除GIL的时候，发现大量库代码开发者已经重度依赖GIL而非常难以去除了。有多难？做个类比，像MysqL这样的“小项目”为了把Buffer Pool Mutex这把大锁拆分成各个小锁也花了从5.5到5.6再到5.7多个大版为期近5年的时间，本且仍在继续。MysqL这个背后有公司支持且有固定开发团队的产品走的如此艰难，那又更何况Python这样核心开发和代码贡献者高度社区化的团队呢？

所以简单的说GIL的存在更多的是历史原因。如果推到重来，多线程的问题依然还是要面对，但是至少会比目前GIL这种方式会更优雅。

 GIL的影响

从上文的介绍和官方的定义来看，GIL无疑就是一把全局排他锁。毫无疑问全局锁的存在会对多线程的效率有不小影响。甚至就几乎等于Python是个单线程的程序。
那么读者就会说了，全局锁只要释放的勤快效率也不会差啊。只要在进行耗时的IO *** 作的时候，能释放GIL，这样也还是可以提升运行效率的嘛。或者说再差也不会比单线程的效率差吧。理论上是这样，而实际上呢？Python比你想的更糟。

下面我们就对比下Python在多线程和单线程下得效率对比。测试方法很简单，一个循环1亿次的计数器函数。一个通过单线程执行两次，一个多线程执行。最后比较执行总时间。测试环境为双核的Mac pro。注：为了减少线程库本身性能损耗对测试结果带来的影响，这里单线程的代码同样使用了线程。只是顺序的执行两次，模拟单线程。

顺序执行的单线程(single_thread.py)

@H_403_1333@

@H_451_419@#@H_451_419@! /usr/bin/python from threading import Threadimport time def my_counter():    i = 0    for _ in range(100000000):        i = i + 1    return True def main():    thread_array = {}    start_time = time.time()    for tID in range(2):        t = Thread(target=my_counter)        t.start()        t.join()    end_time = time.time()    print("Total time: {}".format(end_time - start_time)) if __name__ == ‘__main__‘:    main()

同时执行的两个并发线程(multi_thread.py)

@H_451_419@#@H_451_419@! /usr/bin/python from threading import Threadimport time def my_counter():    i = 0    for _ in range(100000000):        i = i + 1    return True def main():    thread_array = {}    start_time = time.time()    for tID in range(2):        t = Thread(target=my_counter)        t.start()        thread_array[tID] = t    for i in range(2):        thread_array[i].join()    end_time = time.time()    print("Total time: {}".format(end_time - start_time)) if __name__ == ‘__main__‘:    main()

python在多线程的情况下居然比单线程整整慢了45%。按照之前的分析，即使是有GIL全局锁的存在，串行化的多线程也应该和单线程有一样的效率才对。那么怎么会有这么糟糕的结果呢？

让我们通过GIL的实现原理来分析这其中的原因。

当前GIL设计的缺陷

基于pcode数量的调度方式

按照Python社区的想法， *** 作系统本身的线程调度已经非常成熟稳定了，没有必要自己搞一套。所以Python的线程就是C语言的一个pthread，并通过 *** 作系统调度算法进行调度（例如linux是CFS）。为了让各个线程能够平均利用cpu时间，python会计算当前已执行的微代码数量，达到一定阈值后就强制释放GIL。而这时也会触发一次 *** 作系统的线程调度（当然是否真正进行上下文切换由 *** 作系统自主决定）。

伪代码

while True:    acquire GIL    for i in 1000:        do something    release GIL    /* Give Operating System a chance to do thread scheduling */

这种模式在只有一个cpu核心的情况下毫无问题。任何一个线程被唤起时都能成功获得到GIL（因为只有释放了GIL才会引发线程调度）。但当cpu有多个核心的时候，问题就来了。从伪代码可以看到，从release GIL到acquire GIL之间几乎是没有间隙的。所以当其他在其他核心上的线程被唤醒时，大部分情况下主线程已经又再一次获取到GIL了。这个时候被唤醒执行的线程只能白白的浪费cpu时间，看着另一个线程拿着GIL欢快的执行着。然后达到切换时间后进入待调度状态，再被唤醒，再等待，以此往复恶性循环。

PS：当然这种实现方式是原始而丑陋的，Python的每个版本中也在逐渐改进GIL和线程调度之间的互动关系。例如先尝试持有GIL在做线程上下文切换，在IO等待时释放GIL等尝试。但是无法改变的是GIL的存在使得 *** 作系统线程调度的这个本来就昂贵的 *** 作变得更奢侈了。
关于GIL影响的扩展阅读

为了直观的理解GIL对于多线程带来的性能影响，这里直接借用的一张测试结果图（见下图）。图中表示的是两个线程在双核cpu上得执行情况。两个线程均为cpu密集型运算线程。绿色部分表示该线程在运行，且在执行有用的计算，红色部分为线程被调度唤醒，但是无法获取GIL导致无法进行有效运算等待的时间。

由图可见，GIL的存在导致多线程无法很好的立即多核cpu的并发处理能力。

那么Python的IO密集型线程能否从多线程中受益呢？我们来看下面这张测试结果。颜色代表的含义和上图一致。白色部分表示IO线程处于等待。可见，当IO线程收到数据包引起终端切换后，仍然由于一个cpu密集型线程的存在，导致无法获取GIL锁，从而进行无尽的循环等待。

简单的总结下就是：Python的多线程在多核cpu上，只对于IO密集型计算产生正面效果；而当有至少有一个cpu密集型线程存在，那么多线程效率会由于GIL而大幅下降。

如何避免受到GIL的影响

说了那么多，如果不说解决方案就仅仅是个科普帖，然并卵。GIL这么烂，有没有办法绕过呢？我们来看看有哪些现成的方案。

用multiprocess替代Thread

multiprocess库的出现很大程度上是为了弥补thread库因为GIL而低效的缺陷。它完整的复制了一套thread所提供的接口方便迁移。唯一的不同就是它使用了多进程而不是多线程。每个进程有自己的独立的GIL，因此也不会出现进程之间的GIL争抢。

当然multiprocess也不是万能良药。它的引入会增加程序实现时线程间数据通讯和同步的困难。就拿计数器来举例子，如果我们要多个线程累加同一个变量，对于thread来说，申明一个global变量，用thread.Lock的context包裹住三行就搞定了。而multiprocess由于进程之间无法看到对方的数据，只能通过在主线程申明一个Queue，put再get或者用share memory的方法。这个额外的实现成本使得本来就非常痛苦的多线程程序编码，变得更加痛苦了。具体难点在哪有兴趣的读者可以扩展阅读这篇文章

用其他解析器

之前也提到了既然GIL只是cpython的产物，那么其他解析器是不是更好呢？没错，像JPython和IronPython这样的解析器由于实现语言的特性，他们不需要GIL的帮助。然而由于用了Java/C#用于解析器实现，他们也失去了利用社区众多C语言模块有用特性的机会。所以这些解析器也因此一直都比较小众。毕竟功能和性能大家在初期都会选择前者，Done is better than perfect。

所以没救了么？

当然Python社区也在非常努力的不断改进GIL，甚至是尝试去除GIL。并在各个小版本中有了不少的进步。有兴趣的读者可以扩展阅读这个SlIDe

另一个改进Reworking the GIL
– 将切换颗粒度从基于opcode计数改成基于时间片计数
– 避免最近一次释放GIL锁的线程再次被立即调度
– 新增线程优先级功能（高优先级线程可以迫使其他线程释放所持有的GIL锁）

总结

Python GIL其实是功能和性能之间权衡后的产物，它尤其存在的合理性，也有较难改变的客观因素。从本分的分析中，我们可以做以下一些简单的总结：

因为GIL的存在，只有IO Bound场景下得多线程会得到较好的性能 如果对并行计算性能较高的程序可以考虑把核心部分也成C模块，或者索性用其他语言实现 GIL在较长一段时间内将会继续存在，但是会不断对其进行改进 参考资料： 一文看懂Python多进程与多线程编程 python中的GIL详解 总结

以上是内存溢出为你收集整理的Python多进程与多线程编程及GIL详解全部内容，希望文章能够帮你解决Python多进程与多线程编程及GIL详解所遇到的程序开发问题。

如果觉得内存溢出网站内容还不错，欢迎将内存溢出网站推荐给程序员好友。