经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 程序设计 » Python » 查看文章
python编程使用协程并发的优缺点
来源:jb51  时间:2018/9/25 19:05:40  对本文有异议

协程

协程是一种用户态的轻量级线程,又称微线程。

协程拥有自己的寄存器上下文和栈,调度切换时,将寄存器上下文和栈保存到其他地方,在切回来的时候,恢复先前保存的寄存器上下文和栈。因此:协程能保留上一次调用时的状态(即所有局部状态的一个特定组合),每次过程重入时,就相当于进入上一次调用的状态,换种说法:进入上一次离开时所处逻辑流的位置。

优点:

1.无需线程上下文切换的开销
2.无需原子操作锁定及同步的开销
3.方便切换控制流,简化编程模型
4.高并发+高扩展性+低成本:一个CPU支持上万的协程都不是问题。所以很适合用于高并发处理。

所谓原子操作是指不会被线程调度机制打断的操作;这种操作一旦开始,就一直运行到结束,中间不会有任何 context switch (切换到另一个线程)。

原子操作可以是一个步骤,也可以是多个操作步骤,但是其顺序是不可以被打乱,或者切割掉只执行部分。视作整体是原子性的核心。

缺点:

1.无法利用多核资源:协程的本质是个单线程,它不能同时将 单个CPU 的多个核用上,协程需要和进程配合才能运行在多CPU上.当然我们日常所编写的绝大部分应用都没有这个必要,除非是cpu密集型应用。
2.进行阻塞(Blocking)操作(如IO时)会阻塞掉整个程序

使用Gevent

gevent是python的一个并发框架,以微线程greenlet为核心,使用了epoll事件监听机制以及诸多其他优化而变得高效.

•简单示例

gevent的sleep可以交出控制权,当我们在受限于网络或IO的函数中使用gevent,这些函数会被协作式的调度, gevent的真正能力会得到发挥。Gevent处理了所有的细节, 来保证你的网络库会在可能的时候,隐式交出greenlet上下文的执行权。

  1. import gevent
  2. def foo():
  3. print('running in foo')
  4. gevent.sleep(0)
  5. print('com back from bar in to foo')
  6. def bar():
  7. print('running in bar')
  8. gevent.sleep(0)
  9. print('com back from foo in to bar')
  10. # 创建线程并行执行程序
  11. gevent.joinall([
  12. gevent.spawn(foo),
  13. gevent.spawn(bar),
  14. ])

  执行结果

running in foo
running in bar
com back from bar in to foo
com back from foo in to bar

•同步异步

  1. import random
  2. import gevent
  3. def task(pid):
  4. gevent.sleep(random.randint(0, 2) * 0.001)
  5. print('Task %s done' % pid)
  6. def synchronous():
  7. for i in range(1, 10):
  8. task(i)
  9. def asynchronous():
  10. threads = [gevent.spawn(task, i) for i in range(10)]
  11. gevent.joinall(threads)
  12. print('Synchronous:')
  13. synchronous()
  14. print('Asynchronous:')
  15. asynchronous()

  执行输出

Synchronous:

Task 1 done

Task 2 done

Task 3 done

Task 4 done

Task 5 done

Task 6 done

Task 7 done

Task 8 done

Task 9 done

Asynchronous:

Task 1 done

Task 4 done

Task 5 done

Task 9 done

Task 6 done

Task 0 done

Task 2 done

Task 3 done

Task 7 done

Task 8 done

•以子类的方法使用协程

可以子类化Greenlet类,重载它的_run方法,类似多线线程和多进程模块

  1. import gevent
  2. from gevent import Greenlet
  3. class Test(Greenlet):
  4. def __init__(self, message, n):
  5. Greenlet.__init__(self)
  6. self.message = message
  7. self.n = n
  8. def _run(self):
  9. print(self.message, 'start')
  10. gevent.sleep(self.n)
  11. print(self.message, 'end')
  12. tests = [
  13. Test("hello", 3),
  14. Test("world", 2),
  15. ]
  16. for test in tests:
  17. test.start() # 启动
  18. for test in tests:
  19. test.join() # 等待执行结束

•使用monkey patch修改系统标准库(自动切换协程)

当一个greenlet遇到IO操作时,比如访问网络,就自动切换到其他的greenlet,等到IO操作完成,再在适当的时候切换回来继续执行。

由于IO操作非常耗时,经常使程序处于等待状态,有了gevent为我们自动切换协程,就保证总有greenlet在运行,而不是等待IO。

由于切换是在IO操作时自动完成,所以gevent需要修改Python自带的一些标准库,这一过程在启动时通过monkey patch完成

  1. import gevent
  2. import requests
  3. from gevent import monkey
  4. monkey.patch_socket()
  5. def task(url):
  6. r = requests.get(url)
  7. print('%s bytes received from %s' % (len(r.text), url))
  8. gevent.joinall([
  9. gevent.spawn(task, 'https://www.baidu.com/'),
  10. gevent.spawn(task, 'https://www.qq.com/'),
  11. gevent.spawn(task, 'https://www.jd.com/'),
  12. ])

  执行输出

2443 bytes received from https://www.baidu.com/

108315 bytes received from https://www.jd.com/

231873 bytes received from https://www.qq.com/

可以看出3个网络操作是并发执行的,而且结束顺序不同

参考链接:http://hhkbp2.github.io/gevent-tutorial/

总结

以上所述是小编给大家介绍的python编程使用协程并发的优缺点,希望对大家有所帮助,如果大家有任何疑问请给我留言,小编会及时回复大家的。在此也非常感谢大家对w3xue网站的支持!

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号