经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 程序设计 » Python » 查看文章
Python中的协程、线程和进程
来源:cnblogs  作者:扫地升  时间:2024/1/3 9:14:00  对本文有异议

一.协程与多线程和多进程一起使用有什么不同

??协程、多线程和多进程都是实现程序并发执行的方法,不过它们在工作方式和适合的应用场景上存在一些区别。

1.协程(Coroutine)

??协程是在单一线程内部实现并发的,由于只涉及单一线程,不存在多线程中常见的数据竞争等线程同步问题。当协程遇到 IO 操作(如文件读写、网络请求)时,它会将控制权让给其他协程,直到 IO 操作完成。因此,协程适合用于 IO 密集型任务。

2.多线程Multithreading

??多线程通过在单个进程中同时运行多个线程来实现并发。每个线程可以独立执行并拥有自己的调用堆栈,但线程之间可以共享进程的内存空间,从而方便地共享状态。需要注意的是,由于存在数据共享,数据同步(如通过锁)会是多线程编程的一个常见问题。多线程适合用于既有计算密集型任务,又有 IO 密集型任务的场景。

3.多进程(Multiprocessing)

??多进程通过并行运行多个进程来实现,并且每个进程有自己独立的内存空间。进程间的通信(IPC)通常通过使用管道、套接字等完成,这比线程间的状态共享更复杂。由于多进程不共享内存,它在需求中有严格的隔离性或是利用多核并行计算时是个好选择。

??需要注意在 Python 中,由于全局解释器锁(GIL)的存在,即使是在多核 CPU 环境下,Python 的多线程在执行 CPU 密集型任务时性能得不到明显提升,反而多进程可以更好利用多核 CPU。所以对于 Python 来说,协程是最适合 IO 密集型任务,而对于 CPU 密集型任务可以选择多进程。

二.在 Python 中如何实现多线程和多进程

??在 Python 中实现多线程和多进程可以使用 Python 标准库中的 threadingmultiprocessing 模块。

1.在 Python 中创建和使用多线程的一个基本示例

  1. import threading

    def print_numbers():
        for i in range(10):
            print(i)

    def print_letters():
        for letter in 'abcdefghijklmnopqrstuvwxyz':
            print(letter)

    # 创建线程
    thread1 = threading.Thread(target=print_numbers)
    thread2 = threading.Thread(target=print_letters)

    # 启动线程
    thread1.start()
    thread2.start()

    # 等待线程执行完成
    thread1.join()
    thread2.join()

??在上面的代码中,我们定义了两个函数 print_numbersprint_letters,然后以这两个函数作为目标创建了两个线程。start 方法用于启动线程,join 方法用于等待线程执行完成。

2.在 Python 中创建和使用多进程的一个基本示例

  1. import multiprocessing

    def print_numbers():
        for i in range(10):
            print(i)

    def print_letters():
        for letter in 'abcdefghijklmnopqrstuvwxyz':
            print(letter)

    # 创建进程
    process1 = multiprocessing.Process(target=print_numbers)
    process2 = multiprocessing.Process(target=print_letters)

    # 启动进程
    process1.start()
    process2.start()

    # 等待进程执行完成
    process1.join()
    process2.join()

??在上面的代码中,我们创建和使用多进程的方式与多线程基本一致,只是将 threading.Thread 换成了 multiprocessing.Process

三.Python 中的多线程间通讯方式,多进程间间通讯方式分别有哪些

??使用这些方式时需要保证进程间通信和线程同步的安全性,防止出现数据竞争、死锁等问题。

1.Python 中多线程间通讯方式

??由于线程共享进程的内存空间,可以直接访问共享变量进行通信。但需要注意的是,必须保证操作的原子性,避免在多线程环境下产生数据竞争。Python 中常用来保证多线程安全的工具包含:

  • 锁:包括互斥锁(Lock),可重入锁(RLock),条件变量(Condition),信号量(Semaphore)等;
  • 队列:queue 模块提供了同步队列(Queue)、LIFO 队列(LifoQueue)以及优先级队列(PriorityQueue),这些队列都是线程安全的,可以在不同线程之间交换数据,非常方便。

2.Python 中多进程间通讯方式

??因为进程拥有各自的内存空间,不能直接共享变量,通常可以通过以下方式进行通信:

  • 管道(Pipe):multiprocessing 模块中的 Pipe()函数 可以返回一个管道的两个端点,可以分别发放给两个进程,让它们通过管道的方式进行通信;
  • 队列(Queue):multiprocessing 模块提供的 Queue 类是一个具有先进先出特性的队列,也是进程安全的,方便多个进程之间的数据交换;
  • 共享内存:multiprocessing 模块中的 ValueArray,能在多个进程间共享;
  • 服务器进程:一个由 Manager() 函数返回的管理器对象控制的服务器进程,这个进程包含的 python 对象,可以被其他进程通过代理进行访问。如果有大量的共享数据,这种方式可能会比更底层的共享方式更合适。

四.nest_asyncio 库

??解决 Python 的原生 asyncio 库不允许在同一个线程中运行多个事件循环的问题,即 RuntimeError: This event loop is already running。如下所示:

  1. import nest_asyncio
    nest_asyncio.apply()

    async def main():
        await asyncio.sleep(1)
        print('Hello, World!')

    asyncio.run(main())

??这个例子即使在运行一个事件循环的环境中(如 Jupyter notebook),这段代码也可以正常运行。这是因为 nest_asyncio.apply() 允许在同一线程中运行多个事件循环。

参考文献

[1] asyncio(异步 I/O):https://docs.python.org/zh-cn/3/library/asyncio.html

[2] https://github.com/erdewit/nest_asyncio

[3] https://docs.python.org/3/library/threading.html

[4] https://docs.python.org/3/library/multiprocessing.html




NLP工程化

1.本公众号以对话系统为中心,专注于Python/C++/CUDA、ML/DL/RL和NLP/KG/DS/LLM领域的技术分享。
2.本公众号Roadmap可查看飞书文档:https://z0yrmerhgi8.feishu.cn/wiki/Zpewwe2T2iCQfwkSyMOcgwdInhf

NLP工程化

飞书文档

原文链接:https://www.cnblogs.com/shengshengwang/p/17942218

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号