Python的concurrent.futures模块:简化多线程与多进程编程
在现代计算机应用中,为了充分利用多核CPU的计算能力,多线程和多进程编程成为了常见的手段。Python,作为一种高级编程语言,为我们提供了丰富的库来支持多线程和多进程的编程。其中,concurrent.futures
模块是一个相对高级的接口,它简化了多线程和多进程的创建和管理。
一、concurrent.futures模块简介
concurrent.futures
模块为异步执行可调用对象提供了高层次的接口。它主要提供了两个类:ThreadPoolExecutor
和ProcessPoolExecutor
,分别用于创建和管理线程池与进程池。通过这个模块,我们可以非常方便地并行执行任务,而无需关心底层的线程或进程管理细节。
二、ThreadPoolExecutor:线程池
使用ThreadPoolExecutor
可以轻松地创建一个线程池,并提交任务给线程池来异步执行。下面是一个简单的示例:
import concurrent.futures
import time
def task(n):
print(f"Processing {
n}")
time.sleep(2) # 模拟耗时操作
return n * n
# 创建一个包含3个线程的线程池
with concurrent.futures.ThreadPoolExecutor(max_workers=3) as executor:
# 提交任务到线程池
futures = [executor.submit(task, i) for i in range(5)]
# 遍历Future对象列表,获取每个任务的结果
for future in concurrent.futures.as_completed(futures):
try:
result = future.result() # 获取任务结果,如果任务抛出异常,这里会重新抛出
print(f"Result: {
result}")
except Exception as exc:
print(f'Error occurred: {
exc}')
在这个示例中,我们创建了一个包含3个线程的线程池,并提交了5个任务到线程池中。每个任务只是简单地打印一个消息,然后休眠2秒钟来模拟耗时操作。我们使用as_completed
函数来迭代已完成的Future对象,并获取每个任务的结果。
三、ProcessPoolExecutor:进程池
与线程池类似,ProcessPoolExecutor
用于创建进程池。由于进程之间的内存是隔离的,因此进程池特别适合于CPU密集型任务,或者需要避免全局解释器锁(GIL)的场景。下面是一个使用进程池的示例:
import concurrent.futures
import time
import os
def cpu_bound_task(n):
print(f"Processing {
n} in process {
os.getpid()}")
time.sleep(2) # 模拟耗时操作
return n * n
# 创建一个包含3个进程的进程池
with concurrent.futures.ProcessPoolExecutor(max_workers=3) as executor:
futures = [executor.submit(cpu_bound_task, i) for i in range(5)]
for future in concurrent.futures.as_completed(futures):
try:
result = future.result() # 获取任务结果
print(f"Result: {
result}")
except Exception as exc:
print(f'Error occurred: {
exc}')
在这个示例中,我们创建了一个包含3个进程的进程池,并提交了5个CPU密集型任务到进程池中。每个任务打印一个消息和当前进程的PID,然后休眠2秒钟来模拟耗时操作。最后,我们迭代已完成的Future对象并获取每个任务的结果。注意,由于进程间通信的开销较大,因此进程池适合于CPU密集型任务,而不是IO密集型任务。
四、总结
concurrent.futures
模块为Python的多线程和多进程编程提供了简洁而强大的接口。通过ThreadPoolExecutor
和ProcessPoolExecutor
类,我们可以轻松地创建和管理线程池与进程池,从而并行执行任务。这大大提高了程序的执行效率和响应性。在实际应用中,我们可以根据任务的性质和系统的资源来选择使用线程池还是进程池。
文章浏览阅读3.8k次。1、将下载好的萤石js插件,添加到SoringBoot项目中。位置可参考下图所示。(容易出错的地方,在将js插件在html页面引入时,发生路径错误的问题)所以如果对页面中引入js的路径不清楚,可参考下图所示存放路径。2、将ezuikit.js引入到demo-live.html中。(可直接将如下代码复制到你创建的html页面中)<!DOCTYPE html><html lan..._ezuikit 测试的url
文章浏览阅读322次。第二步,在弹出的对话框选择,设备驱动—>PLC—>莫迪康—>ModbusRTU—>COM,根据配置软件选择的协议选期期,这里以此为例,然后点击“下一步”。第四步,把使用虚拟串口打勾(GPRS设备),根据需要选择要生成虚拟口,这里以选择KVCOM1为例,然后点击“下一步”设备ID即Modbus地址(1-255) 使用DTU时,为下485接口上的设备地址。第六步,Modbus的从机地址,与配置软件相同,这里以1为例,点击“下一步“第五步,Modbus的从机地址,与配置软件相同,这里以1为例,点击“下一步“_组态王ua
文章浏览阅读9.4k次,点赞22次,收藏19次。安装npm相当于安装node.js,Node.js已自带npm,安装Node.js时会一起安装,npm的作用就是对Node.js依赖的包进行管理,也可以理解为用来安装/卸载Node.js需要装的东西_npm安装配置
文章浏览阅读748次,点赞21次,收藏26次。大家好,小编来为大家解答以下问题,python基础训练100题,python入门100例题,现在让我们一起来看看吧!宝子们还在新手村练级的时候,不单要吸入基础知识,夯实自己的理论基础,还要去实际操作练练手啊!由于文章篇幅限制,不可能将100道题全部呈现在此除了这些,下面还有我整理好的基础入门学习资料,视频和讲解文案都很齐全,用来入门绝对靠谱,需要的自提。保证100%免费这不,贴心的我爆肝给大家整理了这份今天给大家分享100道Python练习题。大家一定要给我三连啊~
文章浏览阅读1k次。 为了在 Linux ( Ubuntu) 上安装sublime,一般大家都会选择常见的教程或是 sublime 官网教程,然而在国内这种方法可能失效。为此,需要用安装包安装。以下就是使用官网安装包安装的教程。打开 sublime 官网后,点击右上角 download, 或是直接访问点击打开链接,即可看到各个平台上的安装包。选择 Linux 64 位版并下载。下载后,打开终端,进入安装..._ubuntu 安装sumlime text打不开
文章浏览阅读563次,点赞13次,收藏6次。CrossOver24是一款类虚拟机软件,专为macOS和Linux用户设计。它的核心技术是Wine,这是一种在Linux和macOS等非Windows操作系统上运行Windows应用程序的开源软件。通过CrossOver24,用户可以在不购买Windows授权或使用传统虚拟机的情况下,直接在Mac或Linux系统上运行Windows软件和游戏。该软件还提供了丰富的功能,如自动配置、无缝集成和实时传输等,以实现高效的跨平台操作体验。
文章浏览阅读1.7k次。一个用聊天的方式让ChatGPT帮我写的线程安全的环形List_为什么gpt一写list就卡
文章浏览阅读336次。我们在前面的文章里曾写过Web应用中乱码产生的原因和处理方式,旧文回顾:深度揭秘乱码问题背后的原因及解决方式其中我们提到可以通过Filter的方式来设置请求和响应的encoding,来解..._filterconfig selectencoding
文章浏览阅读651次。转自:http://www.jb51.net/article/36480.htmencodeURI和decodeURI是成对来使用的,因为浏览器的地址栏有中文字符的话,可以会出现不可预期的错误,所以可以encodeURI把非英文字符转化为英文编码,decodeURI可以用来把字符还原回来_js encodeur decodeurl
文章浏览阅读1.9w次,点赞6次,收藏3次。前言在日常的Android开发当中,我们肯定要打包apk。但是今天我打包的时候遇到一个很奇怪的问题Android The destination folder does not exist or is not writeable,大意是目标文件夹不存在或不可写。出现问题的原因以及解决办法上面有说报错的中文大意是:目标文件夹不存在或不可写。其实问题就在我们的打包界面当中图中标红的Desti..._the destination folder does not exist or is not writeable
文章浏览阅读94次。一、配置代码编辑区的样式 <1>打开Eclipse,Help —> Install NewSoftware,界面如下: <2>点击add...,按下图所示操作: name:随意填写,Location:http://eclipse-color-th..._ecplise高大上设置
文章浏览阅读2.8k次。一,下载mysql:http://dev.mysql.com/downloads/mysql/; 打开页面之后,在Select Platform:下选择linux Generic,如果没有出现Linux的选项,请换一个浏览器试试。我用的谷歌版本不可以,换一个别的浏览器就行了,如果还是不行,需要换一个翻墙的浏览器。 二,下载完后解压缩并放到安装文件夹下: 1、MySQL-client-5.6.2_linux mysql 安装 mysql-5.6.24-1.linux_glibc2.5.x86_64.rpm-bundle