Python30_线程详解

Python30_线程详解文章目录Python30_线程详解[toc]一、进程和线程1. GIL锁2. 线程开发3. 线程安全4. 线程锁5. 死锁6. 线程池7. 线程和进程对比7.1 关系对比7.2 区别对比7.3 优缺点对比一、进程和线程先来了解一下进程和线程类比一个工厂至少有一个车间一个车间中至少有一个工人最终是工人在工作。一个程序至少有一个进程一个进程中至少有一个线程最终是线程在工作。上述串行的代码示例就是一个程序在使用python xx.py 运行时内部就创建了一个进程主进程在进程中创建了一个线程主线程由线程逐行运行代码。 线程是计算机中可以被cpu调度的最小单元 进程是计算机资源分配的最小单元进程为线程提供资源 一个进程中可以有多个线程同一个进程中的线程可以共享此进程中的资源。在Python中多线程和多进程是用来实现并发执行的两种机制。这些系统调用fork、spawn是底层操作系统提供的方式可以用来创建新的进程或者线程。1、 linux 系统fork在Linux系统中fork是一种创建进程的方式它会复制当前进程的状态创建一个新的进程。新的进程称为子进程而原始进程称为父进程。fork系统调用返回两次一次在父进程中返回子进程的PID一次在子进程中返回0。子进程会继承父进程的代码段、数据段、堆栈等信息。2、window系统spawn在Windows系统中spawn是一种创建进程的方式它通过调用CreateProcess函数来创建一个新的进程。与fork不同spawn在Windows系统中不能直接复制当前进程的状态而是需要指定要执行的程序路径。CreateProcess函数会创建一个新的进程并且可以指定该进程的参数、环境变量等信息。3、mac系统fork和spawn python3.8 默认支持spawn要是需要修改fork: multiprocessing.set_start_method(‘fork’)在Mac系统中fork和spawn两种方式都可以用来创建进程。fork与Linux中的fork类似复制当前进程的状态创建新的进程。而spawn与Windows中的spawn类似通过调用posix_spawn函数创建新的进程。对于Python的多线程和多进程可以使用threading和multiprocessing模块来实现。threading模块提供了线程相关的功能可以创建和管理线程。multiprocessing模块则提供了多进程相关的功能可以创建和管理进程。因此无论是在Linux、Windows还是Mac系统中都可以使用fork或spawn来创建新的进程并结合Python的多线程或多进程机制来实现并发执行的效果。具体选择哪种方式取决于所使用的操作系统和需求。1. GIL锁全局解释器锁( Global Interpreter Lock),是 CPython 解释器的功能让一个进程中同一时刻只能有一个线程可以被CPU调用。如果程序想利用计算机多核优势让CPU同时处理一些任务适合用多进程开发即使资源开销大。如果程序不利用计算机的多核优势适合用多线程开发常见的程序开发中计算操作需要使用CPU多核优势IO操作不需要利用多核优势所以就有一句话计算密集型用多进程例如大量的数据计算【累加计算实例】。IO密集型用多线程例如文件读写网络数据传输【下载抖音视频实例爬虫】。2. 线程开发线程的常见方法t.start()当前线程准备就绪等待CPU调度具体时间是由CPU来决定。t.join()等待当前线程的任务执行完毕后再向下继续执行。主线程等待子线程执行完毕在继续向下执行。t.setDaemon布尔值守护线程必须放在start之前t.setDaemon(True),设置为守护线程主线程执行完毕后子线程也自动关闭。t.setDaemon(False),设置为非守护线程主线程等待子线程子线程执行完毕后主线程才结束。默认线程名称的设置和获取 设置名字在start之前【注意事项线程的执行并不是按照顺序进行执行的】importthreadingdeftask(srd):# 获取当前执行此代码的线程# name threading.current_thread().getName()namethreading.current_thread().nameprint(f线程name:{name}- 参数:{srd})foriinrange(10):tthreading.Thread(targettask,args(i,))# 设置名字# t.setName(日魔-{}.format(i))t.name日魔-{}.format(i)t.start()打印结果线程name:日魔-0 - 参数:0 线程name:日魔-2 - 参数:2 线程name:日魔-3 - 参数:3 线程name:日魔-1 - 参数:1 线程name:日魔-4 - 参数:4 线程name:日魔-5 - 参数:5 线程name:日魔-6 - 参数:6 线程name:日魔-7 - 参数:7 线程name:日魔-8 - 参数:8 线程name:日魔-9 - 参数:9自定义线程类直接将线程需要做的是写到run方法中。importtimeimportrequestsimportthreadingclassDouYinThread(threading.Thread):defrun(self)file_name,video_urlself.args resrequests.get(video_url)withopen(file_name,modewb)asf:f.write(res.content)url_list[(东北F4模仿秀.mp4,https://aweme.snssdk.com/aweme/v1/playwm/?video_idv0300f570000bvbmace0gvch7lo53oog),(卡特扣篮.mp4,https://aweme.snssdk.com/aweme/v1/playwm/?video_idv0200f3e0000bv52fpn5t6p007e34q1g),(罗斯mvp.mp4,https://aweme.snssdk.com/aweme/v1/playwm/?video_idv0200f240000buuer5aa4tij4gv6ajgg)]forname,urlinurl_list:tDouYinThread(args(name,url))t.start()3. 线程安全importthreading lock_objectthreading.RLock()loop10000000number0def_add(count):lock_object.acquire()# 加锁申请锁没申请到则等待globalnumberforiinrange(count):number1lock_object.release()# 释放锁def_sub(count):lock_object.acquire()globalnumberforiinrange(count):number-1lock_object.release()tthreading.Thread(target_add,args(loop,))t1threading.Thread(target_sub,args(loop,))t.start()t1.start()t.join()t1.join()print(number)使用 with关键字加锁importthreading num0lock_objectthreading.RLock()# def task():# print(开始)# lock_object.acquire()# global num# for i in range(1000000):# num 1# lock_object.release()# print(num)# for i in range(2):# t threading.Thread(targettask)# t.start()deftask1():print(开始)withlock_object:globalnumforiinrange(1000000):num1print(num)foriinrange(2):tthreading.Thread(targettask1)t.start()对于有些数据是安全的数据类型不需要加锁list.append(x)list.extend(l2)x list[i]x pop()list[i:j] list2list.sort()x yx.feadf ydict[x] ydict1.update(dict2)dict.keys()不安全的数据类型操i 1list1[i] list1[j]dict[x] dict[x]14. 线程锁在程序中如果想要自己手动加锁一般有两种Lock和RLock。Lock 同步锁不支持锁的嵌套比较RLockLock的效率更高性能更好RLock 递归锁 支持锁的嵌套应用场景比较多比如你写了一个函数用到锁了然后你同事也写了一个函数也遇到锁了并调用你的函数时就遇到嵌套锁所以遇到这种嵌套的就要用RLock5. 死锁多线程和进程的死锁是并发编程中常见的问题它们指的是在多个线程或进程中相互等待对方释放资源而无法继续执行的情况。多线程死锁 多线程死锁指的是两个或多个线程因为争夺资源而相互等待导致程序无法继续执行下去。通常出现死锁的情况需要满足以下四个条件互斥、占有且等待、不可抢占和循环等待。 示例代码如下import threading # 创建资源对象 resourceA threading.Lock() resourceB threading.Lock() # 线程1获取资源A后尝试获取资源B def thread1(): resourceA.acquire() resourceB.acquire() # 执行操作... resourceB.release() resourceA.release() # 线程2获取资源B后尝试获取资源A def thread2(): resourceB.acquire() resourceA.acquire() # 执行操作... resourceA.release() resourceB.release() # 创建线程并启动 t1 threading.Thread(targetthread1) t2 threading.Thread(targetthread2) t1.start() t2.start()在上述代码中线程1先获取了资源A然后尝试获取资源B而线程2先获取了资源B然后尝试获取资源A。由于两个线程相互等待对方释放资源导致了死锁的发生。进程死锁 进程死锁与多线程死锁类似只不过是在并发执行的多个进程 ** 现相互等待的情况。进程死锁的解决方法通常通过资源分配顺序的调整、加锁的合理释放、避免持有多个锁等方式来避免。示例代码如下import multiprocessing # 创建资源对象 resourceA multiprocessing.Lock() resourceB multiprocessing.Lock() # 进程1获取资源A后尝试获取资源B def process1(): resourceA.acquire() resourceB.acquire() # 执行操作... resourceB.release() resourceA.release() # 进程2获取资源B后尝试获取资源A def process2(): resourceB.acquire() resourceA.acquire() # 执行操作... resourceA.release() resourceB.release() # 创建进程并启动 p1 multiprocessing.Process(targetprocess1) p2 multiprocessing.Process(targetprocess2) p1.start() p2.start()在上述代码中进程1先获取了资源A然后尝试获取资源B而进程2先获取了资源B然后尝试获取资源A。同样地由于两个进程相互等待对方释放资源导致了死锁的发生。6. 线程池线程不是开的越多越好开的多了可能会导致系统的性能更低了所以就引入线程池importtimefromconcurrent.futuresimportThreadPoolExecutordeftask(video_url):print(开始执行任务,video_url)time.sleep(5)# 创建线程池最多维护10个线程poolThreadPoolExecutor(10)url_list[www.xxxx-{}.com.format(i)foriinrange(300)]forurlinurl_list:# 在线程池中提交一个任务线程池中如果有空闲的线程侧立马分配空前的线程去执行执行完毕后再将线程交还给线程池如果没有空闲的线程则等待pool.submit(task,url)print(start)pool.shutdown(True)# 等待线程池中的任务执行完毕后在继续执行有点像线程的join方法print(end)线程池任务完成可以干些别的事情比如执行完成后再让他做写其他事情比如爬取数据后执行完后再将其写入一个文件中多任务importtimefromconcurrent.futuresimportThreadPoolExecutordeftask(video_url):print(开始执行任务,video_url)time.sleep(5)defdone(response):print(任务执行后的返回值)# 创建线程池最多维护10个线程poolThreadPoolExecutor(10)url_list[www.xxxx-{}.com.format(i)foriinrange(15)]forurlinurl_list:# 在线程池中提交一个任务线程池中如果有空闲的线程侧立马分配空前的线程去执行执行完毕后再将线程交还给线程池如果没有空闲的线程则等待futurespool.submit(task,url)futures.add_done_callback(done)# 时子主线程执行print(start)pool.shutdown(True)# 等待线程池中的任务执行完毕后在继续执行有点像线程的join方法print(end)# 可以分工, 例如:task函数专门下载, Done函数 专门将下载的数据写入本地文件中7. 线程和进程对比7.1 关系对比线程式依附在进程里面的没有进程就没有线程。一个进程默认提供一个线程一个进程可以创建多个线程7.2 区别对比创建进程的资源开销要比创建线程开销要大因为创建一个进程里面默认有一个线程进程是操作系统资源分配的基本单位线程是cpu调度的基本单位线程不能独立执行必须依附存在进程中7.3 优缺点对比进程优点可以使用多核缺点资源开销大线程优点开销小缺点不能使用多核