什么是Python中的全局解釋器鎖
全局解釋器鎖(Global Interpreter Lock)是計(jì)算機(jī)程序設(shè)計(jì)語(yǔ)言解釋器用于同步線程的一種機(jī)制,它使得任何時(shí)刻僅有一個(gè)線程在執(zhí)行。即便在多核處理器上,使用 GIL 的解釋器也只允許同一時(shí)間執(zhí)行一個(gè)線程,常見(jiàn)的使用 GIL 的解釋器有CPython與Ruby MRI??梢钥吹紾IL并不是Python獨(dú)有的特性,是解釋型語(yǔ)言處理多線程問(wèn)題的一種機(jī)制而非語(yǔ)言特性。Python是一門(mén)解釋器語(yǔ)言,代碼通過(guò)解釋器執(zhí)行,Python存在多種解釋器,分別基于不同語(yǔ)言開(kāi)發(fā),每個(gè)解釋器有不同的特點(diǎn)。CPython是主流版本的解釋器,這個(gè)解釋器是使用C語(yǔ)言編寫(xiě)的,也是使用最為廣泛的解釋器,可以方便地和C/C++的類(lèi)庫(kù)進(jìn)行交互,因此也是最受關(guān)注的解釋器。一種由java語(yǔ)言編寫(xiě)的python解釋器,是將python編譯成Java字節(jié)碼然后執(zhí)行的一種解釋器,可以方便地和Java的類(lèi)庫(kù)進(jìn)行交互。將Python代碼解釋為.Net平臺(tái)上運(yùn)行的字節(jié)碼進(jìn)行執(zhí)行,類(lèi)似Jython解釋器,可以方便的和.Net平臺(tái)上的類(lèi)庫(kù)進(jìn)行交互。
Python 多線程(Multithreading)是一種編程技術(shù),允許在同一程序中同時(shí)執(zhí)行多個(gè)獨(dú)立的邏輯流,即線程。每個(gè)線程都有自己的程序計(jì)數(shù)器、棧空間和局部變量,它們共享同一進(jìn)程的全局變量、文件描述符和其他系統(tǒng)資源。線程是操作系統(tǒng)調(diào)度的基本單位,能夠在單個(gè)進(jìn)程中并發(fā)運(yùn)行,從而實(shí)現(xiàn)任務(wù)的并行處理,提高程序的執(zhí)行效率和響應(yīng)速度。
概念要點(diǎn):并發(fā)執(zhí)行:多線程允許程序的不同部分(即各個(gè)線程)同時(shí)(或近乎同時(shí))執(zhí)行,給用戶(hù)帶來(lái)并行處理的感覺(jué),即使在單核處理器上也能通過(guò)時(shí)間片輪轉(zhuǎn)實(shí)現(xiàn)并發(fā)。資源共享:同一進(jìn)程中的所有線程共享相同的內(nèi)存地址空間,包括全局變量、堆內(nèi)存等。這意味著線程之間可以直接讀寫(xiě)共享數(shù)據(jù),但也可能導(dǎo)致競(jìng)態(tài)條件、死鎖等同步問(wèn)題,需要通過(guò)同步機(jī)制(如鎖、條件變量等)來(lái)協(xié)調(diào)對(duì)共享資源的訪問(wèn)。輕量級(jí)進(jìn)程:相對(duì)于創(chuàng)建新進(jìn)程,創(chuàng)建線程的開(kāi)銷(xiāo)較小,因?yàn)榫€程之間不需要復(fù)制整個(gè)地址空間。這使得線程成為處理大量并發(fā)任務(wù)或頻繁切換任務(wù)時(shí)的理想選擇。
全局解釋器鎖(GIL):在 CPython(Python 的標(biāo)準(zhǔn)實(shí)現(xiàn))中,有一個(gè)全局解釋器鎖(GIL),它限制了同一時(shí)刻只有一個(gè)線程能夠執(zhí)行 Python 字節(jié)碼。這意味著在多核 CPU 上,Python 線程并不能實(shí)現(xiàn)真正的并行計(jì)算。對(duì)于計(jì)算密集型任務(wù),通常建議使用多進(jìn)程或多線程與多進(jìn)程結(jié)合的方式來(lái)利用多核優(yōu)勢(shì)。
在交互效果上有所增強(qiáng),但執(zhí)行過(guò)程和功能方面和CPython是一樣的。一種使用JIT(just-in-time)技術(shù)的編譯器,專(zhuān)注于執(zhí)行速度,對(duì)Python代碼進(jìn)行動(dòng)態(tài)編譯,從而提高Python的執(zhí)行速度。PyPy在處理python代碼的過(guò)程中,一小部分功能的處理和CPython的執(zhí)行結(jié)果是有差異的,如果項(xiàng)目中要使用PyPy來(lái)進(jìn)行執(zhí)行效率的提升的話,一定要事先了解下PyPy和CPython的區(qū)別。
CPython的線程是操作系統(tǒng)的原生線程,在Linux的pthread完全由操作系統(tǒng)調(diào)度執(zhí)行。pthread本身不是線程安全的,需要使用者通過(guò)鎖來(lái)實(shí)現(xiàn)多線程的安全運(yùn)行,因此CPython解釋器下的Python實(shí)現(xiàn)多線程也必然存在線程不安全的問(wèn)題。這就為GIL在多核時(shí)代的使用埋下了隱患。Python是Guido van Rossum 在1989年發(fā)布的,那個(gè)時(shí)候計(jì)算機(jī)的主頻還沒(méi)有達(dá)到1G,程序全部都是運(yùn)行在單核計(jì)算機(jī)上面,直到2005年多核處理器才被Intel開(kāi)發(fā)出來(lái)。
戈登·摩爾 1965 年預(yù)測(cè),每個(gè)集成電路的元件數(shù)量每 18 到 24 個(gè)月就會(huì)翻一倍,它的適用性預(yù)計(jì)會(huì)持續(xù)到 2015-2020 年。摩爾定律未失效前軟件系統(tǒng)可以單純借助硬件的進(jìn)步來(lái)獲得性能的提升或者只需少量改進(jìn),就可以坐享性能飛躍。然而從 2005 年開(kāi)始,時(shí)鐘速率的增長(zhǎng)和晶體管數(shù)量的增長(zhǎng)已不再同步。由于處理器材料的物理性質(zhì)限制,時(shí)鐘速率已停止增長(zhǎng)甚至下降,處理器制造商開(kāi)始將更多執(zhí)行單元核心封裝到單個(gè)芯片中。這一趨勢(shì)給應(yīng)用程序開(kāi)發(fā)和編程語(yǔ)言設(shè)計(jì)帶來(lái)越來(lái)越大的壓力。
程序員和編程語(yǔ)言決策者不得不考慮如何快速適應(yīng)多核硬件,來(lái)提高軟件性能和編程語(yǔ)言的市場(chǎng)占有率,Python也不例外受到?jīng)_擊。在單核時(shí)代,崇尚優(yōu)美、清晰、簡(jiǎn)單的吉多.范羅蘇姆選擇在解釋器層面實(shí)現(xiàn)了一把全局互斥鎖,來(lái)保護(hù)Python對(duì)象從而實(shí)現(xiàn)對(duì)單核CPU的使用率,這種做法在單核時(shí)代很奏效。倘若在單核時(shí)未選擇GIL,那么開(kāi)發(fā)者就需要自己實(shí)現(xiàn)任務(wù)的管理,這樣做對(duì)于CPU的利用率提高無(wú)法做到極致。
但是隨著多核時(shí)代的到來(lái),高效地利用CPU 核心的有效方法就是使用并行性,多線程是充分實(shí)現(xiàn)并行的好方法,但是CPython的GIL卻阻礙了對(duì)多核CPU的利用。CPython的GIL給使用者帶來(lái)了便利,并且在GIL的基礎(chǔ)上開(kāi)發(fā)了許多重要的Package和語(yǔ)言功能。但是多核CPU的普適和其他語(yǔ)言對(duì)Python的沖擊,讓GIL顯得原始而粗暴,無(wú)法有效利用多核處理器成為了弊端。
Python的多線程是通過(guò) threading模塊 實(shí)現(xiàn)同一進(jìn)程內(nèi)的并發(fā)執(zhí)行流,適用于I/O密集型任務(wù)(如文件讀寫(xiě)、網(wǎng)絡(luò)請(qǐng)求等),但受 GIL鎖 限制無(wú)法實(shí)現(xiàn)多核并行計(jì)算。 ??實(shí)現(xiàn)方式?:Python多線程本質(zhì)上是同一進(jìn)程內(nèi)的并發(fā)執(zhí)行,通過(guò) CPython解釋器 的 GIL (Global Interpreter Lock)實(shí)現(xiàn),任何線程執(zhí)行前需先獲得鎖,執(zhí)行100條指令后自動(dòng)釋放鎖,導(dǎo)致多線程無(wú)法同時(shí)運(yùn)行。 ??適用場(chǎng)景?:適合文件處理、網(wǎng)絡(luò)通信等I/O密集型任務(wù),通過(guò)釋放GIL鎖實(shí)現(xiàn)非阻塞操作,提升程序響應(yīng)性。 ??局限性?:無(wú)法通過(guò)多線程有效利用多核CPU,實(shí)際運(yùn)行效率受限于單核性能。?線程共享資源?:所有線程共享進(jìn)程的內(nèi)存空間和文件句柄,但每個(gè)線程擁有獨(dú)立的CPU寄存器上下文。 ?互斥鎖 (Mutex)?:用于保護(hù)共享資源,避免多個(gè)線程同時(shí)操作同一數(shù)據(jù)導(dǎo)致沖突。
隨著Python 3.11引入的plaintext復(fù)制threading模塊優(yōu)化,以及JIT編譯器的逐步普及,多線程在以下領(lǐng)域?qū)⒄宫F(xiàn)更大潛力:實(shí)時(shí)數(shù)據(jù)處理系統(tǒng),分布式微服務(wù)架構(gòu),機(jī)器學(xué)習(xí)流水線優(yōu)化,建議開(kāi)發(fā)者結(jié)合具體業(yè)務(wù)場(chǎng)景,通過(guò)性能分析工具(如cProfile)持續(xù)優(yōu)化線程模型,充分發(fā)揮Python多線程在并發(fā)編程中的獨(dú)特優(yōu)勢(shì)。
?