什么是內(nèi)存管理器（what）

Python作為一個高層次的結(jié)合了解釋性、編譯性、互動性和面向?qū)ο蟮哪_本語言，與大多數(shù)編程語言不同，Python中的變量無需事先申明，變量無需指定類型，程序員無需關(guān)心內(nèi)存管理，Python解釋器給你自動回收。開發(fā)人員不用過多的關(guān)心內(nèi)存管理機制，這一切全部由python內(nèi)存管理器承擔(dān)了復(fù)雜的內(nèi)存管理工作。

內(nèi)存不外乎創(chuàng)建和銷毀兩部分，本文將圍繞python的內(nèi)存池和垃圾回收兩部分進行分析。

Python內(nèi)存池

為什么要引入內(nèi)存池（why）

當(dāng)創(chuàng)建大量消耗小內(nèi)存的對象時，頻繁調(diào)用new/malloc會導(dǎo)致大量的內(nèi)存碎片，致使效率降低。內(nèi)存池的作用就是預(yù)先在內(nèi)存中申請一定數(shù)量的，大小相等的內(nèi)存塊留作備用，當(dāng)有新的內(nèi)存需求時，就先從內(nèi)存池中分配內(nèi)存給這個需求，不夠之后再申請新的內(nèi)存。這樣做最顯著的優(yōu)勢就是能夠減少內(nèi)存碎片，提升效率。

python中的內(nèi)存管理機制為Pymalloc

內(nèi)存池是如何工作的（how）

首先，我們看一張CPython(python解釋器)的內(nèi)存架構(gòu)圖：

• python的對象管理主要位于Level+1~Level+3層

• Level+3層：對于python內(nèi)置的對象（比如int,dict等）都有獨立的私有內(nèi)存池，對象之間的內(nèi)存池不共享，即int釋放的內(nèi)存，不會被分配給float使用

• Level+2層：當(dāng)申請的內(nèi)存大小小于256KB時，內(nèi)存分配主要由 Python 對象分配器（Python’s object allocator）實施

• Level+1層：當(dāng)申請的內(nèi)存大小大于256KB時，由Python原生的內(nèi)存分配器進行分配，本質(zhì)上是調(diào)用C標(biāo)準庫中的malloc/realloc等函數(shù)

關(guān)于釋放內(nèi)存方面，當(dāng)一個對象的引用計數(shù)變?yōu)?時，Python就會調(diào)用它的析構(gòu)函數(shù)。調(diào)用析構(gòu)函數(shù)并不意味著最終一定會調(diào)用free來釋放內(nèi)存空間，如果真是這樣的話，那頻繁地申請、釋放內(nèi)存空間會使Python的執(zhí)行效率大打折扣。因此在析構(gòu)時也采用了內(nèi)存池機制，從內(nèi)存池申請到的內(nèi)存會被歸還到內(nèi)存池中，以避免頻繁地申請和釋放動作。

垃圾回收機制

Python的垃圾回收機制采用引用計數(shù)機制為主，標(biāo)記-清除和分代回收機制為輔的策略。其中，標(biāo)記-清除機制用來解決計數(shù)引用帶來的循環(huán)引用而無法釋放內(nèi)存的問題，分代回收機制是為提升垃圾回收的效率。

引用計數(shù)

Python通過引用計數(shù)來保存內(nèi)存中的變量追蹤，即記錄該對象被其他使用的對象引用的次數(shù)。

Python中有個內(nèi)部跟蹤變量叫做引用計數(shù)器，每個變量有多少個引用，簡稱引用計數(shù)。當(dāng)某個對象的引用計數(shù)為0時，就列入了垃圾回收隊列。

   

    
>>> a=[1,2]
    
>>> import sys
    
>>> sys.getrefcount(a) ## 獲取對象a的引用次數(shù)
    
2
    
>>> b=a
    
>>> sys.getrefcount(a)
    
3
    
>>> del b ## 刪除b的引用
    
>>> sys.getrefcount(a)
    
2
    
>>> c=list()
    
>>> c.append(a) ## 加入到容器中
    
>>> sys.getrefcount(a)
    
3
    
>>> del c ## 刪除容器，引用-1
    
>>> sys.getrefcount(a)
    
2
    
>>> b=a
    
>>> sys.getrefcount(a)
    
3
    
>>> a=[3,4] ## 重新賦值
    
>>> sys.getrefcount(a)
    
2
   

注意：當(dāng)把a作為參數(shù)傳遞給getrefcount時，會產(chǎn)生一個臨時的引用，因此得出來的結(jié)果比真實情況+1

• 引用計數(shù)增加的情況：

1. 一個對象被分配給一個新的名字（例如：a=[1,2]）

2. 將其放入一個容器中（如列表、元組或字典）（例如：c.append(a)）

• 引用計數(shù)減少的情況：

1. 使用del語句對對象別名顯式的銷毀(例如：del b)

2. 對象所在的容器被銷毀或從容器中刪除對象（例如：del c ）

3. 引用超出作用域或被重新賦值（例如：a=[3,4]）

引用計數(shù)能夠解決大多數(shù)垃圾回收的問題，但是遇到兩個對象相互引用的情況，del語句可以減少引用次數(shù)，但是引用計數(shù)不會歸0，對象也就不會被銷毀，從而造成了內(nèi)存泄漏問題。針對該情況，Python引入了標(biāo)記-清除機制。

標(biāo)記-清除

標(biāo)記-清除用來解決引用計數(shù)機制產(chǎn)生的循環(huán)引用，進而導(dǎo)致內(nèi)存泄漏的問題 。循環(huán)引用只有在容器對象才會產(chǎn)生，比如字典，元組，列表等。

顧名思義，該機制在進行垃圾回收時分成了兩步，分別是：

• 標(biāo)記階段，遍歷所有的對象，如果是可達的（reachable），也就是還有對象引用它，那么就標(biāo)記該對象為可達

• 清除階段，再次遍歷對象，如果發(fā)現(xiàn)某個對象沒有標(biāo)記為可達（即為Unreachable），則就將其回收

   

    
>>> a=[1,2]
    
>>> b=[3,4]
    
>>> sys.getrefcount(a)
    
2
    
>>> sys.getrefcount(b)
    
2
    
>>> a.append(b)
    
>>> sys.getrefcount(b)
    
3
    
>>> b.append(a)
    
>>> sys.getrefcount(a)
    
3
    
>>> del a
    
>>> del b
   

• a引用b,b引用a,此時兩個對象各自被引用了2次（去除getrefcout()的臨時引用）

• 執(zhí)行del之后，對象a,b的引用次數(shù)都-1，此時各自的引用計數(shù)器都為1，陷入循環(huán)引用

• 標(biāo)記：找到其中的一端a,因為它有一個對b的引用，則將b的引用計數(shù)-1

• 標(biāo)記：再沿著引用到b,b有一個a的引用,將a的引用計數(shù)-1，此時對象a和b的引用次數(shù)全部為0，被標(biāo)記為不可達（Unreachable）

• 清除: 被標(biāo)記為不可達的對象就是真正需要被釋放的對象

上面描述的垃圾回收的階段，會暫停整個應(yīng)用程序，等待標(biāo)記清除結(jié)束后才會恢復(fù)應(yīng)用程序的運行。為了減少應(yīng)用程序暫停的時間，Python 通過“分代回收”(Generational Collection)以空間換時間的方法提高垃圾回收效率。

分代回收

分代回收是基于這樣的一個統(tǒng)計事實，對于程序，存在一定比例的內(nèi)存塊的生存周期比較短；而剩下的內(nèi)存塊，生存周期會比較長，甚至?xí)某绦蜷_始一直持續(xù)到程序結(jié)束。生存期較短對象的比例通常在 80%～90%之間。因此，簡單地認為：對象存在時間越長，越可能不是垃圾，應(yīng)該越少去收集。這樣在執(zhí)行標(biāo)記-清除算法時可以有效減小遍歷的對象數(shù)，從而提高垃圾回收的速度，是一種以空間換時間的方法策略。

Python將所有的對象分為年輕代（第0代）、中年代（第1代）、老年代（第2代）三代。所有的新建對象默認是 第0代對象。當(dāng)在第0代的gc掃描中存活下來的對象將被移至第1代，在第1代的gc掃描中存活下來的對象將被移至第2代。

gc掃描次數(shù)（第0代>第1代>第2代）

當(dāng)某一代中被分配的對象與被釋放的對象之差達到某一閾值時，就會觸發(fā)當(dāng)前一代的gc掃描。當(dāng)某一代被掃描時，比它年輕的一代也會被掃描，因此，第2代的gc掃描發(fā)生時，第0，1代的gc掃描也會發(fā)生，即為全代掃描。

   

    
>>> import gc
    
>>> gc.get_threshold() ## 分代回收機制的參數(shù)閾值設(shè)置
    
(700, 10, 10)
   

• 700=新分配的對象數(shù)量-釋放的對象數(shù)量，第0代gc掃描被觸發(fā)

• 第一個10：第0代gc掃描發(fā)生10次，則第1代的gc掃描被觸發(fā)

• 第二個10：第1代的gc掃描發(fā)生10次，則第2代的gc掃描被觸發(fā)

思考

在標(biāo)記-清除中，如果對象c也引用a,執(zhí)行del操作后，會發(fā)生什么？

對象a,b,c的引用關(guān)系如下圖所示：

   

    
>>> a=[1,2]
    
>>> b=[3,4]
    
>>> c=a
    
>>> a.append(b)
    
>>> b.append(a)
   

• ref_count表示引用計數(shù)

• 對象a,b,c全部為reachable

執(zhí)行del之后，引用關(guān)系如下圖所示：

   

    
>>> del a
    
>>> del b
   

• a,b,c的ref_count減1

執(zhí)行g(shù)c掃描

• 標(biāo)記: a引用b,將b的refcount減1到0，b引用a,將a的refcount減1到1，將b放在unreachable下 

• 再循環(huán):因為a是可達的，所以會遞歸地將從a節(jié)點出發(fā)可以達到的所有節(jié)點標(biāo)記為reachable下，即為： 

• 清除:unreachable下沒有可清除的對象，因此a,b,c對象不會被清除

總結(jié)

總體而言，python通過內(nèi)存池來減少內(nèi)存碎片化，提高執(zhí)行效率。主要通過引用計數(shù)來完成垃圾回收，通過標(biāo)記-清除解決容器對象循環(huán)引用造成的問題，通過分代回收提高垃圾回收的效率。

—————END—————

喜歡本文的朋友，歡迎關(guān)注公眾號 程序員小灰，收看更多精彩內(nèi)容

      

       

        

         

          

           

            

             
            
            

             點個[在看]，是對小灰最大的支持！