在之前的文章中，分析了glibc內(nèi)存管理相關的內(nèi)容，里面的是不是邏輯復雜，畢竟咱們用幾十行代碼完成的功能，glibc要用上百乃至上千行代碼來實現(xiàn)，畢竟它的受眾太多了，需要考慮跨平臺，各種邊界條件等。其實，glibc的內(nèi)存分配庫ptmalloc也可以看做是一個內(nèi)存池，出于性能考慮，每次內(nèi)存申請都是先從ptmalloc中進行分配，如果沒有合適的則通過系統(tǒng)分配函數(shù)進行申請；在釋放的時候，也是將被釋放內(nèi)存先方式內(nèi)存池中，內(nèi)存池根據(jù)一定的策略，來決定是否進行shrink以歸還OS。

那么，現(xiàn)一個內(nèi)存池？我們該怎么實現(xiàn)呢？今天，借助這篇文章，我們一起來設計和實現(xiàn)一個內(nèi)存池(文末附有github地址)。

背景

首先需要說明的是，該內(nèi)存池是筆者在10年前完成的，下面先說下當時此項目的背景。

09年，在某所的時候，參與了某個國家級項目，該項目是防DDOS攻擊相關，因此更多的是跟IP相關，所以每次分配和釋放內(nèi)存都是固定大小，經(jīng)過測試，性能不是很滿意，所以，經(jīng)過代碼分析以及性能攻擊分析，發(fā)現(xiàn)里面有大量的malloc/free，所以，當時就決定是否從malloc/free入手，能否優(yōu)化整個項目的性能。

所以，決定實現(xiàn)一個Memory Pool，在做了調(diào)研以及研究了相關論文后，決定實現(xiàn)一個內(nèi)存池，先試試水，所幸運的是，性能確實比glibc自帶的malloc/free要高，所以也就應用于項目上了。

?本文所講的Memory Pool為C語言實現(xiàn)，旨在讓大家都能看懂，看明白(至少能夠完全理解本文所講的Memory Pool的實現(xiàn)原理)。

?

概念

首先，我們介紹下什么是內(nèi)存池？

?預先在內(nèi)存中申請一定數(shù)量的內(nèi)存塊留作備用，當有新的內(nèi)存需求時，就先從內(nèi)存池中分配內(nèi)存返回，在釋放的時候，將內(nèi)存返回給內(nèi)存池而不是OS，在下次申請的時候，重新進行分配

?

那么為什么要有內(nèi)存池呢？這就需要從傳統(tǒng)內(nèi)存分配的特點來進行分析，傳統(tǒng)內(nèi)存分配釋放的優(yōu)點無非就是 通用性強，應用廣泛，但是傳統(tǒng)的內(nèi)存分配、釋放在某些特定的項目中，其不一定是最優(yōu)、效率最高的方案。

傳統(tǒng)內(nèi)存分配、釋放的缺點總結如下：

1、調(diào)用malloc/new,系統(tǒng)需要根據(jù)“最先匹配”、“最優(yōu)匹配”或其他算法在內(nèi)存空閑塊表中查找一塊空閑內(nèi)存，調(diào)用free/delete,系統(tǒng)可能需要合并空閑內(nèi)存塊，這些會產(chǎn)生額外開銷

2、頻繁的在堆上申請和釋放內(nèi)存必然需要大量時間，降低了程序的運行效率。對于一個需要頻繁申請和釋放內(nèi)存的程序來說，頻繁調(diào)用new/malloc申請內(nèi)存，delete/free釋放內(nèi)存都需要花費系統(tǒng)時間，頻繁的調(diào)用必然會降低程序的運行效率。

3、經(jīng)常申請小塊內(nèi)存，會將物理內(nèi)存“切”得很碎，導致內(nèi)存碎片。申請內(nèi)存的順序并不是釋放內(nèi)存的順序，因此頻繁申請小塊內(nèi)存必然會導致內(nèi)存碎片，造成“有內(nèi)存但是申請不到大塊內(nèi)存”的現(xiàn)象。

從上圖中，可以看出，應用程序會調(diào)用glibc運行時庫的malloc函數(shù)進行內(nèi)存申請，而malloc函數(shù)則會根據(jù)具體申請的內(nèi)存塊大小，根據(jù)實際情況最終從sys_brk或者sys_mmap_pgoff系統(tǒng)調(diào)用申請內(nèi)存，而大家都知道，跟os打交道，_性能損失_是毋庸置疑的。

其次，glibc作為通用的運行時庫，malloc/free需要滿足各種場景需求，比如申請的字節(jié)大小不一，多線程訪問等。

沒有比傳統(tǒng)malloc/free性能更優(yōu)的方案呢？

答案是：有。

在程序啟動的時候，我們預分配特定數(shù)量的固定大小的塊，這樣每次申請的時候，就從預分配的塊中獲取，釋放的時候，將其放入預分配塊中以備下次復用，這就是所謂的_內(nèi)存池技術_，每個內(nèi)存池對應特定場景，這樣的話，較傳統(tǒng)的傳統(tǒng)的malloc/free少了很多復雜邏輯，性能顯然會提升不少。

結合傳統(tǒng)malloc/free的缺點，我們總結下使用內(nèi)存池方案的優(yōu)點：

1、比malloc/free進行內(nèi)存申請/釋放的方式快

2、不會產(chǎn)生或很少產(chǎn)生堆碎片

3、可避免內(nèi)存泄漏

分類

根據(jù)分配出去的字節(jié)大小是否固定，分為 固定大小內(nèi)存池 和 可變大小內(nèi)存池 兩類。

而可變大小內(nèi)存池，可分配任意大小的內(nèi)存池，比如ptmalloc、jemalloc以及google的tcmalloc。

固定大小內(nèi)存池，顧名思義，每次申請和釋放的內(nèi)存大小都是固定的。每次分配出去的內(nèi)存塊大小都是程序預先定義的值，而在釋放內(nèi)存塊時候，則簡單的掛回內(nèi)存池鏈表即可。

?本文主要講的是固定大小的內(nèi)存池。

?

原理

內(nèi)存池，重點在”池“字上，之所以稱之為內(nèi)存池，是在真正使用之前，先預分配一定數(shù)量、大小預設的塊，如果有新的內(nèi)存需求時候，就從內(nèi)存池中根據(jù)申請的內(nèi)存大小，分配一個內(nèi)存塊，若當前內(nèi)存塊已經(jīng)被完全分配出去，則繼續(xù)申請一大塊，然后進行分配。

當進行內(nèi)存塊釋放的時候，則將其歸還內(nèi)存池，后面如果再有申請的話，則將其重新分配出去。

上圖是本文所要設計的結構圖，下面在具體的設計之前，我們先講下本內(nèi)存池的原理：

• 創(chuàng)建并初始化頭結點MemoryPool
• 通過MemoryPool進行內(nèi)存分配，如果發(fā)現(xiàn)MemoryPool所指向的第一塊MemoryBlock或者現(xiàn)有MemoryPool沒有空閑內(nèi)存塊，則創(chuàng)建一個新的MemoryBlock初始化之后將其插入MemoryPool的頭
• 在內(nèi)存分配的時候，遍歷MemoryPool中的單鏈表MemoryBlock，根據(jù)地址判斷所要釋放的內(nèi)存屬于哪個MemoryBlock，然后根據(jù)偏移設置MemoryBlock的第一塊空閑塊索引，同時將空閑塊個數(shù) 1

上述只是一個簡單的邏輯講解，比較宏觀，下面我們將通過圖解和代碼的方式來進行講解。

設計

在上圖中，我們畫出了內(nèi)存池的結構圖，從圖中，可以看出，有兩個結構變量，分別為MemoryPool和MemoryBlock。

下面我們將從數(shù)據(jù)結構和接口兩個部分出發(fā)，詳細講解內(nèi)存池的設計。

數(shù)據(jù)結構

MemoryBlock

本文中所講述的內(nèi)存塊的分配和釋放都是通過該結構進行操作，下面是MemoryBlock的示例圖：

在上圖中，Header存儲該MemoryBlock的內(nèi)存塊情況，比如可用的內(nèi)存塊索引、當前MemoryBlock中可用內(nèi)存塊的個數(shù)等等。

定義如下所示：

struct?MemoryBlock?{
?unsigned?int?size;
?unsigned?int?free_size;
?unsigned?int?first_free;

?struct?MemoryBlock?*next;
?char?a_data[0];?
};
其中：

• size為MemoryBlock下內(nèi)存塊的個數(shù)
• free_size為MemoryBlock下空閑內(nèi)存塊的個數(shù)
• first_free為MemoryBlock中第一個空閑塊的索引
• next指向下一個MemoryBlock
• a_data是一個柔性數(shù)組

?柔性數(shù)組即數(shù)組大小待定的數(shù)組， C語言中結構體的最后一個元素可以是大小未知的數(shù)組，也就是所謂的0長度，所以我們可以用結構體來創(chuàng)建柔性數(shù)組。

它的主要用途是為了滿足需要變長度的結構體，為了解決使用數(shù)組時內(nèi)存的冗余和數(shù)組的越界問題。

?

MemoryPool

MemoryPool為內(nèi)存池的頭，里面定義了該內(nèi)存池的信息，比如本內(nèi)存池分配的固定對象的大小，第一個MemoryBlock等

struct?MemoryPool?{
?unsigned?int?obj_size;
?unsigned?int?init_size;
?unsigned?int?grow_size;

?MemoryBlock?*first_block;
};
其中：

• obj_size為內(nèi)存池分配的固定內(nèi)存塊的大小
• init_size初始化內(nèi)存池時候創(chuàng)建的內(nèi)存塊的個數(shù)
• grow_size當初始化內(nèi)存塊使用完后，再次申請內(nèi)存塊時候的個數(shù)
• first_block指向第一個MemoryBlock

接口

memory_pool_create

MemoryPool?*memory_pool_create(unsigned?int?init_size,?
???????????????????????????????unsigned?int?grow_size,?
???????????????????????????????unsigned?int?size);
本函數(shù)用來創(chuàng)建一個MemoryPool，并對其進行初始化，下面是參數(shù)說明：

• init_size 表示第一個MemoryBlock中創(chuàng)建塊的個數(shù)
• grow_size 表示當MemoryPool中沒有空閑塊可用，則創(chuàng)建一個新的MemoryBlock時其塊的個數(shù)
• size 為塊的大小(即每次分配相同大小的固定size)

memory_alloc

void?*memory_alloc(MemoryPool?*mp);
本函數(shù)用了從mp中申請一塊內(nèi)存返回

• mp 為MemoryPool類型指針，即內(nèi)存池的頭
• 如果內(nèi)存分配失敗，則返回NULL

memory_free

?void*?memory_free(MemoryPool?*mp,?void?*pfree);
本函數(shù)用來釋放內(nèi)存

• mp 為MemoryPool類型指針，即內(nèi)存池的頭
• pfree 為要釋放的內(nèi)存

free_memory_pool

void?free_memory_pool(MemoryPool?*mp);
本函數(shù)用來釋放內(nèi)存池

實現(xiàn)

在講解整個實現(xiàn)之前，我們先看先內(nèi)存池的詳細結構圖。

初始化內(nèi)存池

MemoryPool是整個內(nèi)存池的入口結構，該函數(shù)主要是用來創(chuàng)建MemoryPool對象，并使用參數(shù)對其內(nèi)部的成員變量進行初始化。

函數(shù)定義如下:

MemoryPool?*memory_pool_create(unsigned?int?init_size,?unsigned?int?grow_size,?unsigned?int?size)
{
?MemoryPool?*mp;
?mp?=?(MemoryPool*)malloc(sizeof(MemoryPool));
?mp->first_block?=?NULL;
?mp->init_size?=?init_size;
?mp->grow_size?=?grow_size;

?if(size?sizeof(unsigned?int))
??mp->obj_size?=?sizeof(unsigned?int);
?mp->obj_size?=?(size? ?(MEMPOOL_ALIGNMENT-1))?