PostgreSQL 堆分配器mmgr详解

mmgr是postgresql的内存管理模块，其代码分布在aset.c, mctx.c和portalmem.c这三个文件之中。这里主要分析它的堆内存的管理机制，

mmgr是postgresql的内存管理模块，其代码分布在aset.c, mctx.c和portalmem.c这三个文件之中。这里主要分析它的堆内存的管理机制，也就是aset.c文件中的内容。

AllocSetContext是堆内存管理的主要结构，其定义如下:

其中的成员可以分为三个部分，我用三种不同的颜色标记了出来：

1) 黄色部分是AllocSetContext的头部，如果用面向对象的观点来看，可以说AllocSetContext是继承自MemoryContextData的,这里我们不关心MemoryContextData的定义，它提供了对AllocSetContext更高层次的管理。

2)粉色部分是一些配置参数。

3) 紫色部分是我们这篇博客的主角。blocks和freelist对应于堆内存管理的两个方面。下面详细描述。

AllocSetContext作为malloc/free与更上层应用的中间层，向下需要管理使用malloc从操作系统申请到的内存，对上则需要提供内存的获取与释放的接口。我们先说第一个方面，也就是它是如何管理malloc来的内存的。

AllocSetContext将从操作系统中申请到的内存放在一下链表中进行管理，这个链表就是紫色部分的blocks。blocks中的每一项的结构叫做AllocBlockData,它的定义如下:

typedef

AllocBlockData是向操作系统申请和释放内存的基本单位，为了简便起见，下面就直接叫它Block了。在接收到内存分配请求的时候，AllocSetContext如果发现blocks头部的那个Block没有足够的空间，就再从操作系统中申请一个更大的Block作为blocks的头。以后的分配出的内存就是从这个更大的Block上割出来的。这个更大是多大呢，pg将它设为前一个的2倍，也就是说blocks这个链表从尾部到头部，每向前一个Block的大小就会增长一倍。这里说的是通常情况，也会有非通常情况的，比如这个Block是不可能无限制地增大的，它有一个最大的可以分配的大小AllocSetContext::maxBlockSize，也还有来自其它方面的限制，要了解这个限制就得先说一说 AllocSetContext的另外一个主要功能了--对外提供获取内存和释放内存的接口。

AllocSetContext提供给外部使用的主要接口为:

static void *AllocSetAlloc(MemoryContext context, Size size);

static void AllocSetFree(MemoryContext context, void *pointer);

static void *AllocSetRealloc(MemoryContext context, void *pointer, Size size);

　　你可以调用AllocSetAlloc(cxt,sizeof(XX)) 来获得一块可用的特定大小的内存，但是如果你天真地以为你需要的是15个字节的空间，它就会精确地给你15个字节，你就错了，实际上，为了你的这次内在请求，它给了你16个字节的空间，外加一个信息头。也就是说它给你返回的内存有统一的结构，大小也有特定地限制。

这个统一的内存结构的定义如下:

typedef struct AllocChunkData

{

/* aset is the owning aset if allocated, or the freelist link if free */

void *aset;

/* size is always the size of the usable space in the chunk */

Size size;

#ifdef MEMORY_CONTEXT_CHECKING

/* when debugging memory usage, also store actual requested size */

/* this is zero in a free chunk */

Size requested_size;

#endif

} AllocChunkData;

　　 AllocChunkData是返回内存的基本单位，，下面叫它Chunk。如果你申请到一个大小为16字节的内存，你实际拿到是像下图的这么个东西,返回给你的地址前面是有一个Chunk头的:

为了加快分配的速度和方便管理，每个Chunk里的可用空间都是2的整数次幂。同时还维护了一个叫做freelist的数组，这个数组的每一项都是一个Chunk的队列，每个队列内的Chunk大小都是一样的。下面是某时刻free list的内存布局图:

这个free list的Chunk的来源有两个方面:

1) 调用AllocSetFree回收来的Chunk;

2) 调用AllocSetAlloc时，如果发现blocks链表的第一个Block没有足够的空间，这时候会分配一个更大的Block，但是在做这样事之前，首先要将头上那个Block中还剩下的空间酌情格式化为一些Chunk加入到free list这中。

由于这个free list数组的大小是固定的，所以在free list之中最大的Chunk的可用空间也是有限的，如果申请比最大的Chunk所能提供的空间还要大的内存时，就会被认为这是在申请一块大内存，会直接从操作系统中malloc出来给你，这种内存对这个堆管理器来说只是个过客，free时是不会加入到free list中的，也就是说这种不会被堆管理器直接重利用。

好了, 堆内存的管理的基本结构数据结构就介绍这么多，是时候看看几个主要方法的实现了，这里只说一下几个最常用 的接口: AllocSetAlloc , AllocSetFree, AllocSetRealloc

下面这个图解释了AllocSetAlloc的流程:

1) 首先判断是不是在申请大内存？如果是转入2),否则转入3);

2) 直接malloc出大小为: size 加上Block和Chunk头的大小，调整好指针位置，返回;

3) 计算出实际分配的内存大小，这个大小是比size大的最小的2^k;

4) free list中是否有这种大小的Chunk? 若有转入5),否则转入6);

5) 从free list中取出一个满足条件的Chunk, 返回;

6) blocks链表的第一个Block是不是足够的空间，若有转入9)，否则继续

7) 将第一个Block中剩余的空间格式化为一些Chunk，加入到free list中;

8) malloc出一个更大的Block,加入到blocks中，

9) 从Block中格式化一个满足条件的Chunk,返回。

AllocSetFree的操作比较的简单，如下图，其步骤为:

1) 根据传入的指针算出Chunk头的位置 ( p - sizeof(AllocChunkData));

2) 根据Chunk中的size信息判断是不是大内存，若不是，转入4),否则继续;

3) 直接free掉（是个过客，不再利用）返回。

4) 将Chunk入到合适的free list之中。

AllocSetRealloc的步骤如下:

1) 调整指针p的位置得到Chunk头的地址;

2) 如果再分配的大小比Chunk的要小，直接返回；

3) 如果是大内存,则直接调用realloc分配一个更大的Block,并更新blocks中对应的项(所有的Block在使用期间都被blocks管理着), 然后返回.

4) 否则则先调用 AllocSetFree,再调用 AllocSetAlloc.

这个堆管理器的最主要的功能和实现就叙述完了，最后看一下它提供的更高级的一些调试功能:

1) CLOBBER_FREED_MEMORY 野指针对任何一个C/C++程序员来说都是豺狼虎豹，如果定义了这个宏，在面对野指针的时候你会从容不少，因为这个宏启用了一项功能：AllocSetFree的内存都会被置为0x7f, 这样在你第一次使用野指针的时候就会立马发现它。

2) MEMORY_CONTEXT_CHECKING 由于在大多数情况下，mmgr返回的内存大小大于申请大小的最小的2次幂。所以内存或多或少总是有浪费的。但这也是提高内存分配所带来必然的损失，为了心理平衡一下，我们可以利用这多出来的内存，做其他的事，比如这个宏就会启用这样一项功能：在实际大小后面填充一0x7e,这样就可以检测是否有内存越界的事情发生了。

千万级数据并发解决方案（理论+实战）：点击学习

Mysql单表千万级数据量的查询优化与性能分析

Mysql主从原理及其在高并发系统中的应用