ptmalloc源码分析 - 分配区heap_info结构实现（05）

原创 已于 2023-08-30 16:03:03 修改 · 3w 阅读 · 1 ·
CC 4.0 BY-SA版权
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
文章标签：

#开发语言

于 2023-08-29 17:14:03 首次发布
本文围绕ptmalloc非主分配区的heap_info展开。介绍了非主分配区特性，阐述了_heap_info结构体存储分配区基础信息。详细讲解了new_heap创建新堆空间、grow_heap对堆扩容、shrink_heap对堆缩容以及delete_heap删除堆的操作及实现逻辑。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、heap_info是什么？

二、heap_info结构体含义和实现

三、new_heap创建一个heap_info

四、grow_heap对heap进行size扩容

五、shrink_heap对heap进行size缩容

六、delete_heap删除一个heap

一、heap_info是什么？

上一章节《ptmalloc源码分析 - 多线程争抢竞技场Arena的实现（04）》我们讲解了多线程环境下，面对线程之间的竞争，ptmalloc除了主分配区外，还会去创建非主分配区。因为线程在调用malloc的时候，首先会去获取一个分配区，如果当前的分配区都被锁定并且没有新的分配区可用的时候，ptmalloc就会去创建一个新的非主分配区。

我们也从上一章节，知道了非主分配区的几个特性：

  • 每个进程有一个主分配区，也可以允许有多个非主分配区。
  • 主分配区可以使用brk和mmap来分配，而非主分配区只能使用mmap来映射内存块
  • 非主分配区的数量一旦增加，则不会减少。
  • 主分配区和非主分配区形成一个环形链表进行管理。通过malloc_state->next来链接

在函数_int_new_arena中主要是创建一个新的分配区，该分配区主要是非主分配区类型。主分配区在ptmalloc_init中初始化，并且设置了全局变量main_arena的值。而_int_new_arena中主要调用的是new_heap来创建和初始化一个非主分配区。

这里主要包含几个部分:

  • _heap_info：非主分配区的结构体

  • new_heap(size_t size, size_t top_pad)：创建一个新的非主分配区

  • grow_heap(heap_info *h, long diff)：扩大一个分配区的size

  • shrink_heap(heap_info *h, long diff)：缩小一个分配区的size

  • delete_heap(heap)：删除一个分配区结构

二、heap_info结构体含义和实现

 _heap_info来存储分配区的基础信息：

  • ar_ptr：指向当前heap所属的竞技场Arena

  • prev：链表，指向前一个堆的heap_info结构

  • size：当前分配区大小

  • mprotect_size：记录了堆中多大的空间是可读写的

  • pad：通过一个数组的方式，包含该heap_info结构体所需要的内存地址。并且，能够按照0x10字节对齐(x86中则是8字节对齐)

typedef struct _heap_info {
	mstate ar_ptr; /* 指向当前heap所属的竞技场Arena Arena for this heap. */
	struct _heap_info *prev; /* 链表，指向前一个堆的heap Previous heap. */
	size_t size; /* 当前分配区大小 Current size in bytes. */
	size_t mprotect_size; /* 记录了堆中多大的空间是可读写的 Size in bytes that has been mprotected
	 PROT_READ|PROT_WRITE.  */
	/*  Make sure the following data is properly aligned, particularly
	 that sizeof (heap_info) + 2 * SIZE_SZ is a multiple of
	 MALLOC_ALIGNMENT. */
	/* 用以堆其该结构体，使其能够按照0x10字节对齐(x86中则是8字节对齐) */
	char pad[-6 * SIZE_SZ & MALLOC_ALIGN_MASK];
} heap_info;

三、new_heap创建一个heap_info

new_heap函数说明：创建一个新的堆空间 ，从 mmap 区域映射一块内存页来作为 heap

映射内存页的大小：

  • 在 32 位系统上，该函数每次映射 1M 内存，映射的内存块地址按 1M 对齐；

  • 在 64 为系统上，该函数映射 64M 内存，映射的内存块地址按 64M 对齐。

/* HEAP_MIN_SIZE 和 HEAP_MAX_SIZE 最小和最大值*/
/* HEAP_MAX_SIZE：根据操作系统取值，32位 1M；64位 64M*/
#define HEAP_MIN_SIZE (32 * 1024)
#ifndef HEAP_MAX_SIZE
# ifdef DEFAULT_MMAP_THRESHOLD_MAX
#  define HEAP_MAX_SIZE (2 * DEFAULT_MMAP_THRESHOLD_MAX)
# else
#  define HEAP_MAX_SIZE (1024 * 1024) /* must be a power of two */
# endif
#endif

/* DEFAULT_MMAP_THRESHOLD_MAX ： 定义不同操作系统下的值大小 */
# if __WORDSIZE == 32
#  define DEFAULT_MMAP_THRESHOLD_MAX (512 * 1024) //512K
# else
#  define DEFAULT_MMAP_THRESHOLD_MAX (4 * 1024 * 1024 * sizeof(long)) //32M
# endif
#endif

new_heap函数实现逻辑：

  1. 首先，判断默认设置的size大小，如果size需要在HEAP_MIN_SIZE和HEAP_MAX_SIZE之间（64位系统，HEAP_MIN_SIZE=32k，HEAP_MAX_SIZE=64M）。
  2. 如果size设置过大，则报错；如果过小，则默认使用HEAP_MIN_SIZE作为size的最小值
  3. 创建内存映射区域的时候，使用MMAP函数。每次分配以HEAP_MAX_SIZE为每一页的大小（64位系统 分配一次64M）
  4. 默认情况下，aligned_heap_area值为NULL，所以代码会直接进入p1的分配流程。p1的分配流程中，会一次性分配HEAP_MAX_SIZE*2两个页，如果分配成功，则将aligned_heap_area设置成第2页的起始位置
  5. 当第二次进来分配的时候，aligned_heap_area值不为空，说明前面已经分配过一次，并且aligned_heap_area保存了前一次分配第二页的起始地址，所以这次分配直接使用前一次分配的第二页。如果此次分配失败，则继续跳转到p1重新分配。
  6. 如果p1分配两个页失败，则尝试分配1个页（大小HEAP_MAX_SIZE），如果还是失败则报错
/* 创建一个新的堆空间 从 mmap 区域映射一块内存页来作为 heap
 * 分配的页大小：
 * 在 32 位系统上，该函数每次映射 1M 内存，映射的内存块地址按 1M 对齐；
 * 在 64 为系统上，该函数映射 64M 内存，映射的内存块地址按 64M 对齐。*/
static heap_info *
new_heap(size_t size, size_t top_pad) {
	size_t pagesize = GLRO(dl_pagesize);
	char *p1, *p2;
	unsigned long ul;
	heap_info *h;

	/* size 在 HEAP_MIN_SIZE 和 HEAP_MAX_SIZE之间，最小：HEAP_MIN_SIZE，超过HEAP_MAX_SIZE 则返回0 */
	if (size + top_pad < HEAP_MIN_SIZE)
		size = HEAP_MIN_SIZE;
	else if (size + top_pad <= HEAP_MAX_SIZE)
		size += top_pad;
	else if (size > HEAP_MAX_SIZE)
		return 0;
	else
		size = HEAP_MAX_SIZE;
	size = ALIGN_UP(size, pagesize);

	/* A memory region aligned to a multiple of HEAP_MAX_SIZE is needed.
	 No swap space needs to be reserved for the following large
	 mapping (on Linux, this is the case for all non-writable mappings
	 anyway). */
	/* aligned_heap_area: 是上一次调用 mmap 分配内存的结束虚拟地址，并已经按照 HEAP_MAX_SIZE 大小对齐。
	 * 如果aligned_heap_area不为空，则从上次虚拟内存地址开始映射HEAP_MAX_SIZE大小的地址 */
	p2 = MAP_FAILED;
	if (aligned_heap_area) {
		p2 = (char *) MMAP(aligned_heap_area, HEAP_MAX_SIZE, PROT_NONE,
				MAP_NORESERVE);
		aligned_heap_area = NULL;
		if (p2 != MAP_FAILED && ((unsigned long) p2 & (HEAP_MAX_SIZE - 1))) {
			__munmap(p2, HEAP_MAX_SIZE);
			p2 = MAP_FAILED;
		}
	}

	/* 如果第一次分配（aligned_heap_area=NULL） 或者 P2分配失败（aligned_heap_area不为NULL），则开始重新分配
	 * p1表示第一次分配，调用MMAP分配2倍HEAP_MAX_SIZE的内存映射块，本次使用内存块的第一块部分，并将aligned_heap_area指向第二块部分
	 * */
	if (p2 == MAP_FAILED) {
		p1 = (char *) MMAP(0, HEAP_MAX_SIZE << 1, PROT_NONE, MAP_NORESERVE); //分配一块两倍HEAP_MAX_SIZE大小的内存映射块，可以分两次使用
		if (p1 != MAP_FAILED) { //分配成功
			p2 = (char *) (((unsigned long) p1 + (HEAP_MAX_SIZE - 1))
					& ~(HEAP_MAX_SIZE - 1));
			ul = p2 - p1;
			if (ul)
				__munmap(p1, ul);
			else
				aligned_heap_area = p2 + HEAP_MAX_SIZE; //aligned_heap_area 记录下一次分配的地址值
			__munmap(p2 + HEAP_MAX_SIZE, HEAP_MAX_SIZE - ul);
		} else {
			/* 如果P1分配2倍的HEAP_MAX_SIZE失败，则再次重试分配HEAP_MAX_SIZE，分配失败则报错*/
			/* Try to take the chance that an allocation of only HEAP_MAX_SIZE
			 is already aligned. */
			p2 = (char *) MMAP(0, HEAP_MAX_SIZE, PROT_NONE, MAP_NORESERVE);
			if (p2 == MAP_FAILED)
				return 0;

			if ((unsigned long) p2 & (HEAP_MAX_SIZE - 1)) {
				__munmap(p2, HEAP_MAX_SIZE);
				return 0;
			}
		}
	}
	if (__mprotect(p2, size, PROT_READ | PROT_WRITE) != 0) {
		__munmap(p2, HEAP_MAX_SIZE);
		return 0;
	}
	h = (heap_info *) p2; //写入heap_info结构
	h->size = size; //设置大小
	h->mprotect_size = size; //设置大小
	LIBC_PROBE(memory_heap_new, 2, h, h->size);
	return h;
}

四、grow_heap对heap进行size扩容

 grow_heap：对堆进行扩容（但是size需要小于分配页的大小HEAP_MAX_SIZE）；
实际就是调整size（扩大size，但是size需要小于分配页大小）

/**
 * 对堆进行扩容，但是size需要小于分配页的大小HEAP_MAX_SIZE
 * 实际就是调整size（扩大size，但是size需要小于分配页大小）
 */
static int grow_heap(heap_info *h, long diff) {
	size_t pagesize = GLRO(dl_pagesize);
	long new_size;

	diff = ALIGN_UP(diff, pagesize);
	new_size = (long) h->size + diff;
	if ((unsigned long) new_size > (unsigned long) HEAP_MAX_SIZE)
		return -1;

	if ((unsigned long) new_size > h->mprotect_size) {
		if (__mprotect((char *) h + h->mprotect_size,
				(unsigned long) new_size - h->mprotect_size,
				PROT_READ | PROT_WRITE) != 0)
			return -2;

		h->mprotect_size = new_size;
	}

	h->size = new_size;
	LIBC_PROBE(memory_heap_more, 2, h, h->size);
	return 0;
}

五、shrink_heap对heap进行size缩容

 shrink_heap：缩小堆区：实际就是缩小size，通过MMAP函数（参数：MAP_FIXED）

static int shrink_heap(heap_info *h, long diff) {
	long new_size;

	new_size = (long) h->size - diff;
	if (new_size < (long) sizeof(*h))
		return -1;

	/* Try to re-map the extra heap space freshly to save memory, and make it
	 inaccessible.  See malloc-sysdep.h to know when this is true.  */
	if (__glibc_unlikely(check_may_shrink_heap())) {
		if ((char *) MMAP((char *) h + new_size, diff, PROT_NONE, MAP_FIXED)  //丢弃操作
				== (char *) MAP_FAILED)
			return -2;

		h->mprotect_size = new_size;
	} else
		__madvise((char *) h + new_size, diff, MADV_DONTNEED);
	/*fprintf(stderr, "shrink %p %08lx\n", h, new_size);*/

	h->size = new_size;
	LIBC_PROBE(memory_heap_less, 2, h, h->size);
	return 0;
}

六、delete_heap删除一个heap

/* Delete a heap. */

#define delete_heap(heap) \
  do {									      \
      if ((char *) (heap) + HEAP_MAX_SIZE == aligned_heap_area)		      \
        aligned_heap_area = NULL;					      \
      __munmap ((char *) (heap), HEAP_MAX_SIZE);			      \
    } while (0)
堆基础----2 开始入微数据结构
For Geek
09-18 660
有三个极其重要的堆数据结构是用于堆的管理 heap_info(Heap Header的存在) 线程即thread arena可能有多个堆，虽然起初每个arena只有一个堆段，但是随着malloc等函数消耗完堆空间后，新的堆会通过mmap到这个arena中，即受这个arena的管辖！！！，此时这就会有个新的堆段，一个堆段有一个heap_info的数据结构！！！ main arena只有一个heap...
从源码看透 Ptmalloc：堆内存分配与释放的背后
最新发布
新人博主，多多关照
09-20 1264
本文深入剖析了 Ptmalloc（Posix Thread Memory Allocator），一个广泛应用于 glibc 的内存分配器源码，揭示了其背后的内存管理机制。文章首先介绍了 Ptmalloc 的核心结构与功能，包括 fastbin、unsorted bin、mmap 处理等内存池管理策略。接着，通过逐行解析 _int_free 等关键函数，详细解读了内存块的分配、释放及合并过程，展示了 Ptmalloc 如何高效处理内存碎片与并发操作
堆详述（Heap）_下
个人笔记
06-21 708
HeapHeap Memory Heap Memory malloc /* malloc(size_t n) Returns a pointer to a newly allocated chunk of at least n bytes, or null if no space is available. Additionally, on failure, errno is set to ENOMEM on ANSI C systems. If n is zero, mallo
关于如何理解Glibc堆管理器(Ⅹ——完结、补充、注释——Arena、heap_info、malloc_*)
Tokameine的博客
08-07 1073
本篇实为个人笔记，可能存在些许错误；若各位师傅发现哪里存在错误，还望指正。感激不尽。 若有图片及文稿引用，将在本篇结尾处著名来源(也有置于篇首的情况)。 截至到本节内容，该系列算是正式完结了，后续或许会有补充，但基本上都将添加在本节内容中。在前几节中，笔者已经按照自己的思路尽可能详尽的将Glibc的堆管理器Ptmalloc2的方式做了一定的介绍，尽管Ptmalloc2的内容肯定不止这些，但已能大致了解其工作方式了 但也有一些必要的内容未曾在前几节中放出，诸如突然出现...
Linux堆内存管理深入分析
zdy0_2004的专栏
05-23 2744
Linux堆内存管理深入分析 https://jaq.alibaba.com/community/art/show?articleid=315 http://www.cnblogs.com/alisecurity/p/5520847.html 0 前言 近年来，漏洞挖掘越来越火，各种漏洞挖掘、利用的分析文章层出不穷。从大方向来看，主要有基于栈
1.7.什么是堆（heap）
寒风1999
04-27 507
1.7.什么是堆（heap） 栈和堆不得不结合起来谈论，说一下这两种内存管理方式的使用过程，首先，电脑可能有好多个进程，操作系统事先给每一个进程分配一个栈，供每个程序中的局部变量使用，当程序在运行过程中，发现自带的栈不够用了，或者需要大块的内存来使用了，这时候就要分配堆内存了。在来说一说栈和堆的各自优点。栈是系统自动分配、释放的，不需要手动干预，当定义了一个局部变量时，自动就使用栈了。堆是由
glibc内存管理ptmalloc源代码分析-清晰版.pdf
09-09
- **malloc_state**：这是ptmalloc中最基本的数据结构，用于描述一个分配区的状态。 - **Malloc_par**：这是一个静态结构体，用于存储全局配置参数。 4. **配置选项**：用户可以通过设置环境变量来调整ptmalloc的...
glibc内存管理ptmalloc源代码分析@华庭1
08-03
Ptmalloc的源代码分析涉及到内存池的管理、bin数据结构的设计、锁的使用策略、内存对齐和边界检查等多个方面。理解这些细节有助于开发者优化自己的程序，避免内存泄漏和提高内存使用效率。 综上所述，Glibc的...
How2heap -- fastbin_dup_into_stack(by glibc-2.23)
m0_56642842的博客
05-31 265
how2heap 的 fastbin_dup_into_stack.c 源码 pwndbg 调试观察 先malloc了3块内存 堆块结构： 这里堆信息显示的堆块地址都比栈上存储的堆块地址小0x10，这是因为heap显示的地址是堆块的真正的头部地址，指向的是堆块的第一个数据prev_size，而栈上存储的地址是返回给用户使用的指针fd的位置，pre_size和size字段在64位操作系统上都是8字节大小，所以前面占了0x10，导致看到的两个地址相差0x10大小 至于申请的堆块大小为0x20，实际size
glibc内存管理ptmalloc源代码分析1
08-03
- **内存分配区（ arenas）**：多个内存分配区可以并行分配内存，以支持多线程环境。 - **小对象分配（Small Object Allocation）**：对于小对象，使用预分配的内存块，如fastbins和smallbins。 - **大对象分配...
linux堆内存管理
sy4331的博客
11-16 2972
堆内存的使用在linux开发过程中非常普遍，我们有必要了解相关的内存管理方便我们对内存问题的理解和定位。 堆内存结构层次 linux的堆内存管理分为三个层次，分别为分配区area、堆heap和内存块chunk。 area：堆内存最上层即为分配区area。分配区area分为主分配区（main area）和线程分配区（thread area）。 主进程堆空间对应的分配区即为主分配区main area，每个进程仅有一个主分配区，对应我们通常所说的bss段上面堆空间位置。 线程堆空间对应的分配区即为线程分配区
linux 堆溢出学习之malloc堆管理机制原理详解
jmp esp
03-02 1万+
前言在pwn的学习过程中，最为难啃的骨头莫过于堆相关的利用，然而无论是在实际情况下还是在ctf比赛中，堆利用都是绝对的主流，是漏洞的主要类型之一。鉴于国内相关资料有限，系统讲解堆溢出利用的更是少之又少，我在此整理相关内容，既能作为自己学习的记录，也希望能够给大家带来一定的作用，不过鉴于本人也在学习之中，如有错误希望大家包涵，并且能够积极指正。堆的基础知识什么是堆堆是一种全局的数据结构，用以动态管理系
遍历进程Heap
Tommy(凌飞)的专栏
02-25 3266
Windows Heap管理是细粒度的内存管理方式。这样做可以降低内存碎片，提高内存的利用率。每个进程在启动之初都会有一个默认的Heap，这个我们可以通过GetProcessHeap（）返回Heap的句柄，其实这个句柄就是一款buffer。之后进行内存申请都是在这个上面进行的。具体的Heap的结构不怎么了解，初步的heap管理在win 95系统设计揭秘中介绍。这里就不详述了。      这里需要介绍一些API，这些API用于遍历每个进程的Heap相关信息。      _heapwalk()//c 中的本进程
malloc的底层实现（ptmalloc）
热门推荐
编程随笔与杂谈
04-15 3万+
前言 　　本文主要介绍了ptmalloc对于内存分配的管理。结合网上的一些文章和个人的理解，对ptmalloc的实现原理做一些总结。 内存布局 　　介绍ptmalloc之前，我们先了解一下内存布局，以x86的32位系统为例： 　　 　　从上图可以看到，栈至顶向下扩展，堆至底向上扩展， mmap 映射区域至顶向下扩展。 mmap 映射区域和堆相对扩展，直至耗尽虚拟地址空间中的剩余区域，...
Linux内存管理（二）：PTMalloc
胡图图
07-29 870
1. ptmalloc简介 2. 内存管理数据结构 3. 内存分配 4. 内存回收 5. 配置选项 6. 注意事项 1. ptmalloc简介 Linux 中 malloc 的早期版本是由 Doug Lea 实现的，它有一个重要问题就是在并行处理时 多个线程共享进程的内存空间，各线程可能并发请求内存，在这种情况下应该如何保证分配 和回收的正确和高效。Wolfram Gloger 在 Doug Lea 的基础上改进使得 Glibc 的 malloc 可以支 持多线程——ptmalloc，在..
pwndbg的Undefined command: “parseheap“/“heapinfo“一类问题的一种可能性
weixin_45425107的博客
09-19 2831
萌新从栈入堆，一直用的peda到底没有pwndbg的heap功能好用，因此想着换成pwndbg，这一装就是三天= = 虽然顺利安装了上去，并且成功运行，但总是缺了点命令。比如heapinfo，heapbase，parseheap等 期间换了ubuntu版本，gdb版本，还向师傅要了老版dbg，依然没有解决问题，最后差点去改libc… 最后的解决方法也是极其简单，仅仅是安装了pwngdb而已 是的，它不止有pwndbg，还有pwngdb，而且缺少的这些命令从来都不是pwndbg的命令，而是pwngdb的… 也
malloc，ptmalloc内存分配及回收原理
iMEANT的博客
07-16 2385
malloc函数要求： 1.malloc函数分配的内存大小至少为size参数所指定的字节数 2.malloc的返回值是一个void类型的指针，必须强转为我们需要的类型的指针 3.多次调用malloc所分配的地址不能有重叠部分，除非某次malloc所分配的地址被free释放了 4.malloc应尽快完成内存分配并且返回 5.实现malloc的同时实现calloc和realloc和free ...
OpenHarmony(6) —— 内存管理
god
10-14 3151
系统运行，少不了做些内存操作，MemAlloc / MemFree，就要实行内存管理。 以LiteOS为基础，所以设计上需要看LiteOS的相关文档https://support.huaweicloud.com/LiteOS/index.html 在HI3559V200 SDK开发包中也有liteos内核开发文档，其中也描述了内存管理算法。 网页资料看https://support.huaweicloud.com/kernelmanual-LiteOS/zh-cn_topic_01453...
LCTF2018 PWN easy_heap 远程环境搭建
哒君的博客
08-08 923
一直很头疼环境的问题，需要目标环境的glibc版本是2.27，而我的是2.23 如果开启第二个虚拟机占用内存太大，所以我选择用docker 于是终于找到了能在libc2.27下工作的gdb插件pwngdb(注意不是那个pwndbg) 所以这个镜像可以作为Tcache机制题目的本地测试容器 GitHub docker镜像：链接：https://pan.baidu.com/s/1eCIbJl3Ig9...
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值