ptmalloc源码分析 - _int_malloc函数之fastbins（06）

已于 2023-09-22 10:48:07 修改
阅读量3w 收藏 1
点赞数 1
CC 4.0 BY-SA版权
分类专栏： ptmalloc源码分析 文章标签： c语言 linux 操作系统
于 2023-08-30 15:54:51 首次发布
版权声明：本文为博主原创文章，遵循 CC 4.0 BY-SA 版权协议，转载请附上原文出处链接和本声明。
本文链接：https://blog.csdn.net/initphp/article/details/132582872
本文详细解析了_int_malloc内存分配的核心函数，涉及bins的管理、chunk结构、内存分配前的检查、request2size转换以及fastbins的原子操作。重点介绍了fastbins的高效缓存策略和多线程同步方法。

摘要生成于 C知道 ，由 DeepSeek-R1 满血版支持， 前往体验 >

目录

一、_int_malloc内存分配的核心函数

二、bins的管理和chunk的结构

三、_int_malloc函数分配前的两个检查

四、request2size用户请求分配大小转chunksize

五、REMOVE_FB原子实现fastbins的链表操作

六、fastbins的具体分配实现

一、_int_malloc内存分配的核心函数

前几章节，我们主要讲解了状态机malloc_state、内存组织单元malloc_chunk、分配区Arena三个概念。此处有必要再次再次加强这几个概念的理解：

  • 状态机：是指malloc_state这个数据结构，该结构用来管理分配区下面的内存组织结构，例如：fastbins、smallbins、largebins等。通过状态机，我们就能找到对应的内存应该在那个bins上分配
  • 内存组织单元：是指malloc_chunk这个数据结构，该结构主要管理每一次分配的内存，chunk分为数据记录区和数据区，通过chunk我们也能将不同的chunk进行双向链表放置到不同的bins上
  • 分配区：分配区分为主分配区和非主分配区，主要为了避免多线程争抢。

内存是如何分配的，以及如何将分配的内存关联到malloc_chunk，然后放置到malloc_state的状态机上，则是由_int_malloc函数实现的。

我们继续回到入口函数__libc_malloc ：

  • 首选通过arena_get函数，获取一个分配区，得到ar_ptr的值（也是当前分配区状态机malloc_state）
  • 然后调用_int_malloc函数，传入ar_ptr和bytes参数，最终得到victim值，即malloc_chunk这个结构
  • 如果victim的值为NULL，分配失败，则调用arean_get_retry重新获取一个新的分配区，并重新执行_int_malloc函数
  /* 获取一个分配区，分配区分为主分配区和线程分配区 ，并加锁*/
  arena_get (ar_ptr, bytes);

  /* 执行malloc的分配操作 */
  victim = _int_malloc (ar_ptr, bytes);
  /* Retry with another arena only if we were able to find a usable arena
     before. 如果执行分配失败，则再执行一遍 */
  if (!victim && ar_ptr != NULL)
    {
      LIBC_PROBE (memory_malloc_retry, 1, bytes);
      ar_ptr = arena_get_retry (ar_ptr, bytes); //重新获取分配区
      victim = _int_malloc (ar_ptr, bytes);
    }

  /* 解除锁；arena_get函数里面，如果分配区能够取到，则会上锁 */
  if (ar_ptr != NULL)
    __libc_lock_unlock (ar_ptr->mutex);

  assert (!victim || chunk_is_mmapped (mem2chunk (victim)) ||
          ar_ptr == arena_for_chunk (mem2chunk (victim)));
  return victim;
}

二、bins的管理和chunk的结构

这一节还是要继续回顾一下bins的管理方式和chunk的结构。这个比较重要，后续会贯穿整个_int_malloc的实现。

bins的实现：

在malloc_state状态机里面，有两个结构对象：fastbinsY和bins

fastbinsY：fast bins是bins的高速缓冲区，大约有10个定长队列。当用户释放一块不大于max_fast（默认值64）的chunk（一般小内存）的时候，会默认会被放到fast bins上。

bins：主要管理small bins、large bins、unstored bins，在一个数组上，通过数组下标和步长方式来区分不同类型的bins

 

chunk实现：

 malloc_chunk结构主要管理了chunk的大小，双向链表的指针以及空闲链表的指针等。通过chunk结构也能获取到实际存储的数据区域。

三、_int_malloc函数分配前的两个检查

_int_malloc入参mstate av和size_t bytes，即分配区状态机结构和内存分配的大小。

分配前需要做两个检查：

  • 检查bytes是否在合法区间内，最大小于<2147483647

  • 如果分配区结构为空，则调用sysmalloc进行再次分配

/**
 * malloc的核心分配函数
 * av：分配区
 * bytes：内存的大小
 */
static void *
_int_malloc (mstate av, size_t bytes)
{

........

  //检查bytes是否在合法区间内，最大小于<2147483647
  if (!checked_request2size (bytes, &nb))
    {
      __set_errno (ENOMEM);
      return NULL;
    }

  /* There are no usable arenas.  Fall back to sysmalloc to get a chunk from
     mmap.  */
  /* 如果分配区结构为空，则调用sysmalloc进行再次分配 */
  if (__glibc_unlikely (av == NULL))
    {
      void *p = sysmalloc (nb, av);
      if (p != NULL)
	alloc_perturb (p, bytes);
      return p;
    }

四、request2size用户请求分配大小转chunksize

checked_request2size函数不仅检测每次内存分配的大小是否在合法区间内（<2147483647），还调用request2size函数，将用户申请的内存大小bytes转成nb字段。

request2size主要逻辑是最小的chunk大小为MINISIZE（64位系统32字节/32位系统16字节），SIZE_SZ是一个字段的大小（64位8字节/32位4字节），MALLOC_ALIGN_MASK为对齐掩码（64位 16-1=15；32位 8-1=7）

#define request2size(req)                                         \
  (((req) + SIZE_SZ + MALLOC_ALIGN_MASK < MINSIZE)  ?             \
   MINSIZE :                                                      \
   ((req) + SIZE_SZ + MALLOC_ALIGN_MASK) & ~MALLOC_ALIGN_MASK)

//-----------64位系统
#define request2size(req)   (((req) + 8 + 15 < 32)  ?  32 : ((req) + 8 + 15) & ~~
15)
//-----------对齐的chunk值,64位系统从32字节开始，步长16开始递进
1-24 -> 32
25-40 -> 48
41-56 -> 64
57-72 -> 80

五、REMOVE_FB原子实现fastbins的链表操作

定义了一个REMOVE_FB宏函数，该函数主要目的： 原子操作，从fast bins链表上，弹出一个chunk

因为fastbinsY是一个数组，数组上挂载malloc_chunk是双向链表，当多线程进行同时操作链表的时候就会冲突，需要进行原子操作

核心看该函数：define catomic_compare_and_exchange_val_acq(mem, newval, oldval)，mem指向newval，并且返回oldval的值

/*
 * 该函数就是原子操作，从fast bins链表上，弹出一个chunk
 *
 * 核心看该函数：
 * define catomic_compare_and_exchange_val_acq(mem, newval, oldval)
 * mem指向newval，并且返回oldval的值
 * */
#define REMOVE_FB(fb, victim, pp)			\
  do							\
    {							\
      victim = pp;					\
      if (victim == NULL)				\
	break;						\
    }							\
  while ((pp = catomic_compare_and_exchange_val_acq (fb, victim->fd, victim)) \
	 != victim);

六、fastbins的具体分配实现

fastbins放置在malloc_state-> fastbinsY数组上，是高速缓冲区（主要用于小内存的快速分配和释放），大约有10个定长队列。

当用户释放一块不大于max_fast（默认值64）的chunk（一般小内存）的时候，会默认会被放到fast bins上。

_int_malloc函数中，先看申请的内存大小nb是否符合fast bins的限制，符合的话，首先进入fast bin的分配。

malloc_state-> fastbinsY数组为小内存块分配的空闲链表，如果该空闲链表为空，则无法分配chunk，需要继续往下走流程。

  if ((unsigned long) (nb) <= (unsigned long) (get_max_fast ()))
    {
      idx = fastbin_index (nb); //找到fastbin的数组下标idx
      mfastbinptr *fb = &fastbin (av, idx); //av->fastbinsY[idx]
      mchunkptr pp;
      victim = *fb; //vitctim是malloc_chunk结构

      /* 如果在fastbin上能够找到空闲的小于64b的chunk，则使用该chunk；
       * 如果在fastbin上没有合适的chunk，则去下面的small bins上去创建一个chunk */
      if (victim != NULL)
	{
	  if (SINGLE_THREAD_P)
	    *fb = victim->fd; //单线程
	  else
	    REMOVE_FB (fb, pp, victim); //设置 原子操作，将chunk从fast bins上摘下来，多线程的时候会争抢

	  /* REMOVE_FB是原子操作，所以这里需要继续判断一下，是否摘成功了，victim是否有值*/
	  if (__glibc_likely (victim != NULL))
	    {
	      size_t victim_idx = fastbin_index (chunksize (victim));
	      if (__builtin_expect (victim_idx != idx, 0))
		malloc_printerr ("malloc(): memory corruption (fast)");
	      check_remalloced_chunk (av, victim, nb);

..........................简.............

	      void *p = chunk2mem (victim); //通过chunk结构，获取data数据部分的指针地址
	      alloc_perturb (p, bytes); //初始化内存块
	      return p;
	    }
	}
    }

下一章节，我们继续看_int_malloc函数里面的smallbins、unsorted bin实现

Linux内存从0到1学习笔记(6.13 libc库对内存管理之ptmalloc）--- 更新中
从0到1，突破自己
05-15 5693
今天介绍的ptmalloc其实是指GNU libc中默认的内存分配器，目前普遍使用的ptmalloc实际上是基于早期malloc（dlmalloc）的基础上演进而来。相对于dlmalloc，ptmalloc增加了动态分配去（dynamic arena）每一个分配区利用互斥锁（mutex）使线程对于该分配区的访问互斥。进程可以是单线程，也可以是多线程，因此每个就进程可以有一个主分配区和多个线程分配区。
Glibc：浅谈 malloc() 函数具体实现
加号减减号的博客
05-08 8660
简介 源代码 __libc_malloc() _int_malloc() __libc_malloc() 分析 参数 __malloc_hook 全局钩子 ptmalloc_init 转入 _int_malloc() _int_malloc 分析 计算 chunk size 是否命中 fastbins 是否命中 smallbins 非 smallbins 则转入 malloc_co...
malloc的底层实现（ptmalloc）
编程随笔与杂谈
04-15 3万+
前言 　　本文主要介绍了ptmalloc对于内存分配的管理。结合网上的一些文章和个人的理解，对ptmalloc的实现原理做一些总结。 内存布局 　　介绍ptmalloc之前，我们先了解一下内存布局，以x86的32位系统为例： 　　 　　从上图可以看到，栈至顶向下扩展，堆至底向上扩展， mmap 映射区域至顶向下扩展。 mmap 映射区域和堆相对扩展，直至耗尽虚拟地址空间中的剩余区域，...
malloc函数详解
热门推荐
xwdreamer的专栏
12-08 33万+
一、原型：extern void *malloc(unsigned int num_bytes);头文件：#include 或 #include (注意：alloc.h 与 malloc.h 的内容是完全一致的。)功能：分配长度为num_bytes字节的内存块说明：如果分配成功则返回指向被分配内存的指针，否则返回空指针NULL。当内存不再使用时，应使用free()函数将内存块释
【形象解析】ptmalloc、tcmalloc与jemalloc对比
最新发布
Raizeroko的博客
04-17 1036
对于ptmalloc，tcmalloc，jemalloc网上有很多解析，讲的很好也很仔细，但是想要彻底看懂还是很有难度的，我这篇文章主要以自己的理解并结合形象的举例对比三者的区别，相对于大部分文章我不会深入的探讨三者的具体结构，而是从接触新手的角度，通过对比三者的区别，以举例子让大家对这三个常见内存池有一个整体且直观的概念，其中有很多地方舍弃了结构设计的细节，只保留核心的申请释放过程，讲解相对来讲没有那么严谨，如有错误请在评论区指正。
ptmalloc——fastbins
weixin_34414196的博客
06-21 333
2019独角兽企业重金招聘Python工程师标准>>> ...
ptmalloc
u012652354的专栏
10-31 504
原文链接： http://blog.csdn.net/phenics/article/details/777053 ptmalloc 目录     1  前言     2  x86平台Linux程序的内存分布     3  Allocator     4  chuck的组织         4.1  chuck         4.2  ch
堆基础-glibc_malloc_bin
qq_43390703的博客
11-16 3492
glibc_malloc_bin Bins 用户释放掉的chunk不会立即归还系统，ptmalloc会同一管理heap和mmap映射区域中的chunk。当用户再一次请求分配内存的时候，ptmalloc分配器会试图在空闲的chunk中按照规则匹配一块内存给用户，从而避免频繁系统调用，降低内存分配的开销。 具体实现中，ptmalloc 采用分箱式方法对空闲的 chunk 进行管理。首先，它会根据空闲的 chunk 的大小以及使用状态将 chunk 初步分为 4 类：fast bins，small bins，la
从源码看透 Ptmalloc：堆内存分配与释放的背后
新人博主，多多关照
09-20 1265
本文深入剖析了 Ptmalloc（Posix Thread Memory Allocator），一个广泛应用于 glibc 的内存分配器源码，揭示了其背后的内存管理机制。文章首先介绍了 Ptmalloc 的核心结构与功能，包括 fastbin、unsorted bin、mmap 处理等内存池管理策略。接着，通过逐行解析 _int_free 等关键函数，详细解读了内存块的分配、释放及合并过程，展示了 Ptmalloc 如何高效处理内存碎片与并发操作
【学习札记NO.00003】基于libc-2.23版本的malloc源码简易分析 - Part-I - 堆内存的基本组织形式 by arttnba3
arttnba3的博客
01-19 1349
【学习札记NO.00003】基于libc-2.23版本的malloc源码简易分析 - Part-I - 堆内存的基本组织形式 by arttnba30x00.堆内存的组织形式一、malloc_chunk[The \_\_alignof\_\_ operator](https://www.ibm.com/support/knowledgecenter/ssw_ibm_i_71/rzarg/sc09785202.htm?view=kc#ToC_180)二、chunk相关宏1.chunk size相关宏宏：off
深入探究 Linux C中进程崩溃
刘森林l的博客
04-23 1681
目录 前言 栈内存异常以及案列分享 堆内存异常以及案列分享 Ptmalloc的内存管理 前言 LinuxC的内存管理融入了设计者很多高效的算法和思想，提供了用户直接可以操作的内存的“指针”，这也是其他语言不涉及的（除Go语言21世纪的C语言），但是对于指针这把双刃剑，开发者操作着进程的内存，难免造成意想不到的崩溃问题，其实踩内存情况应该把栈和堆（ptmalloc）分开，因为linux对这两块的管理...
glibc-2.23_int_malloc_流程浅析
weixin_30810239的博客
03-26 215
转载于:https://www.cnblogs.com/shangye/p/6612448.html
堆内存(3)——分配函数_int_malloc
qq_42584874的博客
03-11 1920
_int_malloc __libc_malloc会调用malloc_hook_ini 进行初始化，然后回调__libc_malloc函数，这时候会执行_int_malloc开始分配内存 //堆内存分配入口函数 static void * _int_malloc (mstate av, size_t bytes) { ...... //将内存转换以块为单位，并判断内存大小是否合法 if (!checked_request2size (bytes, &nb)) {
ptmalloc源码分析 - _int_malloc函数之smallbins和unsorted bin（07）
自娱自乐的代码人
09-08 2万+
前一章，我们讲解了fastbins的空闲链表的分配逻辑。获取得到的victim就是要操作的内存chunk对象，通过chunk2mem和alloc_perturb函数，初始化对象。如果符合smallbin的大小，则从smallbin的数组上获取一个chunk进行内存分配。，则此次分配失败，需要跳出smallbins上的分配逻辑，往下走其他逻辑的分配方式。如果是smallbin，则通过bins的数组下标获取到对应的chunk双向链表。如果，我们分配的是一个small类型的，遇到合适大小的chunk，则可以将。
glibc-2.23 _int_malloc函数流程分析
qq_34010404的博客
05-08 815
文章目录_int_malloc流程分析1.尝试在fastbin里面寻找2.尝试在small bin里面寻找3.触发malloc_consolidate4.for()循环：5 use top其他部分:1.关于last_reminder _int_malloc流程分析 1.尝试在fastbin里面寻找 若needbytes 是小于fastbin最大chunk的大小，根据needbytes计算出idx,在对应的bin里面看一下有没有chunk。若对应的bin并不是空的，那么取出一个chunk 名为victim，检
glibc 内存池管理 ptmalloc（转）
Archie's 部落格
03-08 868
ptmalloc phenix*  2006-06-07 目录     1  前言     2  x86平台Linux程序的内存分布     3  Allocator     4  chuck的组织         4.1  chuck         4.2  chunk中的空间复用     5  空闲 chunk 容器         5.1  Bins        
malloc_trim源码实现
03-19
<think>好的，我需要帮助用户找到`malloc_trim`函数的源码实现。首先，用户提供的引用内容涉及到Linux内存分配器，特别是ptmalloc2，这可能与glibc的实现有关。 根据引用[1]，Linux使用的是ptmalloc2，它支持多线程，这提示我`malloc_trim`可能属于ptmalloc的一部分，而ptmalloc的源码包含在glibc中。所以，我需要定位到glibc的malloc目录下的相关文件，比如`malloc.c`或`arena.c`。 接下来，用户提到的引用[2]和[3]可能与调试或文档相关，但关键点还是源码的位置。搜索glibc的源码仓库，查找`malloc_trim`函数。通常，内存释放和整理函数会在负责arena管理的文件中实现，可能在`malloc/malloc.c`中找到该函数的定义。 另外，`malloc_trim`的作用是释放堆内存给操作系统，这可能涉及到`mtrim`相关的内部函数，比如`mtrim`。需要检查glibc源码中的这部分逻辑，确认其如何调用系统函数如`madvise`或`brk`来释放内存。 最后，确保引用正确的源码文件和版本，比如glibc 2.35中的实现，并指导用户如何查找和验证这些信息，比如通过在线代码库或下载源码包。</think>关于`malloc_trim`函数的源码实现，以下是关键分析步骤： 1. **源码位置** `malloc_trim`定义在glibc的**malloc/malloc.c**文件中[^1]，其核心实现为： ```c int __malloc_trim(size_t s) { int result = 0; // 遍历所有arena并调用mtrim释放内存 mstate ar_ptr = &main_arena; do { (void) mutex_lock(&ar_ptr->mutex); result |= mtrim(ar_ptr, s); (void) mutex_unlock(&ar_ptr->mutex); ar_ptr = ar_ptr->next; } while (ar_ptr != &main_arena); return result; } ``` 2. **底层调用链** 函数通过`mtrim`→`heap_trim`→`delete_heap`最终调用系统级内存释放函数： ```c static int mtrim(mstate av, size_t s) { mchunkptr tp = av->top; // 获取当前arena的top chunk return heap_trim(av->system_mem, s); // 触发堆内存修剪 } ``` 在`heap_trim`中会通过`madvise(MADV_DONTNEED)`或`sbrk`系统调用将空闲内存返还给操作系统[^2]。 3. **关键参数** - `s`参数表示希望保留的堆顶最小空间 - 返回值表示是否成功释放内存 4. **实现限制** 该函数仅释放**通过sbrk分配的main arena内存**，而通过mmap分配的arena无法通过此函数释放[^3]。
评论
添加红包

请填写红包祝福语或标题

个

红包个数最小为10个

元

红包金额最低5元

当前余额3.43元 前往充值 >
需支付：10.00元
成就一亿技术人!
领取后你会自动成为博主和红包主的粉丝 规则
hope_wisdom
发出的红包
实付元
使用余额支付
点击重新获取
扫码支付
钱包余额 0

抵扣说明：

1.余额是钱包充值的虚拟货币，按照1:1的比例进行支付金额的抵扣。
2.余额无法直接购买下载，可以购买VIP、付费专栏及课程。

余额充值