良好的操作系统性能部分依赖于操作系统有效管理资源的能力。在过去,堆内存管理器是实际的规范,但是其性能会受到内存碎片和内存回收需求的影响。现在,Linux?
内核使用了源自于
Solaris的一种方法,但是这种方法在嵌入式系统中已经使用了很长时间了,它是将内存作为对象按照大小进行分配。本文将探索
slab分配器背后所采用的思想,并介绍这种方法提供的接口和用法。
动态内存管理
内存管理的目标是提供一种方法,为实现各种目的而在各个用户之间实现内存共享。内存管理方法应该实现以下两个功能:
最小化管理内存所需的时间{zd0}化用于一般应用的可用内存(最小化管理开销)
内存管理实际上是一种关于权衡的零和游戏。您可以开发一种使用少量内存进行管理的算法,但是要花费更多时间来管理可用内存。也可以开发一个算法来有效地管理内存,但却要使用更多的内存。最终,特定应用程序的需求将促使对这种权衡作出选择。
每个内存管理器都使用了一种基于堆的分配策略。在这种方法中,大块内存(称为堆)用来为用户定义的目的提供内存。当用户需要一块内存时,就请求给自己分配一定大小的内存。堆管理器会查看可用内存的情况(使用特定算法)并返回一块内存。搜索过程中使用的一些算法有
first-fit(在堆中搜索到的{dy}个满足请求的内存块)和
best-fit(使用堆中满足请求的最合适的内存块)。当用户使用完内存后,就将内存返回给堆。
这种基于堆的分配策略的根本问题是碎片(fragmentation)。当内存块被分配后,它们会以不同的顺序在不同的时间返回。这样会在堆中留下一些洞,需要花一些时间才能有效地管理空闲内存。这种算法通常具有较高的内存使用效率(分配需要的内存),但是却需要花费更多时间来对堆进行管理。
另外一种方法称为
buddy memory allocation,是一种更快的内存分配技术,它将内存划分为 2
的幂次方个分区,并使用 best-fit
方法来分配内存请求。当用户释放内存时,就会检查buddy块,查看其相邻的内存块是否也已经被释放。如果是的话,将合并内存块以最小化内存碎片。这个算法的时间效率更高,但是由于使用best-fit
方法的缘故,会产生内存浪费。
本文将着重介绍
Linux 内核的内存管理,尤其是 Slab
分配提供的机制。
slab
缓存
Linux所使用的 slab 分配器的基础是 Jeff Bonwick 为 Sun OS
操作系统首次引入的一种算法。Jeff的分配器是围绕对象缓存进行的。在内核中,会为有限的对象集(例如文件描述符和其他常见结构)分配大量内存。
Jeff发现对内核中普通对象进行初始化所需的时间超过了对其进行分配和释放所需的时间。因此他的结论是不应该将内存释放回一个全局的内存池,而是将内存保持为针对特定目而初始化的状态。例如,如果内存被分配给了一个互斥锁,那么只需在为互斥锁首次分配内存时执行一次互斥锁初始化函数(mutex_init)即可。后续的内存分配不需要执行这个初始化函数,因为从上次释放和调用析构之后,它已经处于所需的状态中了。
Linux
slab 分配器使用了这种思想和其他一些思想来构建一个在空间和时间上都具有高效性的内存分配器。
图
1 给出了 slab 结构的高层组织结构。在{zg}层是 cache_chain,这是一个 slab 缓存的链接列表。这对于
best-fit 算法非常有用,可以用来查找最适合所需要的分配大小的缓存(遍历列表)。cache_chain
的每个元素都是一个kmem_cache
结构的引用(称为一个cache)。它定义了一个要管理的给定大小的对象池。
图 1. slab
分配器的主要结构
每个缓存都包含了一个 slabs 列表,这是一段连续的内存块(通常都是页面)。存在 3 种
slab:
slabs_full xx分配的
slab
slabs_partial 部分分配的
slab
slabs_empty 空
slab,或者没有对象被分配
注意
slabs_empty 列表中的 slab
是进行回收(reaping)的主要备选对象。正是通过此过程,slab
所使用的内存被返回给操作系统供其他用户使用。
slab列表中的每个
slab
都是一个连续的内存块(一个或多个连续页),它们被划分成一个个对象。这些对象是从特定缓存中进行分配和释放的基本元素。注意slab 是
slab 分配器进行操作的最小分配单位,因此如果需要对 slab 进行扩展,这也就是所扩展的最小值。通常来说,每个 slab
被分配为多个对象。
由于对象是从
slab 中进行分配和释放的,因此单个 slab 可以在 slab 列表之间进行移动。例如,当一个slab
中的所有对象都被使用完时,就从slabs_partial 列表中移动到 slabs_full 列表中。当一个 slab
xx被分配并且有对象被释放后,就从 slabs_full 列表中移动到slabs_partial
列表中。当所有对象都被释放之后,就从slabs_partial 列表移动到 slabs_empty 列表中。
slab
背后的动机
与传统的内存管理模式相比,
slab缓存分配器提供了很多优点。首先,内核通常依赖于对小对象的分配,它们会在系统生命周期内进行无数次分配。slab缓存分配器通过对类似大小的对象进行缓存而提供这种功能,从而避免了常见的碎片问题。slab分配器还支持通用对象的初始化,从而避免了为同一目而对一个对象重复进行初始化。{zh1},slab分配器还可以支持硬件缓存对齐和着色,这允许不同缓存中的对象占用相同的缓存行,从而提高缓存的利用率并获得更好的性能。
API
函数
现在来看一下能够创建新
slab 缓存、向缓存中增加内存、销毁缓存的应用程序接口(API)以及 slab 中对对象进行分配和释放操作的函数。
{dy}个步骤是创建
slab 缓存结构,您可以将其静态创建为:struct struct kmem_cache *my_cachep;
然后其他
slab 缓存函数将使用该引用进行创建、删除、分配等操作。kmem_cache
结构包含了每个中央处理器单元(CPU)的数据、一组可调整的(可以通过 proc 文件系统访问)参数、统计信息和管理 slab
缓存所必须的元素。
kmem_cache_create
内核函数 kmem_cache_create
用来创建一个新缓存。这通常是在内核初始化时执行的,或者在首次加载内核模块时执行。其原型定义如下:
struct kmem_cache *
kmem_cache_create(
const char *name, size_t size, size_t align,
unsigned
long flags;
void
(*ctor)(void*, struct kmem_cache *, unsigned long),
void
(*dtor)(void*, struct kmem_cache *, unsigned long));
name 参数定义了缓存名称,proc 文件系统(在 /proc/slabinfo
中)使用它标识这个缓存。
size 参数指定了为这个缓存创建的对象的大小, align
参数定义了每个对象必需的对齐。
flags 参数指定了为缓存启用的选项。这些标志如表 1 所示。
表
1.
kmem_cache_create 的部分选项(在 flags
参数中指定)
[tr]选项说明[/tr][tr]SLAB_RED_ZONE[td]在对象头、尾插入标志,用来支持对缓冲区溢出的检查。[tr]
SLAB_POISON[td]使用一种己知模式填充
slab,允许对缓存中的对象进行监视(对象属对象所有,不过可以在外部进行修改)。[tr]SLAB_HWCACHE_ALIGN[td]指定缓存对象必须与硬件缓存行对齐。
ctor 和 dtor
参数定义了一个可选的对象构造器和析构器。构造器和析构器是用户提供的回调函数。当从缓存中分配新对象时,可以通过构造器进行初始化。
在创建缓存之后,kmem_cache_create
函数会返回对它的引用。注意这个函数并没有向缓存分配任何内存。相反,在试图从缓存(最初为空)分配对象时,refill
操作将内存分配给它。当所有对象都被使用掉时,也可以通过相同的操作向缓存添加内存。
kmem_cache_destroy 内核函数
kmem_cache_destroy 用来销毁缓存。这个调用是由内核模块在被卸载时执行的。在调用这个函数时,缓存必须为空。
void kmem_cache_destroy( struct kmem_cache *cachep );
kmem_cache_alloc
要从一个命名的缓存中分配一个对象,可以使用