Linux资源管理：cgroups深入了解与应用-CSDN博客

本文链接：https://blog.csdn.net/weixin_31749299/article/details/149656758

简介：cgroups是Linux内核的资源限制机制，可以对进程组进行CPU、内存、磁盘I/O等资源的限制。它通过将进程分组到逻辑单元cgroup，并设置资源限制实现精细化管理和隔离。在Docker等容器技术中，cgroups用于确保资源隔离和稳定性，通过限制CPU和内存使用、调整优先级、管理内存和I/O操作来提升系统性能。掌握cgroups对于优化容器性能是至关重要的。本文档将详细介绍cgroups的原理和在Docker中的应用。

1. cgroups资源限制机制介绍

在现代操作系统中，资源管理是确保系统稳定运行的关键一环。 cgroups （Control Groups）是一种由Linux内核提供的机制，它允许系统管理员对一组进程的资源使用进行限制、记录和隔离。通过对CPU、内存、磁盘I/O等关键资源的控制，cgroups有助于优化系统性能，防止资源的过度使用和滥用，特别是在云计算和容器化技术中显得尤为重要。

cgroups的引入为资源管理带来了革命性的变化，它不仅使得资源分配更加细致和灵活，而且为系统管理和调度提供了坚实的基础。无论是系统管理员还是应用程序开发者，了解cgroups的工作原理和应用方式，对于维护大型系统和开发高效的应用程序都是不可或缺的。

本文将从cgroups的基本概念出发，探讨其核心机制，并深入分析如何在Docker容器环境中实现资源限制，以及如何通过cgroups进行优先级控制和资源统计，最终提升系统的整体性能和管理效率。

2. cgroup核心概念和资源管理

2.1 cgroup基本概念

2.1.1 cgroup的定义和作用

cgroups，全称为控制组（control groups），是Linux内核的一个特性，用于限制、记录和隔离进程组所使用的物理资源（如CPU、内存、磁盘I/O等）。cgroups的一个重要特点是提供了统一的接口，使得不同的资源管理功能可以以一致的方式被管理。

cgroups的作用主要体现在以下几个方面：
- 资源限制 ：允许管理员对特定的进程组设置资源使用的上限，比如CPU使用时间、内存大小等。
- 优先级控制 ：为不同的进程组分配不同的优先级，确保关键进程能够获得更多的资源。
- 资源隔离 ：将系统资源分隔开来，防止一组进程影响到其他进程。
- 统计信息 ：记录进程组所使用的资源，为性能调优和系统监控提供数据支持。

2.1.2 cgroup的结构和组成

cgroups的结构设计为树状层级，每个节点称为一个cgroup，节点下可以有子节点。这种层级结构使得资源分配可以按照组织结构来设计。

cgroups主要由以下组件构成：
- 层级（Hierarchy） ：一个或多个cgroup的集合，形成一棵树。每个层级有唯一的根cgroup，子cgroup继承父cgroup的属性。
- 子系统（Subsystems） ：也称为控制器，是管理特定类型的资源的模块。例如，cpuacct子系统用于统计CPU资源的使用情况。
- 任务（Tasks） ：运行在系统中的进程，可以是单个进程或者进程组。任务可以被添加到一个或多个cgroup中。

2.2 资源管理原理

2.2.1 资源限制的基本原理

资源限制的核心在于限制进程对系统资源的使用，这包括CPU时间、内存、磁盘I/O等。cgroups通过设置特定的参数来控制资源的使用上限。

CPU限制 ：cgroups可以限制进程可以使用的CPU核心数量和时间片。
内存限制 ：可以设置进程可使用的最大内存大小，以及在内存不足时的行为（如oom-killer的触发）。
磁盘I/O限制 ：限制对磁盘的读写速率。

2.2.2 资源管理的策略和方法

cgroups提供了多种策略来管理资源，包括：

分配策略 ：确保每个cgroup能够获得预定的资源量。
控制策略 ：对资源的使用进行限制，超过限制的使用会被拒绝或记账。
优先级策略 ：通过权重设置，控制cgroup对资源的访问顺序和程度。

资源管理方法通常涉及到设置相应的控制文件，这些文件位于每个子系统的目录下，通过写入特定的值来配置资源限制。

# 设置cgroup的CPU权重（位于cpu子系统）
echo "1024" > /sys/fs/cgroup/cpu/MyCgroup/cpu.shares

cpu.shares ：控制分配给cgroup的CPU时间比例，值为相对权重。
cpu.cfs_period_us 和 cpu.cfs_quota_us ：控制cgroup在固定周期内允许使用的CPU时间。

在调整资源限制时，通常需要对当前系统负载和预期目标进行综合评估，以避免过度限制导致资源浪费或不足。

接下来，我们将继续探讨cgroup的子系统和控制器，以及如何在Docker中应用cgroups进行资源限制。

3. cgroup子系统和控制器工作原理

3.1 子系统概念

3.1.1 子系统的种类和功能

在Linux内核中，cgroups（控制组）通过子系统的形式实现对资源的控制。每个子系统关注于一类资源的管理和分配。截至目前，已经实现了多个cgroup子系统，主要子系统包括但不限于以下几种：

cpu ：控制任务对CPU的使用，可以限制任务可以使用的CPU数量和优先级。
cpuacct ：自动生成对CPU资源使用的报告。
cpuset ：可以为任务分配独立的CPU核心和内存节点。
memory ：限制任务可以使用的内存总量，同时可以提供内存使用情况的统计报告。
blkio ：限制任务对块设备（例如硬盘）的I/O操作。
net_cls ：通过类别标识符（classid）对网络流量进行标记，与TC（Traffic Control）配合使用。
perf_event ：允许对任务的性能相关事件进行监控。

这些子系统在内核中是以模块的形式存在的，可以根据需要动态加载和卸载。每一个子系统都关联一组特定的资源控制接口，使得系统管理员可以灵活地按照资源类型进行管理。

3.1.2 子系统的配置和使用

配置和使用cgroup子系统通常涉及以下步骤：

挂载子系统 ：在系统启动时或运行时挂载需要的cgroup子系统。例如，使用 mount -t cgroup cpu /sys/fs/cgroup/cpu 挂载 cpu 子系统。
创建控制组 ：在挂载的子系统目录下创建新的目录，这个新目录代表一个新的控制组（cgroup）。
bash mkdir /sys/fs/cgroup/cpu/mygroup
配置控制器 ：将进程（或线程）移动到相应的控制组中，并对子系统进行配置。这通常涉及将进程ID（PID）写入特定文件，或者直接设置资源限制参数。

bash echo $$ > /sys/fs/cgroup/cpu/mygroup/cgroup.procs echo 500000 > /sys/fs/cgroup/cpu/mygroup/cpu.cfs_quota_us

监控和调整 ：通过读取子系统提供的统计信息文件来监控资源使用情况，根据需要进行调整。

子系统能够提供丰富的接口来控制和监测资源使用情况，使得系统管理员可以精细地管理各种资源。

3.2 控制器的作用

3.2.1 控制器的功能和限制

在cgroups架构中，控制器是管理特定资源的组件。每个控制器负责一种类型的资源限制，并提供了参数接口以配置该资源的使用。控制器的主要功能包括：

资源限制 ：设置任务可以使用的资源的最大限制，例如CPU时间、内存大小等。
优先级分配 ：根据不同的权重分配资源。
资源统计 ：收集和报告资源使用情况，例如内存使用量、I/O传输量。
任务控制 ：控制任务的执行和状态，例如暂停任务或强制任务结束。

控制器在限制资源时，会对属于该控制组的所有进程应用设置的规则。例如，如果一个进程被分配到了一个CPU资源限制的控制组，那么它只能使用该控制组定义的CPU时间。

3.2.2 控制器的层次结构和交互

cgroups控制器之间可以形成层次结构。控制器能够继承父控制组的配置，这允许系统管理员创建复杂的资源限制树。例如，一个控制组可以设置特定的CPU使用限制，而它的子控制组可以继承这个限制，或者可以进一步细化这个限制。

此外，控制器之间也可以进行交互。比如，内存控制器和CPU控制器可以相互影响。当系统资源紧张时，一个控制组可能因为内存控制器的限制而被交换出去，从而影响到CPU控制器的行为。

这种层次结构和交互机制使得管理员能够更加精细和灵活地控制资源，同时也要求管理员必须对这些交互有深刻的理解，以避免产生意料之外的结果。例如，在配置内存限制的时候，也要考虑CPU资源的合理分配，以避免因资源竞争而影响整体性能。

graph TD
    A[系统] -->|控制| B(cpu控制器)
    A -->|控制| C(memory控制器)
    B --> D[CPU限制]
    C --> E[内存限制]
    D -->|影响| F[进程1]
    D -->|影响| G[进程2]
    E -->|影响| H[进程1]
    E -->|影响| I[进程3]

以上是Mermaid格式的流程图，它描绘了系统通过cpu和memory控制器对进程进行资源限制的情况。

# 示例：在cpu和memory控制器下创建新的控制组
mkdir /sys/fs/cgroup/cpu/cg1
mkdir /sys/fs/cgroup/memory/cg1

# 将进程ID移入控制组
echo $PID > /sys/fs/cgroup/cpu/cg1/cgroup.procs
echo $PID > /sys/fs/cgroup/memory/cg1/cgroup.procs

# 配置CPU时间限制为50%
echo 500000 > /sys/fs/cgroup/cpu/cg1/cpu.cfs_quota_us

# 配置内存限制为2GB
echo 2147483648 > /sys/fs/cgroup/memory/cg1/memory.limit_in_bytes

以上代码块展示了如何在命令行中操作cpu和memory控制器来限制进程的CPU时间和内存使用。每个操作后面都有注释解释其含义，确保管理员理解每个步骤。

在实际操作中，对于不同的场景和需求，管理员可以根据cgroups文档和实际资源使用情况灵活配置各个控制器。这样做既能够保证系统的稳定运行，也能够有效利用系统资源，满足特定业务的需求。

4. Docker中的cgroups应用和资源限制

cgroups是Docker容器技术中不可或缺的组件，它使得Docker能够为每个容器设置资源限制，保证了容器的隔离性和资源的有效分配。本章节将深入探讨Docker是如何利用cgroups进行资源限制的，并通过案例分析，展示其在实际中的应用。

4.1 Docker与cgroups整合

4.1.1 Docker资源管理的cgroups机制

Docker利用cgroups为每个容器创建特定的资源组，以实现对CPU、内存、磁盘I/O等资源的限制和监控。当创建一个容器时，Docker会调用相应的cgroup配置文件，并将其配置成容器所期望的资源限制参数。

容器启动后，Docker会使用cgroups的API来动态调整资源限制，例如在资源紧张时，可以限制容器使用的内存上限，防止容器消耗过多系统资源，影响宿主机或其他容器的运行。

4.1.2 Docker容器资源限制的实现

Docker通过libcontainer库与内核cgroups子系统进行交互。libcontainer是一个用于容器创建、管理和操作的Go语言库，它封装了内核cgroups的复杂操作，为Docker提供了一个简单的接口。

使用libcontainer，Docker可以为每个容器创建一个cgroups目录，并设置其对应的参数，如CPU时间配额、内存使用上限等。Docker还通过容器内的cgroups文件系统进行实时监控，保证了资源使用的透明化。

// 以下是一个使用libcontainer创建cgroup的Go语言示例代码片段
func main() {
    container, err := libcontainer.New("")
    if err != nil {
        panic(err)
    }

    cgroup := container.Cgroup()
    // 设置cgroup参数，例如内存限制
    if err := cgroup.Set("memory", "memory.limit_in_bytes", "512M"); err != nil {
        panic(err)
    }
    // 创建并启动容器
    err = container.Run()
    if err != nil {
        panic(err)
    }
}

在上面的代码示例中，我们创建了一个新的cgroup，并为其设置了512MB的内存限制。之后，我们调用Run方法启动一个容器并应用这些限制。

4.2 资源限制案例分析

4.2.1 CPU资源限制实例

在Docker中限制CPU资源通常涉及到两个参数： cpu.shares 和 cpu.cfs_period_us 、 cpu.cfs_quota_us 。 cpu.shares 用于分配相对权重，而 cpu.cfs_period_us 和 cpu.cfs_quota_us 则用于设置时间配额。

例如，如果有一个容器需要被限制使用不超过1核心的CPU资源，我们可以设置 cpu.cfs_period_us 为100000（单位为微秒）， cpu.cfs_quota_us 为100000。这样，该容器在每个100毫秒的时间窗口内最多只能使用100毫秒的CPU时间。

4.2.2 内存资源限制实例

内存资源限制与CPU类似，通过设置 memory.limit_in_bytes 参数来限定容器的内存使用上限。例如，要限制容器最多使用512MB的内存，可以在Docker运行时添加 -m 或 --memory 选项：

docker run -m 512M [其他选项] [镜像名称] [命令]

执行该命令后，Docker会启动一个容器，并通过cgroups为该容器设置内存限制。

cgroups的这些功能为Docker容器提供了灵活而强大的资源管理能力。通过合理地配置资源限制，开发者和系统管理员可以优化容器的工作负载，确保系统资源的合理分配和高效利用。在下一章节中，我们将深入了解cgroups如何在Docker中限制CPU和内存资源，并探索这些限制对容器性能的具体影响。

5. CPU和内存使用限制在Docker中的实现

5.1 CPU资源限制细节

5.1.1 CPU份额和权重的分配

在Linux内核中，cgroups提供了控制CPU资源分配的手段，使得进程或者进程组能够按照预定的权重来分配CPU时间。CPU份额和权重的分配是控制任务如何访问CPU资源的一种方法。

在Docker中，可以通过 --cpu-shares 参数来为容器设置CPU份额。份额是相对值，不表示具体的CPU时间。当CPU空闲时，所有容器可以充分利用CPU资源，但在CPU紧张时，高份额的容器能够获得更多的CPU时间。

例如，启动一个CPU份额为256的容器，可以使用以下命令：

docker run -it --cpu-shares 256 ubuntu:latest

在内核中，份额的分配是通过权重来完成的。每个进程或进程组都有一个与之关联的权重值，这个值通常和CPU份额成正比。这意味着如果两个进程的CPU份额分别是1024和512，那么前者会在CPU竞争中获得双倍的执行时间。

5.1.2 CPU亲和性和限制

CPU亲和性（CPU Affinity）是另一种控制进程可以运行在哪些CPU核心上的机制。通过设置CPU亲和性，可以使得进程绑定到一个或多个特定的CPU核心，或者排除在某些核心之外运行。这有助于减少缓存未命中的次数和提高性能。

Docker允许用户通过 --cpuset-cpus 参数为容器指定可以使用的CPU核心。例如，如果希望一个容器只在CPU0和CPU1上运行，可以使用以下命令：

docker run -it --cpuset-cpus 0,1 ubuntu:latest

对于CPU限制，可以使用 --cpu-quota 和 --cpu-period 参数来限制容器对CPU时间的使用。这通常用于确保容器不会占用过多的CPU资源。

例如，限制一个容器最多只能使用单个CPU的50%，可以设置如下：

docker run -it --cpu-quota 50000 --cpu-period 100000 ubuntu:latest

这些参数设置了容器在10000微秒（10毫秒）的周期内最多只能使用5000微秒（5毫秒）的CPU时间，因此实际使用的CPU资源会受到限制。

5.2 内存资源限制细节

5.2.1 内存限制的设置和调整

内存限制是指对容器中进程能够使用的内存量进行控制。在Docker中，通过 -m 或者 --memory 参数来设置内存的限制。例如，限制容器最多使用1GB的内存可以使用以下命令：

docker run -it -m 1g ubuntu:latest

这个命令将启动一个容器，并设置其内存限制为1GB。当容器内的进程尝试使用超过这个限制的内存时，会被内核的OOM（Out of Memory）killer终止。

除了设置最大内存使用量外，Docker还提供了 --memory-swap 参数来控制交换空间（swap space）的使用。交换空间是硬盘上的一个区域，当物理内存不足以容纳所有活动进程时，可以使用交换空间。如果不希望容器使用任何交换空间，可以将此参数设置为0：

docker run -it -m 1g --memory-swap -1 ubuntu:latest

5.2.2 内存回收策略和效果

当容器中的进程尝试使用超过分配的内存时，内核会尝试回收内存以防止内存耗尽。内存回收主要依赖于两种机制：OOM Killer和匿名页回收。

OOM Killer是一种内核特性，当系统内存不足时，会触发OOM Killer来杀死一些进程以释放内存。内核会为每个进程维护一个oom_score，该分数越高，进程被OOM Killer杀死的可能性越大。

匿名页回收是Linux内核处理内存压力的另一种方法。匿名页是那些未与任何文件关联的内存页，例如程序的栈和堆。当内存不足时，内核会尝试将这些匿名页写入到交换分区，释放物理内存。

在Docker中，可以设置 --oom-kill-disable 参数来关闭特定容器的OOM Killer。这对于那些不能被终止的进程非常有用，但必须谨慎使用，以防止系统因内存耗尽而崩溃。

docker run -it --oom-kill-disable -m 1g ubuntu:latest

在设置内存限制时，务必要考虑到应用程序的内存需求和预期的工作负载。不当的设置可能会导致应用程序性能下降，或者在极端情况下引发服务中断。

通过以上对CPU和内存限制的深入了解，IT专业人员可以更好地优化Docker容器的资源使用，从而提升整体系统的性能和稳定性。接下来，我们将探讨cgroups在优先级控制和内存管理方面的高级应用。

6. cgroups的优先级控制和内存管理

6.1 优先级控制机制

6.1.1 优先级的设置和影响

在cgroups中，可以通过设置进程的优先级来影响其对系统资源的使用。优先级通常由一个名为 nice 的值表示，范围从-20（最高优先级）到19（最低优先级）。在cgroups的上下文中，虽然不能直接设置 nice 值，但可以通过调整CPU份额（ cpu.shares ）来间接影响进程的优先级。 cpu.shares 是一个相对权重，用于在多个进程或cgroup争夺CPU资源时决定它们的分配比例。

当系统负载较轻时，即使设置了较低的 cpu.shares 值，进程也可能获得足够的CPU时间。但是，在负载较重时，拥有更高 cpu.shares 的cgroup将获得更多的CPU时间。因此，通过合理配置 cpu.shares ，可以实现对进程优先级的细致控制，从而确保关键应用获得所需的计算资源。

6.1.2 优先级与其他资源管理的关系

优先级控制与资源限制机制（如内存限制和I/O限制）紧密相关，它们共同构成了一个多层次的资源管理策略。例如，一个高优先级的cgroup可能在CPU资源丰富时运行得更快，但如果它受到内存限制，其性能仍然会受到限制。因此，合理地设置优先级和限制可以确保系统的整体性能和稳定性。

在实际应用中，可以根据业务需求来调整cgroup的优先级设置。例如，实时应用或关键服务可以分配较高的 cpu.shares 值，以确保即使在资源竞争激烈的环境下也能获得足够的CPU时间。而对那些对响应时间要求不高的后台服务，则可以分配较低的 cpu.shares ，以减少它们对CPU的占用，从而提高系统的整体吞吐量。

6.2 内存管理深入

6.2.1 内存的分配和回收机制

cgroups对内存资源的管理包括了内存分配限制和内存回收策略。通过 memory.limit_in_bytes 参数，可以设置cgroup可以使用的最大内存量。当cgroup中的进程试图使用超过限制的内存时，系统会采取相应的措施，如杀死进程或触发oom-killer（Out-of-Memory Killer）来释放内存。

内存回收机制则涉及到Linux内核中的 OOM Killer ，它会在系统内存不足时，选择并杀死一些进程以释放内存。在cgroups的上下文中，可以对 oom_kill_disable 和 memory.oom_control 进行配置，以便更细致地控制当cgroup内存耗尽时的行为。

6.2.2 内存压缩和交换空间管理

除了直接限制cgroup可以使用的内存量外，还可以使用内存压缩（memory compaction）和交换空间（swap space）来优化内存使用。内存压缩是将物理内存中的空闲空间进行整理，以减少碎片，使得大块的连续内存可用于分配。交换空间则是当物理内存不足时，将不常用的数据转移到硬盘上的一个区域，从而释放物理内存供其他进程使用。

在cgroups中，可以通过配置 memory.swappiness 参数来控制内核使用交换空间的倾向性。 memory.swappiness 的值范围是0到100，值越高，内核越倾向于使用交换空间。这对于需要减少I/O操作以提高性能的应用来说，可以将其值设置得较低。

下面是一个示例代码块，展示如何为一个cgroup设置内存和交换空间的限制：

# 创建一个新的cgroup
mkdir /sys/fs/cgroup/memory/my_cgroup

# 挂载memory cgroup控制器
mount -t cgroup -o memory memory /sys/fs/cgroup/memory/my_cgroup

# 限制内存使用为1GB
echo 1073741824 > /sys/fs/cgroup/memory/my_cgroup/memory.limit_in_bytes

# 设置交换空间使用倾向性为30
echo 30 > /sys/fs/cgroup/memory/my_cgroup/memory.swappiness

表格展示cgroups内存管理参数

参数名称	参数描述	参数范围	参数类型
memory.limit_in_bytes	设置cgroup可用的最大内存量	0 (无限制) 到系统内存上限	写入值
memory.memsw.limit_in_bytes	设置cgroup可用的最大物理内存加交换空间总量	同上	写入值
memory.swappiness	控制内核使用交换空间的倾向性	0（几乎不用交换空间）到100（积极使用交换空间）	写入值
memory.use_hierarchy	是否启用内存使用情况的层级统计	0 (禁用) 或 1 (启用)	写入值

mermaid流程图展示内存回收过程

graph TD;
    A[内存使用接近限制] -->|超出限制| B[触发oom-killer];
    A -->|未超出限制| C[继续监控内存使用];
    B --> D[选择并杀死进程];
    D --> C;

以上代码块展示了如何通过shell命令创建cgroup，并设置内存使用限制和交换空间倾向性。在实际操作中，管理员需要根据服务器的物理内存和实际应用需求来合理配置这些参数。

通过本章节的介绍，我们深入探讨了cgroups在优先级控制和内存管理方面的细节。理解这些机制对于在多租户环境中合理分配资源、优化性能和提升系统稳定性至关重要。接下来的章节将探讨cgroups在I/O限制和资源统计方面的作用。

7. cgroups在I/O限制和资源统计方面的作用

cgroups不仅限于CPU和内存资源的控制，它在I/O资源限制和系统资源统计方面同样扮演着关键角色。通过合理配置，cgroups可以帮助系统管理员或开发人员控制容器的I/O吞吐量，以及对系统资源使用进行详细监控和分析。

7.1 I/O资源限制

7.1.1 I/O限制的原理和方法

I/O限制主要是通过限制进程或进程组的I/O带宽和IOPS来实现。cgroups的blkio子系统提供了这个功能，允许对块设备的I/O操作进行控制。限制方法包括设置设备的权重、限制设备的IOPS以及控制读写操作的总带宽等。

一个简单的I/O限制示例是限制特定cgroup内的进程对某个块设备的读写操作：

# 创建一个名为io限制的cgroup
mkdir /sys/fs/cgroup/blkio/io_limit

# 将目标进程的PID加入到这个cgroup
echo <PID> > /sys/fs/cgroup/blkio/io_limit/cgroup.procs

# 设置I/O权重
echo 500 > /sys/fs/cgroup/blkio/io_limit/blkio.weight

# 限制读操作的IOPS到100
echo '8:0 100' > /sys/fs/cgroup/blkio/io_limit/blkio.throttle.read_iops_device

在上述示例中， <PID> 是需要被限制I/O操作的进程ID， 8:0 表示设备的主次设备号，比如本机的sda磁盘。这些设置将限制该进程组的I/O带宽，确保它不会消耗过多的I/O资源。