Linux 虚拟内存与物理内存：深入理解内存管理机制

目录#

1. 基础概念：物理内存与虚拟内存
   • 1.1 物理内存（Physical Memory）
   • 1.2 虚拟内存（Virtual Memory）
   • 1.3 为何需要虚拟内存？
2. 虚拟内存机制：从地址空间到物理映射
   • 2.1 地址空间与地址转换
   • 2.2 分页（Paging）机制
   • 2.3 页表（Page Table）与 MMU
   • 2.4 按需分页（Demand Paging）与缺页中断（Page Fault）
   • 2.5 交换空间（Swap Space）
3. 物理内存管理：Linux 内核如何分配物理内存
   • 3.1 物理内存区域划分（Zones）
   • 3.2 伙伴系统（Buddy System）
   • 3.3 Slab 分配器
4. 虚拟内存与物理内存的交互：进程视角
   • 4.1 进程地址空间布局
   • 4.2 内存映射（Memory Mapping）
   • 4.3 页缓存（Page Cache）
   • 4.4 OOM 杀手（Out-of-Memory Killer）
5. 常用工具：监控与调试内存状态
   • 5.1 free：查看内存使用概况
   • 5.2 top/htop：实时进程内存监控
   • 5.3 vmstat：系统内存与 IO 统计
   • 5.4 /proc/meminfo：内核内存详情
   • 5.5 swapon/swapoff：管理交换空间
6. 最佳实践：优化内存使用与避免常见问题
   • 6.1 合理配置交换空间
   • 6.2 调整 Swappiness 参数
   • 6.3 避免内存泄漏
   • 6.4 优化页缓存与磁盘 I/O
7. 总结
8. 参考资料

1. 基础概念：物理内存与虚拟内存#

1.1 物理内存（Physical Memory）#

物理内存即计算机硬件中的 RAM（随机存取存储器），是程序运行时实际使用的硬件资源。其特点包括：

• 有限性：容量受硬件限制（如 8GB、16GB、64GB 等）。
• 易失性：断电后数据丢失。
• 直接访问：CPU 需通过物理地址直接读写物理内存。

物理内存的管理是内核的核心任务之一，需解决内存分配、回收、碎片整理等问题。

1.2 虚拟内存（Virtual Memory）#

虚拟内存是操作系统提供的一种内存抽象，它允许程序使用远超物理内存大小的“逻辑地址空间”。程序访问的内存地址（虚拟地址）需通过内核转换为物理地址后，才能与物理内存交互。其核心目标是：

• 为每个进程提供独立、连续的地址空间，避免进程间内存冲突。
• 允许程序使用比物理内存更大的内存空间（通过磁盘 swap 扩展）。
• 简化内存管理（如动态内存分配、共享内存）。

1.3 为何需要虚拟内存？#

没有虚拟内存时，程序需直接操作物理地址，存在以下问题：

• 内存空间冲突：多个进程可能访问同一物理地址，导致数据混乱。
• 内存利用率低：程序需一次性加载全部代码和数据到物理内存，即使部分功能暂不使用。
• 地址空间限制：物理内存大小直接限制程序可使用的内存量。

虚拟内存通过地址转换和分页机制解决了上述问题，是现代操作系统的基石。

2. 虚拟内存机制：从地址空间到物理映射#

2.1 地址空间与地址转换#

每个进程拥有独立的虚拟地址空间（32 位系统通常为 4GB，64 位系统可达 2^64 字节）。虚拟地址空间分为用户空间（用户程序使用）和内核空间（内核代码使用），例如 32 位 Linux 中，用户空间占 3GB，内核空间占 1GB。

地址转换流程：程序生成虚拟地址 → 内核通过页表将虚拟地址转换为物理地址 → CPU 通过物理地址访问物理内存。

2.2 分页（Paging）机制#

虚拟内存与物理内存均按固定大小划分，称为页（Page）。虚拟内存的页称为“虚拟页”，物理内存的页称为“物理页帧（Page Frame）”。Linux 中常见页大小为 4KB（可通过 getconf PAGE_SIZE 查看）。

分页机制的优势：

• 无需连续物理内存：虚拟页可映射到离散的物理页帧。
• 按需加载：仅将当前使用的页加载到物理内存，节省空间。

2.3 页表（Page Table）与 MMU#

页表是地址转换的核心数据结构，存储虚拟页到物理页帧的映射关系。为避免页表过大（如 4GB 地址空间、4KB 页大小需 100 万页表项），Linux 采用多级页表（如 4 级页表：PGD → PUD → PMD → PTE）。

MMU（内存管理单元） 是 CPU 硬件组件，负责根据页表完成虚拟地址到物理地址的转换。若虚拟页未映射到物理页帧（或页不在内存中），MMU 会触发缺页中断（Page Fault）。

2.4 按需分页（Demand Paging）与缺页中断（Page Fault）#

按需分页是虚拟内存的核心策略：程序启动时，仅将必要的代码和数据（如入口函数）加载到物理内存，其他部分暂存于磁盘。当程序访问未加载的虚拟页时，MMU 触发缺页中断，内核处理流程如下：

1. 检查虚拟页是否合法（如是否属于进程地址空间）。
2. 若合法，分配物理页帧，从磁盘加载数据到物理页。
3. 更新页表，建立虚拟页与物理页帧的映射。
4. 恢复进程执行，重新访问虚拟地址。

缺页中断分类：

• 次要缺页（Minor Page Fault）：页已在物理内存中，但未建立映射（如共享库的 Copy-on-Write）。
• 主要缺页（Major Page Fault）：页不在物理内存中，需从磁盘（文件或 swap）加载，耗时较长。

2.5 交换空间（Swap Space）#

当物理内存不足时，内核会将暂时不使用的物理页帧内容写入磁盘的交换空间（Swap Space），释放物理内存供其他进程使用。此过程称为换出（Swap Out）；当进程再次访问被换出的页时，内核将其从 swap 加载回物理内存，称为换入（Swap In）。

Swap 空间可通过磁盘分区或文件实现，Linux 中通过 swapon 命令启用。

3. 物理内存管理：Linux 内核如何分配物理内存#

3.1 物理内存区域划分（Zones）#

内核将物理内存划分为不同区域（Zones），以应对硬件限制（如某些设备只能访问低地址内存）。常见区域包括：

• ZONE_DMA：用于 DMA（直接内存访问）的低地址内存（通常 <16MB）。
• ZONE_NORMAL：可直接映射到内核虚拟地址的常规内存（32 位系统中通常 <896MB）。
• ZONE_HIGHMEM：高端内存（32 位系统中 >896MB），需通过临时映射访问。

64 位系统因地址空间充足，ZONE_HIGHMEM 通常不存在。

3.2 伙伴系统（Buddy System）#

伙伴系统负责分配和回收连续的物理页帧，解决内存碎片问题。其核心思想是：

• 将物理内存按 2^n 个页帧（n 为 0~10，即 1、2、4...1024 个页）划分为“块”。
• 分配时，从满足大小的最小块中切分；释放时，若相邻块大小相同且空闲，则合并为更大的块。

示例：分配 3 个页帧 → 找到 4 个页帧的块，切分为 2 个 2 页块，分配其中 2 页块+1 页块。

3.3 Slab 分配器#

伙伴系统适合分配大内存块（≥1 页），但频繁分配小内存（如内核对象：inode、task_struct）会产生碎片。Slab 分配器通过预分配“对象池”解决此问题：

• 将相同类型的对象（如 inode）组织为“slab”，每个 slab 包含多个对象。
• 分配时直接从 slab 中取空闲对象，释放时标记为空闲，无需频繁调用伙伴系统。

Slab 分配器是内核高效管理小内存的关键，常见实现有 SLUB（Linux 主流）、SLAB、SLOB。

4. 虚拟内存与物理内存的交互：进程视角#

4.1 进程地址空间布局#

每个进程的虚拟地址空间包含多个区域（VMA，Virtual Memory Area），例如：

• 代码段（.text）：可执行代码，只读。
• 数据段（.data/.bss）：全局变量，可读写。
• 堆（Heap）：动态内存分配（如 malloc），从低地址向高地址增长。
• 栈（Stack）：函数调用、局部变量，从高地址向低地址增长。
• 共享库：如 libc.so，通过内存映射加载。

可通过 cat /proc/<pid>/maps 查看进程的 VMA 布局，例如：

$ cat /proc/$$/maps  # 查看当前 shell 进程的地址空间
55f8d3e00000-55f8d3e25000 r-xp 00000000 08:01 131072 /bin/bash
55f8d4024000-55f8d4026000 r--p 00024000 08:01 131072 /bin/bash
55f8d4026000-55f8d4027000 rw-p 00026000 08:01 131072 /bin/bash
...

4.2 内存映射（Memory Mapping）#

Linux 通过 mmap() 系统调用将文件或设备映射到进程虚拟地址空间，实现文件内容与内存的直接交互。常见场景：

• 文件映射：加载可执行文件、共享库到内存。
• 匿名映射：分配堆内存（如 malloc 底层通过 mmap 分配大块内存）。
• 共享内存：多进程通过映射同一文件实现内存共享。

示例：通过 mmap 读取文件内容：

#include <stdio.h>
#include <stdlib.h>
#include <sys/mman.h>
#include <fcntl.h>
#include <unistd.h>
 
int main() {
    int fd = open("test.txt", O_RDONLY);
    off_t size = lseek(fd, 0, SEEK_END);
    char *addr = mmap(NULL, size, PROT_READ, MAP_PRIVATE, fd, 0);
    printf("File content: %s\n", addr);
    munmap(addr, size);
    close(fd);
    return 0;
}

4.3 页缓存（Page Cache）#

页缓存是内核为提高磁盘 I/O 性能而设计的内存缓存机制：

• 读取文件时，内核先将数据加载到页缓存，后续访问直接从内存读取。
• 写入文件时，数据先写入页缓存，由内核异步刷盘（如 sync 命令强制刷盘）。

页缓存是物理内存的重要组成部分，free 命令中的 buff/cache 即包含页缓存和缓冲区。

4.4 OOM 杀手（Out-of-Memory Killer）#

当物理内存和 swap 空间均耗尽时，内核会触发 OOM（Out-of-Memory） 机制，通过 OOM 杀手选择并终止“代价最小”的进程，释放内存。OOM 杀手通过进程的 oom_score 评分决定优先级：

• 占用内存越多、存活时间越短、优先级越低的进程，越可能被终止。
• 可通过 /proc/<pid>/oom_score_adj 调整进程的 OOM 优先级（-1000 表示禁止 OOM 杀死）。

5. 常用工具：监控与调试内存状态#

5.1 free：查看内存使用概况#

free 命令显示物理内存和 swap 的使用情况：

$ free -h  # -h 表示人类可读单位
              total        used        free      shared  buff/cache   available
Mem:           15Gi       2.3Gi       8.5Gi       320Mi       4.7Gi        12Gi
Swap:          15Gi          0B        15Gi

• total：总内存。
• used：已使用内存（不含缓存）。
• free：完全未使用的内存。
• buff/cache：页缓存和缓冲区。
• available：可立即分配给新进程的内存（含可回收缓存）。

5.2 top/htop：实时进程内存监控#

top 命令按内存使用排序进程：

$ top -o %MEM  # 按内存使用率排序
PID USER      PR  NI    VIRT    RES    SHR S  %CPU  %MEM     TIME+ COMMAND
1234 root      20   0  10.0g  2.5g  500m S   5.0  16.0   2:30.12 java

• VIRT：虚拟内存大小（进程地址空间总量）。
• RES：常驻内存（物理内存中实际使用的部分，不包含 swap）。
• SHR：共享内存（与其他进程共享的内存）。

5.3 vmstat：系统内存与 IO 统计#

vmstat 提供内存、swap、IO 等系统级统计：

$ vmstat 1  # 每秒输出一次，共 1 次
procs -----------memory---------- ---swap-- -----io---- -system-- ------cpu-----
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
 1  0      0 8945620 123456 4987650    0    0     0     0  123  456  5  3 92  0  0

• swpd：已使用的 swap 空间。
• si/so：每秒换入/换出的内存量（KB），非零表示内存压力大。

5.4 /proc/meminfo：内核内存详情#

/proc/meminfo 提供内核级内存信息，包含大量指标：

$ cat /proc/meminfo | grep -E "MemTotal|MemFree|Buffers|Cached|SwapTotal|SwapFree"
MemTotal:       16384000 kB
MemFree:         8945620 kB
Buffers:          123456 kB
Cached:          4987650 kB
SwapTotal:      16384000 kB
SwapFree:       16384000 kB

5.5 swapon/swapoff：管理交换空间#

查看 swap 配置：

$ swapon -s
Filename                Type        Size    Used    Priority
/dev/sda2               partition   16384000 0       -2

启用/禁用 swap：

$ sudo swapon /dev/sda2  # 启用 swap 分区
$ sudo swapoff /dev/sda2  # 禁用 swap 分区

6. 最佳实践：优化内存使用与避免常见问题#

6.1 合理配置交换空间#

Swap 空间大小建议：

• 物理内存 ≤2GB：swap 大小为内存的 2 倍。
• 物理内存 2GB~8GB：swap 大小与内存相同。
• 物理内存 >8GB：swap 大小可设为 8GB（除非需要休眠，此时需 ≥ 内存大小）。

避免使用文件作为 swap（性能差），优先使用独立分区。

6.2 调整 Swappiness 参数#

swappiness 控制内核换出内存的积极性（值 0~100）：

• 值越高，内核越倾向于换出内存（默认 60）。
• 服务器场景（内存充足）：设为 10~30，减少不必要的 swap。
• 桌面场景：保持默认 60，避免 OOM。

临时调整：

sudo sysctl vm.swappiness=10

永久调整（重启生效）：

echo "vm.swappiness=10" | sudo tee -a /etc/sysctl.conf

6.3 避免内存泄漏#

内存泄漏指程序分配内存后未释放，导致内存占用持续增长。检测工具：

• Valgrind：通过 valgrind --leak-check=full ./program 检测泄漏。
• pmap：查看进程内存映射，识别异常增长的 VMA。

示例（C 内存泄漏代码）：

#include <stdlib.h>
int main() {
    while (1) {
        malloc(1024);  // 未释放，导致内存泄漏
    }
}

6.4 优化页缓存与磁盘 I/O#

• 减少不必要的文件读写：使用内存数据库（如 Redis）缓存热点数据。
• 调整缓存回收策略：通过 vm.vfs_cache_pressure 控制内核回收目录项和 inode 缓存的积极性（默认 100，值越低越倾向于保留缓存）。
• 使用 sync/echo 3 > /proc/sys/vm/drop_caches：紧急情况下手动释放缓存（仅测试用，生产环境慎用）。

7. 总结#

Linux 虚拟内存和物理内存是系统高效运行的核心支柱。虚拟内存通过地址抽象和分页机制，为进程提供了隔离、灵活的地址空间；物理内存管理则通过伙伴系统和 Slab 分配器，高效利用硬件资源。理解二者的交互（如缺页中断、swap、页缓存），结合监控工具和最佳实践，可显著提升系统稳定性和性能。

无论是系统管理员还是开发人员，掌握内存管理原理都是排查性能问题、优化程序的关键。

8. 参考资料#

1. Linux 内核文档：Memory Management
2. 《深入理解 Linux 内核》（第三版），Daniel P. Bovet & Marco Cesati
3. 《Linux 内核设计与实现》（第三版），Robert Love
4. man 手册：man 2 mmap、man 5 proc、man 8 swapon
5. Red Hat 文档：Configuring Swap Space