前言

进程和系统的内存指标很多，不同工具（任务管理器/活动监视器...）中的指标定义并不明确，不同操作系统存在名称相似但含义差异很大的术语。
本文抛砖引玉介绍现Windows & macOS 操作系统中的内存指标、概念，以便读者后续在使用软件分析、更进一步的内存文章阅读中有更清晰的认知。

摘要

暂时无法在飞书文档外展示此内容

• 进程内存Windows 上主要关注 private bytes（私有提交）、private workingset（私有物理内存），macOS 关注 footprint

  • 可以按照地址空间位置（数据段/代码段/heap/内存映射/stack），访问权限（私有/共享），页面位置（物理/交换），进行分类
  • Windows 上进程页面可按照提交状态（reserve / commtited / 工作集）分类
  • macOS 上进程内存可按照是否可丢弃（dirty/clean）进行分类

• 系统内存中主要关注可用物理内存、总内存指标

  • Windows ：

    • 可用物理内存分为“备用”&“空闲”两部分，已使用物理内存包含“活跃”&“已修改”两部分

    • 提交和提交上限

      • Windows上存在commit limit限制，即允许进程暂时不分配内存，但承诺commit部分一定能成功分配到内存
      • 因此 Windows 的 oom 一般触发时机是 commit 申请过程，而其它操作系统触发时机一般是对申请内存进行读写（此时才会真正的分配内存）过程中
  • macOS 的可用物理内存（free）不包含“已缓存文件”，这部分内存可以在内存压力大的时候被移除，可折算入可用内存

基础概念

通用术语

进程内存分类

按照地址空间的位置分类

• 代码段

  • TEXT 代码

• 数据段

  • READONLY\_DATA 常量数据
  • DATA 静态数据（已初始化）
  • BSS 静态数据（未初始化）
• HEAP 堆（低到高）
• MEM\_MAPPED 内存映射（低到高）
• STACK 栈（固定大小，高到低）

按照内容分类

• 共享 Sharable/Shared:

  • Mapped File：file-backup 共享文件映射（MEM\_MAPPED）
  • Sharable Memory：memory-backup 匿名共享内存（MEM\_MAPPED）

• 私有:

  • Heap：堆内存（HEAP）
  • Stack：栈内存（STACK）
  • Static：静态数据（DATA/BSS）
  • Process/Thread Environment Table（无法直接访问）
• Image（FrameWorks）：可执行文件（TEXT/READONLY\_DATA/...）
• Page Table：内核维护的 当前进程页表（无法直接访问）

按照页面映射方式分类

• 匿名映射：虚拟地址不和特定的磁盘/设备文件关联

注意⚠️：匿名内存即使被换出到磁盘上仍然是匿名内存

• 文件映射 ：虚拟地址和特定磁盘/设备文件关联，通过虚拟地址可以直接读写文件

注意⚠️：读写过程中会使用到物理内存作为页面高速缓存来提高速度
文件读写和文件映射不是等价的概念

页面映射方式（匿名/文件映射）和页面访问权限（私有/共享）四象限：

按照页面映射位置分类

• 物理内存
• 交换空间

页面映射位置（物理/交换）和页面访问类型（私有/共享）四象限:
暂时无法在飞书文档外展示此内容

进程内存

Windows

指标

工具：vmmap、任务管理器、资源监视器、Process Explorer、Process Hacker

Windows 引入了“工作集”概念来表示进程虚拟地址空间映射的++物理++++内存++++（++++不包含交换到磁盘部分即 page file++++）++的大小

在 macOS 仍然被命名为进程的物理内存，在 Linux 上则使用“resident size” 驻留集术语。

Windows 上进程地址空间有“Reserve 保留”和“Commit 提交”两个重要概念。

• “Reserve”仅分配虚拟地址空间，系统不关心大小。
• “Commit”成功不代表已分配物理内存，只表示最终要用，且只要成功，系统承诺需要时能映射到物理内存（通过 commit limit 和 committed 保证）。

在 macOS/Linux 上无完全一致的概念对应，是因为不同操作系统的内存管理有区别，比如 macOS 上交换空间是整个磁盘区域，Linux 上允许通过 vm.overcommit\_memory 来过度承诺 commit。这也是为什么会在Windows上会出现物理内存充足但是oom情况

举个例子，你需要办事预定酒席，可能需要 100 个餐位，但目前确定的人数只有 50 个人，你在自己的小本子上记上可能预定 100 个餐位，打电话给老板的时候只说你暂时只预定 50 个餐位。那这 100 个餐位就是 reserve 的大小，只占据了进程的虚拟地址空间，其中已经确定的 50 个餐位就是 committed 部分。其中 committed 成功后，人并不一定到餐馆了。

Demo

macOS

指标

macOS 在已有的“共享/私有”，“物理/交换”进程内存分类上，根据“是否可丢弃”增加一个新的维度：dirty/clean：

• clean：这部分内容随时被++丢弃++后续再通过 page fault 重新读取文件

  • mmap 文件映射
  • malloc 申请但还未分配的内存
  • 代码文件中的\_\_TEXT、\_\_DATA\_CONST 区域

• dirty：这部分内容不能直接丢弃，而只能交换到磁盘或者被压缩。匿名内存

  • All heap Allocations 在堆上分配的内存（malloc / array / NSCache/ String...)
  • Framework 的\_\_DATA 和 \_\_DATA\_DIRTY 部分

注意⚠️：未特别说明情况下，dirty 不包含 dirty compressed（即内存压缩以及被换出到磁盘的部分）（vmmap 中的定义），而广义的 dirty 和 footprint 概念“接近”。

注意⚠️：dirty 的概念有点类似 Windows 上的“已修改”，但完全不一样。Windows 上的“已修改”是系统内存中的概念（队列），表示的是从进程中移除的工作集，并且这部分工作集内容是“dirty”的。

Demo

工具

排查内存的软件有 xcode / instruments，命令行有 vmmap / footprint / leap / heap / malloc\_histroy。开启MallocStackLogging之后，可以通过命令行工具看到heap地址空间对应的分配堆栈。

术语对比

暂时无法在飞书文档外展示此内容
我们关注进程的内存，主要关注私有部分，即私有物理内存和私有的写入在磁盘空间的内容，这两部分的总和 mac 上是 footprint（内存），而 Windows 上没有这样的概念与之对应。Windows 上更多的是关注私有物理内存的大小。

一致性指标

进程内存可以按照不同的维度进程分类，比如按照访问权限（私有/共享），所在位置（物理/交换），是否可丢弃（dirty/clean），是否提交（reseve/commit/free）等。

真正关心的进程内存大小是当进程被终止的时候，物理内存 和 page file 能释放的大小总和。chromium 提出了统一内存指标 的方案，即用来衡量一个进程的内存占用情况是私有内存。
它的定义如下：++私有的 & 匿名（非文件映射）& 不可丢弃++、存在物理内存上或者磁盘上或者被压缩。该指标即私有的 footprint 指标。

各个操作系统中没有直接提供一个 API 来告知一个进程的非共享的内存（物理+page file）是多少，因此 chromium 最终选择的替代接口：

• macOS：footprint，这部分相比较理想指标会多计入以下内容：

  • 5～10MB 的共享匿名内存
  • Non-volatile IOKit pages：GPU 进程>500MB，前台的渲染进程和 chrome 进程有～30MB，这部分是共享内存
  • Non-volatile CoreAnimation pages：chrome 进程 ～25MB 这部分是共享的内存映射，但只有 Window server 和 chrome 进程使用，因此计入私有也是符合预期的。

  
  

• Windows：private bytes，这部分相比较理想指标会多计入以下内容：

  • 已 commit 但是未分配内存的部分

> Windows 上没有办法直接获取到进程在物理内存和磁盘内存大小之和

飞书中进程的内存上报指标中，mac 上使用 footprint，Windows 上使用 private workingset，和系统的“活动监视器”和“任务管理器”保持一致，同时 Windows 上还额外上报了 private byte 字段。

系统内存

Windows

指标

工具：vmmap、任务管理器、资源管理器、Process Explorer、Process Hacker

Windows 系统物理内存管理中有两个主要概念：“已提交 committed” 和 提交上限（commit limit）概念。

• committed ：表示系统已经承诺进程允许写入物理内存的大小
• commit limited ：为物理内存+pagefile 空间大小，因为支持换页，系统可以将一部分内存交换到 page file 上以兑现 committed 部分在物理内存上分配的承诺。

Demo

macOS

指标

Demo

术语对比

暂时无法在飞书文档外展示此内容

Q&A

Windows 内存不足就容易卡，macOS 为什么不会

网络上有这样一句话，“windows是要多少用多少，而os x是有多少用多少。”这句话是说macOS上会更多的利用内存做缓存（比如预读或者保留缓存），而Windows上则更倾向于更多的可用物理内存。但实际上现代的内存管理机制大同小异，包含内存压缩、预读、缓存机制每个操作系统都是有的。
导致这样的观念深入人心推测可能有两方面因素：

• windows 设备硬件良莠不齐，比如磁盘、cpu频率，大基数的用户的设备相比mac 设备的硬件都要差很多。而内存不足可能会触发内存频繁压缩、解压缩，或者IO花费时间在交换文件换入、换出上，就很容易导致卡、慢甚至oom 的问题。即在设备差的情况下，可用物理内存不足确实会导致卡顿问题。
• 相较Windows，macOS并没有直接在活动监视器提供系统可用物理内存百分比值，因此Windows用户一旦遇到卡慢就会看到内存占用百分比很高，从而直接将两者挂钩。

主动清理内存能让系统更快吗

在Windows系统中可以清理进程工作集（EmptyWorkingSet）、清空已修改队列（Empty Modified List）来让可用物理内存看上去更多（备用属于可用一部分）。
正如前文提到的，这个机制有一定的意义，比如在硬件差的设备应该尽量保存充足内存避免额外的性能消耗。比如某些进程内存泄漏占用大量物理内存，并不是一无是处。但是在其他一些场景反而会加剧换入换出，比如清理的内存后续马上使用。
因此这个问题不能简单回答，这些工作理论上应该由操作系统更智能的自动完成，操作系统应该考虑各种场景下的内存管理，从而减少用户心智。

macos 进程内存分配有对应 reserve & commit 概念吗

• macos 上没有等价reserve 概念：

  • 根本原因是mac上没有commit 概念，因此和windows上先申请虚拟内存，再提交两阶段不同，mac申请内存只有一个阶段

• macos 上没有等价commit 概念：

  • unix 变体中通常是允许过度commit，即不存在Windows上的commit limit 限制，commit limit 限制本质上为了承诺进程确保需要的时候就能用，但是也可能会被滥用，比如进程大量commit 却不使用。

windows 物理内存还剩余很多，为什么程序仍然 OOM

正如前文多次提到，Windows 存在commit limit 限制，并且存在commit 不分配内存机制

参考链接

• 统一内存指标