Linux 性能监控与故障排查完全指南：top/htop/iotop/strace/perf/sar 从入门到实战

1
# 基础用法
2
top                       # 交互式
3
top -b -n 1               # 非交互式输出 1 次
4
top -b -n 1 | head -20    # 前 20 行
5

6
# 交互快捷键（top 运行时）
7
P    # 按 CPU 占用排序
8
M    # 按内存占用排序
9
H    # 显示线程（而非进程）
10
1    # 展开各 CPU 核心详情
11
c    # 显示完整命令行
12
R    # 反转排序
13
k    # 杀进程（输入 PID）
14
q    # 退出

1
# 安装
2
apt install htop    # Debian/Ubuntu
3
yum install htop    # CentOS/RHEL
4
brew install htop   # macOS
5

6
# 运行
7
htop
8

9
# 交互快捷键
10
F5   # 树状视图（显示进程父子关系）
11
F6   # 排序（选择排序字段）
12
F7   # 降低 nice 值（提高优先级）
13
F8   # 提高 nice 值（降低优先级）
14
F9   # 发送信号（kill）
15
/    # 搜索进程
16
H    # 显示/隐藏线程
17
.    # 只显示活跃进程

1
# 每秒输出 1 次，共 5 次
2
vmstat 1 5
3

4
# 输出解读
5
procs ─────────memory──────── ────swap──── ───io──── ──system── ──cpu────
6
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
7
 2  0      0 1048576 524288 2799360    0    0    10    20  100  150 12  3 84  1  0
8

9
# procs
10
 r    # 运行队列长度（>CPU核心数 = CPU 瓶颈）
11
 b    # 阻塞在 IO 上的进程数
12

13
# memory (KB)
14
 swpd    # 已使用 swap（>0 说明内存不足过）
15
 free    # 空闲内存
16
 buff    # 缓冲区（块设备 IO 缓存）
17
 cache   # 页面缓存（文件系统缓存）
18

19
# swap (KB/s)
20
 si/so   # swap 换入/换出（>0 = 内存不足，性能严重下降）
21

22
# io (blocks/s)
23
 bi/bo   # 块设备读/写（磁盘 IO 量）
24

25
# system
26
 in      # 每秒中断数
27
 cs      # 每秒上下文切换数（>10万 可能过高）
28

29
# cpu (%)
30
 us/sy/id/wa/st  # 同 top

1
# 安装
2
apt install sysstat
3

4
# 所有 CPU 核心每秒采样
5
mpstat -P ALL 1 5
6

7
# 输出
8
10:00:01 AM  CPU   %usr   %nice %sys %iowait %irq %soft %steal %guest %idle
9
10:00:02 AM  all    8.50    0.00  2.30    0.10  0.00   0.20   0.00   0.00  88.90
10
10:00:02 AM    0   15.20    0.00  3.10    0.00  0.00   0.10   0.00   0.00  81.60
11
10:00:02 AM    1    2.10    0.00  1.50    0.20  0.00   0.30   0.00   0.00  95.90
12

13
# 用途：发现单核打满问题
14
# 如果 all 显示 50% 但某个核心 100%，说明应用是单线程的

1
# 安装
2
apt install linux-tools-common linux-tools-$(uname -r)
3

4
# 全局 top（类似 top 但按函数聚合）
5
sudo perf top
6

7
# 分析特定进程
8
sudo perf top -p <PID>
9

10
# 采集 10 秒数据后分析
11
sudo perf record -p <PID> -g -- sleep 10
12
sudo perf report
13

14
# 统计 CPU 周期分布
15
sudo perf stat -p <PID> sleep 10
16

17
# 火焰图（可视化分析）
18
sudo perf record -F 99 -p <PID> -g -- sleep 30
19
sudo perf script > out.perf
20
# 用 FlameGraph 工具生成 SVG
21
git clone https://github.com/brendangregg/FlameGraph
22
./FlameGraph/stackcollapse-perf.pl out.perf > out.folded
23
./FlameGraph/flamegraph.pl out.folded > flame.svg

1
free -h                    # 人类可读格式
2
free -m                    # MB 为单位
3
free -g                    # GB 为单位
4
free -s 1 -c 5            # 每秒刷新，共 5 次
5

6
# 输出解读
7
               total        used        free      shared  buff/cache   available
8
Mem:           7.7Gi       4.0Gi       1.0Gi       120Mi       2.7Gi       3.2Gi
9
Swap:          2.0Gi          0B       2.0Gi
10

11
# 关键：看 available 而非 free！
12
# available = 系统实际可用内存（含可回收的 buff/cache）
13
# free = 完全未使用的内存（Linux 会尽量用 buff/cache 提速，free 偏低是正常的）
14
#
15
# 判断标准：
16
# available > 总内存的 20%  → 正常
17
# available < 总内存的 10%  → 需要关注
18
# available < 总内存的 5%   → 紧急，可能触发 OOM

1
# 查看关键内存指标
2
grep -E "MemTotal|MemFree|MemAvailable|Buffers|^Cached|SwapTotal|SwapFree|Slab|SReclaimable" /proc/meminfo
3

4
# 输出
5
MemTotal:        8234296 kB
6
MemFree:         1048576 kB
7
MemAvailable:    3318620 kB    # ← 最重要的指标
8
Buffers:          524288 kB
9
Cached:          2279360 kB    # 页面缓存
10
SwapTotal:       2097152 kB
11
SwapFree:        2097152 kB
12
Slab:             312544 kB    # 内核 slab 缓存
13
SReclaimable:     180000 kB    # 可回收的 slab

1
# 安装（sysstat 包）
2
apt install sysstat
3

4
# 每秒显示各进程内存使用
5
pidstat -r 1
6

7
# 输出
8
11:00:01 AM   UID       PID  minflt/s  majflt/s     VSZ     RSS   %MEM  Command
9
11:00:02 AM     0      1234      0.10      0.00  512000  102400   1.20  nginx
10
11:00:02 AM     0      5678     10.50      0.00 2048000 512000   6.10  python3
11

12
# 关键字段
13
 RSS    # 实际使用的物理内存（KB）← 最重要
14
 VSZ    # 虚拟内存大小（含映射文件/共享库，偏大正常）
15
 %MEM   # 占总内存百分比
16
 minflt/s  # 次要页错误（从缓存满足，正常）
17
 majflt/s  # 主要页错误（需磁盘 IO，>0 需关注）
18

19
# 查看特定进程
20
pidstat -r -p <PID> 1
21

22
# 同时看 CPU + 内存 + IO
23
pidstat -urd 1

1
# 安装
2
apt install smem
3

4
# 按内存使用排序（PSS 视角更准确）
5
smem -rs pss | tail -20
6

7
# PSS (Proportional Set Size)：
8
# 将共享内存按比例分摊到各进程，比 RSS 更准确
9
# 适合评估进程"真实"内存占用
10

11
# 查看某进程
12
smem -P nginx
13

14
# 生成饼图
15
smem --pie name -c pss

1
# 查看 OOM Killer 历史
2
dmesg | grep -i "out of memory"
3
dmesg | grep -i "oom-killer"
4

5
# 或从系统日志
6
journalctl -k | grep -i oom
7

8
# OOM Killer 触发时日志示例：
9
# Out of memory: Killed process 5678 (python3) total-vm:2048000kB, anon-rss:512000kB
10

11
# 查看 OOM 评分（越高越容易被杀）
12
cat /proc/<PID>/oom_score
13
cat /proc/<PID>/oom_score_adj   # 可调整 (-1000 到 1000)
14

15
# 保护关键进程不被 OOM 杀
16
echo -1000 > /proc/<PID>/oom_score_adj
17
# 或在 systemd service 中：
18
# [Service]
19
# OOMScoreAdjust=-1000

1
# 安装
2
apt install sysstat
3

4
# 扩展统计，每秒采样
5
iostat -x 1
6

7
# 输出解读
8
Device     r/s     w/s     rkB/s    wkB/s   rrqm/s  wrqm/s  %util  await  ...
9
sda       50.00   20.00   1024.00   512.00    2.00    1.00  85.00   5.20  ...
10
nvme0n1  100.00   50.00   4096.00  2048.00    5.00    3.00  45.00   1.10  ...
11

12
# 关键字段：
13
 %util    # 磁盘利用率（>80% 接近饱和，>95% 瓶颈）
14
 await    # 平均 IO 延迟 ms（HDD <10ms 正常，SSD <2ms 正常，>20ms 异常）
15
 r/s w/s  # 每秒读/写请求数
16
 rkB/s    # 每秒读 KB
17
 wkB/s    # 每秒写 KB
18

19
# 判断：
20
# %util 高 + await 低 = 吞吐量高但正常
21
# %util 高 + await 高 = 磁盘瓶颈，需要优化或换 SSD
22
# %util 低 + await 高 = 可能是存储后端问题（云盘/网络存储）

1
# 安装
2
apt install iotop
3

4
# 只显示有 IO 活动的进程
5
sudo iotop -oP
6

7
# 输出
8
Total DISK READ:   1024.00 K/s | Total DISK WRITE:  512.00 K/s
9
  TID  PRIO  USER     DISK READ  DISK WRITE  SWAPIN    IO>    COMMAND
10
1234  be/4  root      512.00 K/s  256.00 K/s  0.00 %  5.20 %  mysqld
11
5678  be/4  www-data  256.00 K/s    0.00 K/s  0.00 %  2.10 %  nginx: worker
12

13
# 非交互式（脚本中使用）
14
sudo iotop -b -n 3 -oP | grep -v "Total DISK"

1
vmstat 1
2

3
# 关注列：
4
 procs
5
 r  b     # b = 阻塞在 IO 的进程数（>0 说明 IO 阻塞）
6

7
 cpu
8
 wa       # IO 等待 CPU 占比（>5% 说明 IO 是瓶颈）
9

10
# 示例：IO 瓶颈
11
 r  b   swpd   free   buff  cache   si   so    bi    bo   in   cs us sy id wa st
12
 1  5      0 512000 524288 2799360    0    0  2048  1024  200  300  5  2 80 13  0
13
                                                     ↑                ↑
14
                                              IO 量大          13% IO 等待 = 瓶颈

1
# 安装
2
apt install dstat
3

4
# 同时看 CPU + 磁盘 + 网络
5
dstat -cdn
6

7
# CPU + 内存 + IO + 网络 + 最耗 CPU 进程
8
dstat -cdnmy --top-cpu --top-mem --top-io
9

10
# 输出更直观，适合多维度同时监控

1
# 连接数统计（快速概览）
2
ss -s
3

4
# 输出
5
Total: 156
6
TCP:   45 (estab 12, closed 5, orphaned 0, timewait 3)
7

8
# Transport Estab-listen  Closed  Orphaned  Synrecv
9
TCP        12      8        5         0         0
10

11
# 所有 TCP 连接
12
ss -t -a
13

14
# 只看已建立的连接
15
ss -t state established
16

17
# 查看某端口的连接
18
ss -tnp | grep :80
19

20
# 查看监听端口
21
ss -tlnp
22

23
# 统计各状态连接数（排查连接泄漏）
24
ss -ant | awk '{print $1}' | sort | uniq -c | sort -rn
25
#   45 ESTAB
26
#   12 TIME-WAIT
27
#    8 LISTEN
28
#    3 CLOSE-WAIT    ← 大量 CLOSE-WAIT = 应用没正确关闭连接
29

30
# 查看 socket 队列溢出
31
ss -lnt | grep -E "Recv-Q|Send-Q"
32
# Recv-Q > 0 = 接收队列积压（处理不过来）
33
# Send-Q > 0 = 发送队列积压（对端不接收）

1
# 各状态连接统计
2
netstat -ant | awk '{print $6}' | sort | uniq -c | sort -rn
3

4
# 查看某端口连接数
5
netstat -an | grep :80 | wc -l
6

7
# 查看连接最多的 IP
8
netstat -ntu | awk '{print $5}' | cut -d: -f1 | sort | uniq -c | sort -rn | head

1
# 安装
2
apt install nethogs
3

4
# 按进程显示网络流量
5
sudo nethogs
6

7
# 指定网卡
8
sudo nethogs eth0
9

10
# 输出
11
  PID  USER   PROGRAM                      DEV  SENT      RECEIVED
12
1234   root   /usr/bin/curl                eth0 1.2 MB/s   0.5 MB/s
13
5678   www    nginx: worker process        eth0 512 KB/s  2.1 MB/s

1
# 安装
2
apt install iftop
3

4
# 指定网卡
5
sudo iftop -i eth0
6

7
# 显示端口
8
sudo iftop -i eth0 -P
9

10
# 交互快捷键
11
n    # 显示/隐藏域名
12
p    # 显示/隐藏端口
13
t    # 切换显示模式

1
# 抓取 80 端口流量
2
sudo tcpdump -i eth0 port 80
3

4
# 抓取特定 IP 的流量
5
sudo tcpdump -i eth0 host 192.168.1.100
6

7
# 抓取 SYN 包（排查连接异常）
8
sudo tcpdump -i eth0 'tcp[tcpflags] == tcp-syn'
9

10
# 写入文件后续分析
11
sudo tcpdump -i eth0 -w capture.pcap port 443
12

13
# 读取 pcap 文件
14
tcpdump -r capture.pcap -n
15

16
# 组合条件
17
sudo tcpdump -i eth0 'src 192.168.1.100 and dst port 443' -c 100
18
# -c 100 只抓 100 个包

1
# 追踪进程的系统调用
2
strace -p <PID>
3

4
# 追踪特定进程的启动
5
strace -f -e trace=network python3 app.py
6

7
# 统计系统调用次数和时间
8
strace -c -p <PID>
9

10
# 输出示例
11
strace: Process 5678 attached
12
read(3, "HTTP/1.1 200 OK\r\n...", 8192) = 2845
13
write(1, "Response received\n", 18)     = 18
14
poll([{fd=3, events=POLLIN}], 1, 5000)  = 1 ([{fd=3, revents=POLLIN}])
15

16
# 常用过滤
17
strace -e trace=file -p <PID>       # 只看文件操作
18
strace -e trace=network -p <PID>    # 只看网络操作
19
strace -e trace=process -p <PID>    # 只看进程操作
20
strace -T -tt -p <PID>              # 显示每个调用的耗时和精确时间
21

22
# 用途：
23
# - 进程卡住不知在等什么 → strace 看阻塞在哪个系统调用
24
# - 程序启动失败找不到原因 → strace -f -e trace=file 看哪个文件打不开
25
# - 性能问题 → strace -c 统计哪个系统调用耗时最多

1
# 查看进程打开的文件
2
lsof -p <PID>
3

4
# 查看哪个进程占用了端口
5
lsof -i :8080
6

7
# 查看哪个进程占用了文件
8
lsof /var/log/app.log
9

10
# 查看所有网络连接
11
lsof -i
12

13
# 查看已删除但仍被占用的文件（磁盘空间不释放）
14
lsof | grep deleted
15
# 解决：kill 持有该文件的进程，空间才会释放
16

17
# 统计各进程打开的文件描述符数量
18
lsof -n | awk '{print $2}' | sort | uniq -c | sort -rn | head

1
# 查看最近内核日志
2
dmesg | tail -50
3

4
# 持续监控
5
dmesg -w    # 类似 tail -f
6

7
# 搜索关键词
8
dmesg | grep -i error
9
dmesg | grep -i oom         # OOM Killer
10
dmesg | grep -i i/o error   # 磁盘错误
11
dmesg | grep -i eth         # 网卡错误
12
dmesg | grep -i thermal     # 温度过高
13

14
# 常见问题：
15
# [  123.456789] Out of memory: Killed process 5678 (java)  → OOM
16
# [  234.567890] EXT4-fs error (device sda1)                 → 磁盘文件系统错误
17
# [  345.678901] link is down                                → 网线断开
18
# [  456.789012] CPU6: Core temperature above threshold      → CPU 过热降频

1
# 查看系统日志
2
journalctl -n 100          # 最近 100 条
3
journalctl -f              # 实时跟踪
4
journalctl --since "1 hour ago"
5

6
# 查看特定服务
7
journalctl -u nginx
8
journalctl -u docker --since today
9

10
# 按优先级过滤
11
journalctl -p err          # 仅错误及以上
12
journalctl -p warning
13

14
# 查看内核日志（替代 dmesg）
15
journalctl -k

1
# 安装并启用
2
apt install sysstat
3
# 编辑 /etc/default/sysstat → ENABLED="true"
4
systemctl enable --now sysstat
5

6
# 查看今天的 CPU 历史
7
sar -u
8

9
# 查看指定日期的 CPU
10
sar -u -f /var/log/sysstat/sa07    # 7号的数据
11

12
# 内存历史
13
sar -r
14

15
# 磁盘 IO 历史
16
sar -d
17

18
# 网络历史
19
sar -n DEV
20

21
# 实时采样
22
sar -u 1 10    # 每秒 1 次共 10 次
23

24
# sar 是排查"间歇性变慢"的利器：
25
# 1. 先用 sar 回放问题时段的数据
26
# 2. 找到异常的时间点
27
# 3. 再针对性深入分析

1
# 安装
2
apt install atop
3

4
# 实时监控
5
atop
6

7
# 查看历史快照
8
atop -r /var/log/atop/atop_20260808
9

10
# 交互快捷键（回放时）
11
t    # 前进到下一个快照
12
T    # 后退到上一个快照
13
b    # 跳转到指定时间
14
1    # 显示每秒数据
15

16
# atop 优势：自动记录所有进程的快照
17
# 事后可以回放某个时间点每个进程的资源使用
18
# 非常适合"出问题时没在现场"的场景

1
# 步骤1：top 找到元凶
2
top -b -n 1 | head -15
3
# 发现 PID 5678 (python3) 占用 98% CPU
4

5
# 步骤2：查看线程级
6
top -H -p 5678
7
# 发现 TID 5679 占用 98%
8

9
# 步骤3：查看线程在做什么
10
# 方法A：strace
11
strace -p 5679
12
# 不断调用 read() → 可能在死循环读数据
13

14
# 方法B：perf
15
sudo perf top -p 5678
16
# 函数 "regex_match" 占 85% → 正则表达式灾难
17

18
# 方法C：Python 专用
19
py-spy top --pid 5678
20
# 定位到具体代码行：app.py:142 regex.compile()
21

22
# 根因：用户输入的超长字符串触发了正则回溯
23
# 解决：限制输入长度 + 使用非回溯正则

1
# 步骤1：确认内存趋势
2
pidstat -r -p 5678 60    # 每分钟采样
3
# RSS: 100MB → 150MB → 200MB → 250MB... 持续增长
4

5
# 步骤2：检查是否真的泄漏
6
# 重启进程后 RSS 恢复到 100MB → 确认是泄漏
7

8
# 步骤3：定位泄漏点
9
# 方法A：smaps 查看
10
cat /proc/5678/smaps | grep -E "^[0-9a-f]|RSS" | head -40
11

12
# 方法B：如果是 C/C++ 程序，用 valgrind
13
valgrind --leak-check=full ./app
14

15
# 方法C：如果是 Java，用 jmap
16
jmap -histo:live 5678 | head -20
17

18
# 方法D：如果是 Python，用 tracemalloc
19
# 在代码中添加：
20
# import tracemalloc
21
# tracemalloc.start()
22
# snapshot = tracemalloc.take_snapshot()
23
# for stat in snapshot.statistics('lineno'):
24
#     print(stat)
25

26
# 根因：字典缓存无限增长，没有设置上限
27
# 解决：用 LRU 缓存替代普通字典

1
# 步骤1：确认 IO 瓶颈
2
iostat -x 1
3
# sda %util=98% await=25ms → 磁盘饱和
4

5
# 步骤2：找 IO 大户
6
iotop -oP
7
# mysqld 读取 5000 KB/s，写入 2000 KB/s
8

9
# 步骤3：检查 MySQL 慢查询
10
mysql -e "SHOW PROCESSLIST;"
11
# 发现大量全表扫描查询
12

13
# 步骤4：检查 swap
14
vmstat 1
15
# si/so > 0 → 内存不足导致 swap 频繁 IO
16

17
# 根因：MySQL 慢查询 + swap 争抢磁盘
18
# 解决：
19
# 1. 添加索引优化慢查询
20
# 2. 增加 innodb_buffer_pool_size
21
# 3. 系统加内存或限制 swap 使用
22
# 4. 数据盘换 SSD/NVMe

1
# 步骤1：查看连接数
2
ss -s
3
# TCP 连接 12000+，异常高
4

5
# 步骤2：按状态统计
6
ss -ant | awk '{print $1}' | sort | uniq -c | sort -rn
7
# 8000 CLOSE-WAIT   ← 应用没有正确关闭连接！
8
# 3000 ESTAB
9
#  500 TIME-WAIT
10

11
# 步骤3：查看 CLOSE-WAIT 来自哪
12
ss -ant state close-wait | head -20
13
# 大量来自同一后端服务
14

15
# 步骤4：查看应用连接池配置
16
# 发现 HTTP 客户端没有设置超时 + 连接池泄漏
17

18
# 根因：调用后端 API 后没有关闭响应 Body
19
# 解决：
20
# 1. resp.Body.Close() 确保执行
21
# 2. 设置合理的超时（连接 + 读取）
22
# 3. 调整连接池大小
23
# 4. 临时缓解：调整 tcp_keepalive_time 加速回收
24
sysctl -w net.ipv4.tcp_keepalive_time=600