原创 首页 技术

eBPF 入门:内核里的可编程沙箱

LinJHS 8

1 什么是 eBPF?

一句话:

eBPF 让你把自定义的小程序“安全地”塞进操作系统内核里运行,在特定事件发生时执行,不用改内核源码、不用重编译、不用重启。

eBPF = extended Berkeley Packet Filter(扩展的伯克利包过滤器)。

不过为了了解这个玩意儿是啥,可以稍微扯一扯它的历史。

它有个前身叫 cBPF(classic BPF),1992 年由 Steven McCanne 和 Van Jacobson 在论文《The BSD Packet Filter: A New Architecture for User-level Packet Capture》里提出。

S. McCanne and V. Jacobson, "The BSD packet filter: A new architecture for user-level packet capture," in Proc. USENIX Winter 1993 Conf., San Diego, CA, USA, Jan. 1993, pp. 259–269.

当时的痛点大概是这样的:

  • 用 tcpdump 抓包时,你只想看“80 端口的包”,但内核把所有包都复制到用户态,再由用户态过滤、丢弃——99% 的拷贝是浪费;

  • 解决办法很简单:把“过滤条件”编译成一小段内核能执行的字节码,提前下推到内核,让内核只把命中的包交给用户态。

所以 BPF 的原始定位是“内核里的一个可编程过滤器”。今天 tcpdump -d port 80 打印出来的那串汇编,就是这段字节码。

一个 tcpdump 编译出来的表达式的例子

先提一嘴,tcpdump 中的 -d 开关不会真的抓包,只是让 libpcap 把过滤表达式编译成 BPF 程序,然后把指令反汇编打印出来。此外还有:

  • -dd (以 C 语言结构体数组 struct sock_filter 形式 dump);

  • -ddd(以十进制数字序列 dump,通常是喂给别的程序用)

下面这段来自 tcpdump/libpcap 主要维护者 Guy Harris 在 Wireshark 邮件列表里的回复(原文),表达式是 tcp port 80,环境是以太网:

(000) ldh      [16]
(001) jeq      #0x800           jt 2	jf 12
(002) ldb      [27]
(003) jeq      #0x6             jt 4	jf 12
(004) ldh      [24]
(005) jset     #0x1fff          jt 12	jf 6
(006) ldxb     4*([18]&0xf)
(007) ldh      [x + 18]
(008) jeq      #0x50            jt 11	jf 9
(009) ldh      [x + 20]
(010) jeq      #0x50            jt 11	jf 12
(011) ret      #65535
(012) ret      #0

2014 年前后(内核 3.18 起),Alexei Starovoitov 和 Daniel Borkmann 把它彻底重做并扩展,从“只能过滤包”变成“一个内核内通用的、图灵完备(有界)的虚拟机”:多了 map(键值存储)、可以调用内核辅助函数、可以挂在任意内核事件上。这就是 eBPF,而老的那个被回头称作 cBPF。

注:如果想从 cBPF 升级到 eBPF,获得 eBPF 能力,需要升级内核,因为这玩意是内核提供的能力。

2 为什么这是一次“范式转变”

要理解它的分量,得先知道在内核里插代码这件事原本有多难。

2.1 在此之前:改动内核 = 高危工程

假设你想加一条“记录每个进程执行的命令”的能力(做安全审计)。你有三个选择:

方案

问题

改内核源码,编译新内核

要重新编译、重启、分发;每个内核版本维护一个补丁;上游不接受就永远要自己维护

写内核模块(LKM)

能动态加载,但一个空指针就 panic 整个机器。内核模块拥有完整权限,代码质量全靠开发者自律

用 ptrace / perf / /proc 等在用户态旁敲侧击

能力受限、开销大、有竞态、丢事件

LKM(可加载内核模块)是什么

LKM = Loadable Kernel Module,就是一个能在运行时被塞进内核、在内核态执行的 .ko 文件。它是 Linux 用来避免“所有功能都编进内核镜像”的机制:驱动程序、文件系统、网络协议、安全模块都可以做成模块,按需加载/卸载(insmod、modprobe、rmmod)。

下面是 LKM 和 eBPF 之间的一个对比。

LKM

eBPF

运行位置

内核态,与内核同权限

内核态,但被验证器限制在一个沙箱里

能做什么

理论上任何事:改任意内核内存、注册任意回调、替换系统调用表

只能调用内核显式提供的 helper、只能访问允许访问的内存

出错后果

一个空指针或越界就 panic 整台机器(内核态没有 MMU 保护给你兜底,没有"异常上抛给用户态")

内存越界在加载时就被拒绝,不会进入运行

编程语言

必须是 C + 内核头文件(因为必须链接内核符号)

C 编译成 eBPF 字节码,或 Rust,工具链更轻

崩溃可恢复性

不可恢复,需要重启

程序本身出错影响面小,退出时通常可卸载

稳定性

依赖每个模块作者自律

由验证器强制保证

这就是为什么传统的可观测性工具要么很受限,要么很"脏"(各种 LD_PRELOAD 劫持、strace 拖慢程序 10 倍)。

2.2 在此之后:一个“受管制的内核扩展点”

核心的机制性保证是「验证器(verifier)」:内核在你加载程序时,静态地证明这个程序不会伤害内核。验不过就不让加载,而不是“加载后祈祷它没问题”。

注:

  • 在最开始的时候,verifier 其实实现得很简陋,在 Linux 3.18 的时候,只有 1 种程序类型(socket filter)、2 种 map(hash 和 array)、以及一个几百行的 verifier(参考资料);

  • 这种“能穷举路径、证明有界性”的强验证器,是之后十几年逐步加强出来的(有界循环更是很晚才被接受)。

这就是 eBPF 的地位:它给内核提供了一个被验证过的、可编程的扩展面。可以类比成“内核的 JVM/沙箱字节码”——但跑在内核态、性能接近原生。

3 它到底怎么工作的?

完整的生命周期大概如下:

  1. 写程序:C(或 Rust)写一段 BPF 程序;

  2. 编译:clang/LLVM 把 C 编译成 eBPF 字节码(一种 RISC 风格的指令集);

  3. 加载:bpf() 系统调用送进内核;

  4. 验证器审查:静态分析:内存安全、控制流、有界性——不通过就拒绝;

  5. JIT 编译:转成宿主 CPU 的原生机器码(也可解释执行);

  6. 挂载:attach 到某个 hook 点,事件一到就跑;

  7. 数据交换:通过 map 把结果带给用户态工具。

其中,涉及到了几个关键点

3.1 关键点

3.1.1 hook 点

也就是说,它挂在哪?

这是它“通用”的来源。常见的几类如下:

类别

具体挂点

能观察/控制什么

函数级

Kprobe / kretprobe(内核函数进出)、uprobe(用户态函数进出)、fentry/fexit

任意函数的调用、参数、返回值

追踪

Tracepoint(内核预定义的稳定事件点)、USDT

系统调用、调度、页错误等

网络

XDP(网卡驱动收包最早期)、tc(流量控制层)、socket 过滤

收发包、丢弃、转发、改写

安全

LSM hook(Linux Security Module 钩子)、seccomp

在权限检查点做决策 —— 文件打开、执行程序、连 socket

性能

Perf_event、BPF trampoline

采样、火焰图

其他

定时器、迭代器、struct_ops(用 BPF 实现内核协议栈组件)

周期任务、自定义 TCP 拥塞控制算法

注:

  • eBPF 并不是想挂在哪里就挂在哪里的。具体可插的位置是内核开发者逐个决定并显式实现的;你能插哪里,取决于内核有没有在那里埋好调用点。

3.1.2 验证器(verifier)

它会检查(这是它“安全”的依据):

  • 内存访问合法:不能越界读、不能随便写内核内存,只能通过内核提供的安全接口(helper 函数)访问;

  • 无非法指针:不允许把用户传来的裸指针直接当内核指针用(必须有明确的类型转换 helper);

  • 有界(bounded):循环必须有可证明的边界(早期干脆禁止循环,后来支持有界循环),保证一定会终止,不会挂住内核;

  • 栈受限:BPF 程序自己的栈只有 512 字节,所以不能写复杂逻辑;

  • 必须返回合法值:语义要对(比如 XDP 程序必须返回“放行/丢弃/重定向”之一);

  • 状态穷举:它会遍历所有可能的执行路径来验证上述性质——这也是为什么“程序稍微复杂一点就验不过”。

3.1.3 map

“内核与用户态之间的数据通道”

BPF 程序本身不能做打印、不能分配大内存。它把结果写进 map(哈希表、数组、环形缓冲、LRU 等),用户态工具再读走。Map 还用来在多次运行之间保存状态(比如统计计数、连接跟踪表)。

3.1.4 CO-RE 与 BTF

这个是用于解决“内核版本适配”的。

内核结构体字段偏移在不同版本会变。老办法是带上每个内核版本的头文件编译多份。

  • 现在有 BTF(BPF Type Format) 把内核类型信息暴露出来,程序里用 BPF_CORE_READ() 这类宏做字段重定位,一次编译、跨版本运行。

  • 这叫 CO-RE(Compile Once – Run Everywhere),是 eBPF 从“内核黑客的玩具”变成“可分发产品”的关键一步。

3.2 真正用起来长啥样?

开发者不需要每次都写 C。用 bpftrace(一种专用的 eBPF 追踪语言)可以一行搞定:

# 每执行一次程序就打印出来(安全审计视角)
bpftrace -e 'tracepoint:syscalls:sys_enter_execve { printf("%s -> %s\n", comm, str(args->filename)); }'

# 统计"哪个进程在发起 TCP 连接、连到哪"
bpftrace -e 'kprobe:tcp_connect { @[comm, ntop(1)->...] = count(); }'

# 看哪个进程在打开哪些文件
bpftrace -e 'tracepoint:syscalls:sys_enter_openat { printf("%s %s\n", comm, str(args->filename)); }'

生产环境里 bpftool、BCC(Python 绑定)、libbpf、libbpf-rs、Cilium 的 Tetragon 等等,都是这层能力的不同封装。

4 总结

尽管 eBPF 很好用,但它仍存在很多局限性:

  1. 它不是万能的:不能改内核已有代码,不能做任意事情;很多“想 hook 的点”尚未暴露(只有一部分函数允许 fentry/fexit);BPF 栈只有 512 字节;不支持浮点;不能随意分配内存。

  2. 验证器很保守:合法的程序也可能“验不过”。开发者常常需要用“减少分支、简化逻辑、把状态放 map”来哄验证器。这既是安全保证,也是可编程性的天花板。

  3. 内核版本门槛:新特性(有界循环、BTF、CO-RE、kfuncs)依赖较新的内核。老发行版(企业里常见的旧内核)上能用的子集明显小。

  4. 需要特权:加载需要高权限;因此又催生了 BPF LSM + 权限细分、以及“只允许经过签名的 BPF 程序”这类治理需求。

  5. 可移植性靠 CO-RE,但不是零成本:涉及大量内核内部结构体,内核一改仍可能需要跟随。

  6. 学习曲线陡:要懂内核的数据结构与执行路径,才能知道“该 hook 哪里、参数是什么”。

  7. 绕开它的风险:正因为内核里可编程,恶意 eBPF 程序是高级持续性威胁的一种理想载体——可以隐藏进程、篡改观测结果(rootkit 化)。

AI 声明 本文由作者撰写,AI 参与资料检索、润色与示例草稿。

分享
如果这篇文章帮到你,可以请我喝一杯茶。

微信扫码打开

请我喝杯茶

如果这篇文章帮到你,可以请我喝一杯茶。

微信收款码
在商城请我一杯