0x1:应用层流程
基于Linux kernel source v5.13
1.加载bpf.o文件并处理elf section信息
1.int bpf_object__open(char *path) //参数是bpf.o文件路径 -- __bpf_object__open(const char *path, const void *obj_buf, size_t obj_buf_sz, const struct bpf_object_open_opts *opts)//读取obj文件，解析elf中section信息。 -- obj = bpf_object__new(path, obj_buf, obj_buf_sz, obj_name); //创建并初始化obj结构体 err = bpf_object__elf_init(obj); //读取elf文件 err = err ? : bpf_object__check_endianness(obj); //判断大小端 err = err ? : bpf_object__elf_collect(obj); //读取elf节信息(license / version / maps / .reloc / .text) err = err ? : bpf_object__collect_externs(obj); //读取btf section err = err ? : bpf_object__finalize_btf(obj); //读取需要 btf处理的data section err = err ? : bpf_object__init_maps(obj, opts); //读取map信息(user map / global data map / btf map / kconfig map) err = err ? : bpf_object__collect_relos(obj); //读取重定位信息
2.加载obj文件到内核
2.int bpf_object__load(struct bpf_object *obj) //加载第一步生成的obj结构体 -- bpf_object__load_xattr(struct bpf_object_load_attr *attr) -- err = bpf_object__probe_loading(obj); //加载bpf prog到内核（这里加载的是未经过修改的bpf代码） err = err ? : bpf_object__load_vmlinux_btf(obj, false); //读取内核vmlinux信息 err = err ? : bpf_object__resolve_externs(obj, obj->kconfig); //读取内核kconfig /vmlinux / kallsysm信息 err = err ? : bpf_object__sanitize_and_load_btf(obj); // BPF_BTF_LOAD 加载btf信息 err = err ? : bpf_object__sanitize_maps(obj); // 判断内核支持的map种类 err = err ? : bpf_object__init_kern_struct_ops_maps(obj); err = err ? : bpf_object__create_maps(obj); //BPF_MAP_CREATE 创建map err = err ? : bpf_object__relocate(obj, attr->target_btf_path); //处理bpf代码重定位信息 err = err ? : bpf_object__load_progs(obj, attr->log_level); //这里加载经过重定位 btf修改的bpf代码 **** -- libbpf__bpf_prog_load(const struct bpf_prog_load_params *load_attr) -- sys_bpf_prog_load(union bpf_attr *attr, unsigned int size) //调用sys_bpf(BPF_PROG_LOAD, attr, size) 完成bpf prog的加载union bpf_attr attr; 是一个union结构，根据bpf_type的不同，产生不同的结构，具体可以在kernel source/include/uapi/linux/bpf.h中查看
0x2:内核流程
define __NR_bpf 321 //调用号在x64下为321static inline int sys_bpf(enum bpf_cmd cmd, union bpf_attr *attr, unsigned int size){return syscall(__NR_bpf, cmd, attr, size);}sys_bpf() -- __SYS_CALL(_NR_bpf, cmd, attr, size) -- SYSCALL_DEFINE3(bpf, cmd, uattr, size) /kernel/bpf/syscall.c/SYSCALL_DEFINE3(bpf, int, cmd, union bpf_attr __user *, uattr, unsigned int, size) {//这个函数就是内核处理应用层bpf相关操作的总入口，根据cmd参数的不同，产生不同结构的struct bpf_attr ... ... copy_from_user(&attr, uattr, size); //拷贝虚拟地址内容到内核中 security_bpf(cmd, &attr, size); //LSM 框架支持 截止目前v5.13，只实现了几个函数，和selinux/appamor相差甚远 switch (cmd) { case BPF_MAP_CREATE: err = map_create(&attr); //创建map break; case BPF_PROG_LOAD: err = bpf_prog_load(&attr, uattr); //加载bpf程序 break; default: err = -EINVAL; break; } ... ...}
重点看看bpf prog加载流程，熟悉verfiy机制和jit机制
static int bpf_prog_load(union bpf_attr *attr, union bpf_attr __user *uattr){ ... ... license_is_gpl_compatible(license); // 开源许可证判断 if (is_net_admin_prog_type(type) && !capable(CAP_NET_ADMIN) && !capable(CAP_SYS_ADMIN)) //如果是net相关类型，判断所需权限是否满足 if (is_perfmon_prog_type(type) && !perfmon_capable()) //判断是追踪相关类型，判断所需权限是否满足 bpf_prog_alloc(bpf_prog_size(attr->insn_cnt), GFP_USER); //给 struct bpf_prog 申请内存，该结构是bpf在内核中的实例 copy_from_user(prog->insns, u64_to_user_ptr(attr->insns),bpf_prog_insn_size(prog)) //拷贝bpf字节码到内核 bpf_check(&prog, attr, uattr); //bpf verify机制核心 -- 1.调用replace_map_fd_with_map_ptr将eBPF汇编中的fd替换为对应的map结构体地址。 -- 2.check_subprogs检查所有条件跳转指令都位于相应subprog内（本eBPF函数内） -- 3.check_cfg采用深度优先算法确保函数分支不存在循环和存在执行不到的指令。 -- 4.do_check函数检查寄存器和参数的合法性。 -- 5.调用fix_call_args函数对多bpf函数的prog进行jit (多sub prog在这里jit，单prog的在下面bpf_prog_select_runtime进行jit) bpf_prog_select_runtime(prog, &err); //bpf jit机制核心,将bpf字节码编译为目标平台汇编代码 bpf_audit_prog(prog, BPF_AUDIT_LOAD); //打印一条prog load 的 audit信息 perf_event_bpf_event(prog, PERF_BPF_EVENT_PROG_LOAD, 0); //通过perf机制加载到对应的hook api中 err = bpf_prog_new_fd(prog);//返回给应用层bpf prog的fd信息，后续应用层用该fd进行操作(详细可以看libbpf如何通过fd操作map) ... ... }
struct bpf_prog { u16 pages; /* 分配page数 */ u16 jited:1, /* prog是否已经jit过*/ jit_requested:1,/* 是否需要jit */ undo_set_mem:1, /* Passed set_memory_ro() checkpoint */ gpl_compatible:1, /* Is filter GPL compatible? */ cb_access:1, /* Is control block accessed? */ dst_needed:1, /* Do we need dst entry? */ blinded:1, /* 常量致盲 */ is_func:1, /* eBPF func? 大多数情况是 */ kprobe_override:1, /* 是否是overrided kprobe */ has_callchain_buf:1; /* callchain buffer allocated? */ enum bpf_prog_type type; /* prog类型,eg kprobe 、tracepoint*/ enum bpf_attach_type expected_attach_type; /* For some prog types */ u32 len; /* eBPF指令个数 */ u32 jited_len; /* eBPF汇编指令代码总长度 */ u8 tag[BPF_TAG_SIZE]; struct bpf_prog_aux *aux; /* Auxiliary fields */ struct sock_fprog_kern *orig_prog; /* Original BPF program */ unsigned int (*bpf_func)(const void *ctx, const struct bpf_insn *insn);/* 存放jit后的可执行汇编 */ /* 不支持jit,需要模拟，x64支持jit,不需要模拟 */ union { struct sock_filter insns[0]; /* 从用户态拷贝来的eBPF原程序 */ struct bpf_insn insnsi[0]; }; };
第一参数cmd enum bpf_cmd { BPF_MAP_CREATE, //前五个是操作Map的 BPF_MAP_LOOKUP_ELEM, BPF_MAP_UPDATE_ELEM, BPF_MAP_DELETE_ELEM, BPF_MAP_GET_NEXT_KEY, BPF_PROG_LOAD, //eBPF字节码加载 BPF_OBJ_PIN, BPF_OBJ_GET, BPF_PROG_ATTACH, BPF_PROG_DETACH, BPF_PROG_TEST_RUN, BPF_PROG_GET_NEXT_ID, BPF_MAP_GET_NEXT_ID, BPF_PROG_GET_FD_BY_ID, BPF_MAP_GET_FD_BY_ID, BPF_OBJ_GET_INFO_BY_FD, BPF_PROG_QUERY, BPF_RAW_TRACEPOINT_OPEN, BPF_BTF_LOAD, //加载btf信息 BPF_BTF_GET_FD_BY_ID, BPF_TASK_FD_QUERY, BPF_MAP_LOOKUP_AND_DELETE_ELEM, BPF_MAP_FREEZE, BPF_BTF_GET_NEXT_ID, BPF_MAP_LOOKUP_BATCH, BPF_MAP_LOOKUP_AND_DELETE_BATCH, BPF_MAP_UPDATE_BATCH, BPF_MAP_DELETE_BATCH, BPF_LINK_CREATE, BPF_LINK_UPDATE, BPF_LINK_GET_FD_BY_ID, BPF_LINK_GET_NEXT_ID, BPF_ENABLE_STATS, BPF_ITER_CREATE,};
BPF MAP 类型enum bpf_map_type { BPF_MAP_TYPE_UNSPEC = 0, BPF_MAP_TYPE_HASH = 1, //哈希表 BPF_MAP_TYPE_ARRAY = 2, //数组映射，已针对快速查找速度进行了优化，通常用于计数器 BPF_MAP_TYPE_PROG_ARRAY = 3, //对应eBPF程序的文件描述符数组；用于实现跳转表和子程序以处理特定的数据包协议 BPF_MAP_TYPE_PERF_EVENT_ARRAY = 4, // linux kernel 4.4 存储指向struct perf_event的指针，用于读取和存储perf事件计数器 BPF_MAP_TYPE_PERCPU_HASH = 5, //每个CPU的哈希表 BPF_MAP_TYPE_PERCPU_ARRAY = 6, //每个CPU的数组 BPF_MAP_TYPE_STACK_TRACE = 7, //存储堆栈跟踪 BPF_MAP_TYPE_CGROUP_ARRAY = 8, //存储指向控制组的指针 BPF_MAP_TYPE_LRU_HASH = 9, //仅保留最近使用项目的哈希表 BPF_MAP_TYPE_LRU_PERCPU_HASH = 10, //每个CPU的哈希表，仅保留最近使用的项目 BPF_MAP_TYPE_LPM_TRIE = 11, //最长前缀匹配树，适用于将IP地址匹配到某个范围 BPF_MAP_TYPE_ARRAY_OF_MAPS = 12, BPF_MAP_TYPE_HASH_OF_MAPS = 13, BPF_MAP_TYPE_DEVMAP = 14, //用于存储和查找网络设备引用 BPF_MAP_TYPE_SOCKMAP = 15, //存储和查找套接字，并允许使用BPF辅助函数进行套接字重定向 BPF_MAP_TYPE_CPUMAP = 16, BPF_MAP_TYPE_XSKMAP = 17, BPF_MAP_TYPE_SOCKHASH = 18, BPF_MAP_TYPE_CGROUP_STORAGE = 19, BPF_MAP_TYPE_REUSEPORT_SOCKARRAY = 20, BPF_MAP_TYPE_PERCPU_CGROUP_STORAGE = 21, BPF_MAP_TYPE_QUEUE = 22, BPF_MAP_TYPE_STACK = 23, BPF_MAP_TYPE_SK_STORAGE = 24, BPF_MAP_TYPE_DEVMAP_HASH = 25, BPF_MAP_TYPE_STRUCT_OPS = 26, BPF_MAP_TYPE_RINGBUF = 27, // linux kernel 5.8 Perf Buffer增强版 BPF_MAP_TYPE_INODE_STORAGE = 28,};
详细介绍： BFP MAP介绍
BPF PROG 类型【helper函数使用范围】不同类型eBPF程序可以使用的eBPF helper函数范围enum bpf_prog_type { BPF_PROG_TYPE_UNSPEC, BPF_PROG_TYPE_SOCKET_FILTER, //网络数据包过滤器 BPF_PROG_TYPE_KPROBE, //确定是否应触发kprobe BPF_PROG_TYPE_SCHED_CLS, //网络流量控制分类器 BPF_PROG_TYPE_SCHED_ACT, //网络流量控制操作 BPF_PROG_TYPE_TRACEPOINT, //确定是否应触发跟踪点 BPF_PROG_TYPE_XDP, //从设备驱动程序接收路径运行的网络数据包筛选器 BPF_PROG_TYPE_PERF_EVENT, //确定是否应该触发性能事件处理程序 BPF_PROG_TYPE_CGROUP_SKB, //用于控制组的网络数据包过滤器 BPF_PROG_TYPE_CGROUP_SOCK, //用于控制组的网络数据包筛选器，允许修改套接字选项 BPF_PROG_TYPE_LWT_IN, BPF_PROG_TYPE_LWT_OUT, BPF_PROG_TYPE_LWT_XMIT, BPF_PROG_TYPE_SOCK_OPS, BPF_PROG_TYPE_SK_SKB, BPF_PROG_TYPE_CGROUP_DEVICE, BPF_PROG_TYPE_SK_MSG, BPF_PROG_TYPE_RAW_TRACEPOINT, BPF_PROG_TYPE_CGROUP_SOCK_ADDR, BPF_PROG_TYPE_LWT_SEG6LOCAL, BPF_PROG_TYPE_LIRC_MODE2, BPF_PROG_TYPE_SK_REUSEPORT, BPF_PROG_TYPE_FLOW_DISSECTOR, BPF_PROG_TYPE_CGROUP_SYSCTL, BPF_PROG_TYPE_RAW_TRACEPOINT_WRITABLE, BPF_PROG_TYPE_CGROUP_SOCKOPT, BPF_PROG_TYPE_TRACING, BPF_PROG_TYPE_STRUCT_OPS, BPF_PROG_TYPE_EXT, BPF_PROG_TYPE_LSM,};
0x3:BPF寄存器
eBPF从bpf的两个32位寄存器扩展到10个64位寄存器R0~R9和一个只读栈帧寄存器，并支持call指令，更加贴近现代64位处理器硬件
R0对应rax， 函数返回值R1对应rdi， 函数参数1R2对应rsi， 函数参数2R3对应rdx， 函数参数3R4对应rcx， 函数参数4R5对应r8， 函数参数5R6对应rbx， callee保存R7对应r13， callee保存R8对应r14， callee保存R9对应r15， callee保存R10对应rbp，只读栈帧寄存器
0x4:内核路径
/Documentation/bpf/btf.rst/include/uapi/linux/bpf_common.h 和 /include/uapi/linux/bpf.h 定义了指令集/samples/bpf 相关的样例/tools/bpf/bpftool 工具，用来调试bpf/tools/testing/selftests/bpf 测试代码
本文由博客一文多发平台 OpenWrite 发布！
经验首页