经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置：技术经验 » 程序设计 » 编程经验 » 查看文章
Intel HDSLB 高性能四层负载均衡器 — 基本原理和部署配置
来源：cnblogs　　作者：云物互联　　时间：2024/5/27 9:20:19　　对本文有异议

前言

在上一篇《Intel HDSLB 高性能四层负载均衡器 — 快速入门和应用场景》中，我们着重介绍了 HDSLB（High Density Scalable Load Balancer，高密度可扩展的负载均衡器）作为新一代高性能四层负载均衡器的需求定位、分析了 HDSLB 在云计算和边缘计算应用场景中的特性优势，以及解读了 HDSLB 的性能测试数据。

再进一步的，在本篇中我们主要关注 HDSLB 的基本运行原理和部署配置方式，更侧重于实际的操作。为了让更广泛的开发者们都能够快捷方便的对 HDSLB 展开研究，所以在本篇中会采用 HDSLB-DPVS 开源版本来进行介绍。

HDSLB-DPVS 的基本原理

顾名思义，HDSLB-DPVS 是基于 DPVS 进行二次开发的项目。而 DPVS，又称为 DPDK-LVS，是一个参考了 LVS 内核态四层负载均衡器设计原理并基于 DPDK 用户态数据面加速框架进行开发的四层负载均衡器。可见，HDSLB-DPVS 的技术堆栈主要由以下 4 个部分组成：

  1. LVS
  2. DPDK
  3. DPVS
  4. HDSLB-DPVS

要清晰的理解 HDSLB-DPVS 的基本实现原理，我们需要从头开始讲起。

LVS

LVS（Linux Virtual Server，Linux 虚拟服务器）是一个诞生于 1998 年的四层负载均衡器开源项目，其目标是使用 Local Balancer 技术和 Server Cluster 技术来实现一个具有良好可伸缩性（Scalability）、可靠性（Reliability）和可管理性（Manageability）的 Virtual Server。

在这里插入图片描述

现在来看，虽然 LVS 基于 Kernel 实现的数据面性能已经不合时宜，但在逻辑架构的设计层面，LVS 的核心术语依旧沿用至今，包括：

  • VS（Virtual Server，虚拟服务器）：VS 是由 DS 和 RS 组合构成的一个逻辑概念，VS 最终通过一个 VIP 对外部 Clients 提供服务。
  • DS（Director Server，流量调度服务器）：是充当 LB 流量入口的服务器，负责负载均衡策略的执行和流量分发。所以也称为 FE（前端服务器）。
  • RS（Real Server，真实服务器）：RS 是真正用于处理请求流量的服务器，也称为 BE（后端服务器）。
  • VIP（Virtual IP，虚拟 IP 地址）：VS 向外部 Client 提供服务的 IP 地址。
  • DIP（Director IP，直连 IP 地址）：Director Server 向内部与 RS 进行通信的 IP 地址。
  • RIP（Real IP，真实 IP 地址）：RS 与 DS 互通的 IP 地址。
  • CIP（Client IP，客户端的 IP 地址）
  • NAT 反向代理转发模式
  • IP Tunneling 透明转发模式
  • DR 三角流量转发模式
  • 等等

在这里插入图片描述

关于 LVS 更详细的内容，推荐阅读：《LVS & Keepalived 实现 L4 高可用负载均衡器》

DPDK

随着 2010 年，IEEE 802.3 标准委员会发布了 40GbE 和 100GbE 802.3ba 以太网标准后，数据中心正式进入了 100G 时代。从那时起，Linux 内核协议栈的网络处理性能就一直备受挑战。先看几个数据：

  • CPU 访问 Main Memory 所需要的时长为 65 纳秒。
  • 跨 NUMA node 的 Main Memory 数据 Copy 所需要的时长为 40 纳秒。
  • CPU 处理一次硬件中断所需要的时间为 100 微秒。

但实际上，100G 网卡线速为 2 亿 PPS，即每个包处理的时间不能超过 50 纳秒。

可见，基于 Kernel 的数据面已经走到了拐点，DPDK 为此而生，并通过下列加速技术实现了 100G 线性转发。

  1. 使用用户态协议栈代替内核协议栈：Kernel by-pass (user space implementation).
  2. 使用轮训代替中断：Polling instead of interrupt.
  3. 使用多核编程代替多线程：Share-nothing, per-CPU for key data (lockless).
  4. 跨 CPU 无锁通信：Lockless message for high performance IPC.
  5. RX Steering and CPU affinity (avoid context switch).
  6. Zero Copy (avoid packet copy and syscalls).
  7. Batching TX/RX.
  8. etc...

在这里插入图片描述

关于 DPDK 更详细的内容，推荐阅读：《DPDK — 数据加速方案的核心思想》

DPVS

综上，由于 LVS 的数据面是一个 Linux Kernel Module（ipvs），其性能无法满足现代化需求，所以国内公司 iqiyi 基于 DPDK 开发了 DPVS。值得一提的是，由于 DPVS 项目由国内公司开源和维护，所以其开源社区对中文开发者也会更加友好。

在这里插入图片描述

除了性能方面的优化之外，在功能层面，DPVS 也提供了更丰富的能力，包括：

  • L4 Load Balancer, including FNAT, DR, Tunnel, DNAT modes, etc.
  • SNAT mode for Internet access from internal network.
  • NAT64 forwarding in FNAT mode for quick IPv6 adaptation without application changes.
  • Different schedule algorithms like RR, WLC, WRR, MH(Maglev Hashing), Conhash(Consistent Hashing) etc.
  • User-space Lite IP stack (IPv4/IPv6, Routing, ARP, Neighbor, ICMP ...).
  • Support KNI, VLAN, Bonding, Tunneling for different IDC environment.
  • Security aspect, support TCP syn-proxy, Conn-Limit, black-list， white-list.
  • QoS: Traffic Control.

在软件架构方面，DPVS 沿用了数据分离架构和基于 Keepalived 的 Master-Backup 高可用架构。

  • ipvsadm：用于 VS、RS 等逻辑资源对象的管理。
  • dpip：用于 IP、Route 等基础网络资源的管理。
  • keepalived：用于提供基于 VRRP 协议的主备高可用。

在这里插入图片描述

HDSLB-DPVS

HDSLB-DPVS 和 DPVS 本身都作为高性能负载均衡器，那么两者的本质区别是什么呢？答案就是更强大的性能！

在这里插入图片描述

通常的，我们可以使用 RBP（Ratio of Bandwidth and Performance growth rate，带宽性能增速比）来定义网络带宽的增速比上 CPU 性能的增速，即：RBP=BW GR/Perf. GR。

如下图所示。2010 年前，网络的带宽年化增长大约是 30%，到 2015 年增长到 35%，然后在近年达到 45%。相对应的，CPU 的性能增长从 10 年前的 23%，下降到 12%，并在近年直接降低到 3.5%。在这 3 个时间段内，RBP 指标从 RBP～1 附近（I/O 压力尚未显现出来），上升到 RBP～3，并在近年超过了 RBP～10。

可见，CPU 几乎已经无法直接应对网络带宽的增速。而围绕 CPU 进行纯软件加速的 DPDK 框架正在面临挑战。

在这里插入图片描述

回到 DPVS 和 HDSLB-DPVS 的本质区别这个问题。在理论设计层面，DPVS 的目标是基于 DPDK 框架实现了软件层面的加速，而 HDSLB-DPVS 则更进一步的将这种加速融入到 CPU 和 NIC 互相结合的硬件平台之上，并实现了 “高密度” 和 “可扩展” 这 2 大目标：

  • 高密度：指的是单个 HDSLB 节点的 TCP 并发连接数量和吞吐量特别高。
  • 可拓展：指的是其性能可以随着 CPU Core 的数量或者资源总量的增加而线性拓展。

实践方面，在最新型的 Intel Xeon CPU（e.g. 3rd & 4th generation）和 E810 100G NIC 硬件平台上，实现了：

  • Concurrent Session: 100M level / Node
  • Throughput: > 8Mpps / Core @FNAT
  • TCP Session Est. Rate > 800K / Core
  • Linear growth

对此，我们在《Intel HDSLB 高性能四层负载均衡器 — 快速入门和应用场景》文中已经对 HDSLB-DPVS 超越前代的性能数据进行了分析，这里不在赘述。

HDSLB 的部署配置

硬件要求

下面进入到实践环节，主要关注 HDSLB-DPVS 的编译、部署和配置。为了降低开发者门槛，所以本文主要使用了开发机低门槛配置来进行部署和调试。

物理测试机性能推荐 虚拟开发机低门槛推荐
CPU 架构 Intel Xeon CPU 四代 支持 AVX512 系列指令集的 Intel CPU 型号，例如：Skylake 等
CPU 资源 2NUMA，关闭超线程 1NUMA，4C
Memory 资源 128G 16G
NIC 型号 Intel E810 100G VirtI/O 驱动，支持多队列

本文 CPU 信息：

  1. $ lscpu
  2. Architecture:                    x86_64
  3. CPU op-mode(s):                  32-bit, 64-bit
  4. Byte Order:                      Little Endian
  5. Address sizes:                   46 bits physical, 57 bits virtual
  6. CPU(s):                          4
  7. On-line CPU(s) list:             0-3
  8. Thread(s) per core:              2root@l4lb:~# lscpu
  9. Architecture:                    x86_64
  10. CPU op-mode(s):                  32-bit, 64-bit
  11. Byte Order:                      Little Endian
  12. Address sizes:                   46 bits physical, 57 bits virtual
  13. CPU(s):                          4
  14. On-line CPU(s) list:             0-3
  15. Thread(s) per core:              2
  16. Core(s) per socket:              2
  17. Socket(s):                       1
  18. NUMA node(s):                    1
  19. Vendor ID:                       GenuineIntel
  20. CPU family:                      6
  21. Model:                           106
  22. Model name:                      Intel(R) Xeon(R) Platinum 8350C CPU @ 2.60GHz
  23. Stepping:                        6
  24. CPU MHz:                         2599.994
  25. BogoMIPS:                        5199.98
  26. Hypervisor vendor:               KVM
  27. Virtualization type:             full
  28. L1d cache:                       96 KiB
  29. L1i cache:                       64 KiB
  30. L2 cache:                        2.5 MiB
  31. L3 cache:                        48 MiB
  32. NUMA node0 CPU(s):               0-3
  33. Vulnerability Itlb multihit:     Not affected
  34. Vulnerability L1tf:              Not affected
  35. Vulnerability Mds:               Not affected
  36. Vulnerability Meltdown:          Not affected
  37. Vulnerability Mmio stale data:   Vulnerable: Clear CPU buffers attempted, no microcode; SMT Host state unknown
  38. Vulnerability Retbleed:          Not affected
  39. Vulnerability Spec store bypass: Vulnerable
  40. Vulnerability Spectre v1:        Mitigation; usercopy/swapgs barriers and __user pointer sanitization
  41. Vulnerability Spectre v2:        Vulnerable, IBPB: disabled, STIBP: disabled, PBRSB-eIBRS: Vulnerable
  42. Vulnerability Srbds:             Not affected
  43. Vulnerability Tsx async abort:   Not affected
  44. Flags:                           fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ss ht syscall nx pdpe1gb rdtscp lm constant_ts
  45.                                  c arch_perfmon rep_good nopl xtopology cpuid tsc_known_freq pni pclmulqdq ssse3 fma cx16 pcid sse4_1 sse4_2 x2apic movbe popcnt tsc_deadline_tim
  46.                                  er aes xsave avx f16c rdrand hypervisor lahf_lm abm 3dnowprefetch cpuid_fault invpcid_single ssbd ibrs ibpb ibrs_enhanced fsgsbase tsc_adjust bm
  47.                                  i1 avx2 smep bmi2 erms invpcid avx512f avx512dq rdseed adx smap avx512ifma clflushopt clwb avx512cd sha_ni avx512bw avx512vl xsaveopt xsavec xge
  48.                                  tbv1 xsaves arat avx512vbmi umip pku ospke avx512_vbmi2 gfni vaes vpclmulqdq avx512_vnni avx512_bitalg avx512_vpopcntdq rdpid arch_capabilities

软件要求

  • OS：Ubuntu 20.04.3
  • Kernel：5.4.0-110-generic
  • GCC：9.4.0
  • DPDK：20.08

值的注意的是，Ubuntu /boot 分区要大于 2G，避免出现内核升级故障问题。参考引用：https://askubuntu.com/questions/1207958/error-24-write-error-cannot-write-compressed-block

本文 OS 信息：

  1. # 更新系统
  2. $ sudo apt-get update -y && sudo apt-get upgrade -y
  3. # Dev
  4. $ sudo apt-get install git vim wget patch unzip -y
  5. # popt
  6. $ sudo apt-get install libpopt-dev -y
  7. # NUMA
  8. $ sudo apt-get install libnuma-dev -y
  9. $ sudo apt-get install numactl -y
  10. # Pcap
  11. $ sudo apt-get install libpcap-dev -y 
  12. # SSL
  13. $ sudo apt-get install libssl-dev -y
  16. # Kernel 5.4.0-136
  17. $ uname -r
  18. 5.4.0-136-generic
  20. $ ll /boot/vmlinuz*
  21. lrwxrwxrwx 1 root root       25 Dec 27  2022 /boot/vmlinuz -> vmlinuz-5.4.0-136-generic
  22. -rw------- 1 root root 13660416 Aug 10  2022 /boot/vmlinuz-5.4.0-125-generic
  23. -rw------- 1 root root 13668608 Nov 24  2022 /boot/vmlinuz-5.4.0-136-generic
  24. -rw------- 1 root root 11657976 Apr 21  2020 /boot/vmlinuz-5.4.0-26-generic
  25. lrwxrwxrwx 1 root root       25 Dec 27  2022 /boot/vmlinuz.old -> vmlinuz-5.4.0-125-generic
  27. $ dpkg -l | egrep "linux-(signed|modules|image|headers)" | grep $(uname -r)
  28. ii  linux-headers-5.4.0-136-generic       5.4.0-136.153                     amd64        Linux kernel headers for version 5.4.0 on 64 bit x86 SMP
  29. ii  linux-image-5.4.0-136-generic         5.4.0-136.153                     amd64        Signed kernel image generic
  30. ii  linux-modules-5.4.0-136-generic       5.4.0-136.153                     amd64        Linux kernel extra modules for version 5.4.0 on 64 bit x86 SMP
  31. ii  linux-modules-extra-5.4.0-136-generic 5.4.0-136.153                     amd64        Linux kernel extra modules for version 5.4.0 on 64 bit x86 SMP
  33. # GCC 9.4.0
  34. $ gcc --version
  35. gcc (Ubuntu 9.4.0-1ubuntu1~20.04.1) 9.4.0
  36. Copyright (C) 2019 Free Software Foundation, Inc.
  37. This is free software; see the source for copying conditions.  There is NO
  38. warranty; not even for MERCHANTABILITY or FITNESS FOR A PARTICULAR PURPOSE.
  40. # 文件描述符
  41. $ ulimit -n 655350
  42. $ echo "ulimit -n 655350" >> /etc/rc.local
  43. $ chmod a+x /etc/rc.local

编译安装 DPDK

DPDK 安装部署的详细内容，推荐阅读：《DPDK — 安装部署》。

  1. $ cd /root/
  2. $ git clone https://github.com/intel/high-density-scalable-load-balancer hdslb
  4. $ wget http://fast.dpdk.org/rel/dpdk-20.08.tar.xz
  5. $ tar vxf dpdk-20.08.tar.xz
  7. # 打补丁
  8. $ cp hdslb/patch/dpdk-20.08/*.patch dpdk-20.08/
  9. $ cd dpdk-20.08/
  10. $ patch -p 1 < 0002-support-large_memory.patch
  11. $ patch -p 1 < 0003-net-i40e-ice-support-rx-markid-ofb.patch
  13. # 编译
  14. $ make config T=x86_64-native-linuxapp-gcc MAKE_PAUSE=n
  15. $ make MAKE_PAUSE=n -j 4

编译安装 HDSLB-DPVS

HDSLB-DPVS 的编译安装过程中需要依赖许多 CPU 硬件加速指令，例如：AVX2、AVX512 等等。要编译成功，有 2 方面的要求：

  1. 要求 CPU 硬件支持：推荐使用 Intel Xeon 数据中心系列，例如：Intel Xeon Gold。
  2. 要求 GCC 版本支持：推荐采用版本较高的 GCC，例如本文中的 9.4.0。
  1. $ cd dpdk-20.08/
  2. $ export RTE_SDK=$PWD
  4. $ cd hdslb/
  5. $ chmod +x tools/keepalived/configure
  7. # 编译安装
  8. $ make -j 4
  9. $ make install

配置大页内存

在物理机测试环境中，大页内存应该尽可能的给，HDSLB 的 LB connect pool 需要分配大量的内存，这与实际的性能规格有直接关系。

  1. $ mkdir /mnt/huge_1GB
  2. $ mount -t hugetlbfs nodev /mnt/huge_1GB
  4. $ vim /etc/fstab
  5. nodev /mnt/huge_1GB hugetlbfs pagesize=1GB 0 0
  7. $ # for NUMA machine
  8. $ echo 15 > /sys/devices/system/node/node0/hugepages/hugepages-1048576kB/nr_hugepages
  10. $ vim /etc/default/grub
  11. GRUB_CMDLINE_LINUX_DEFAULT="${GRUB_CMDLINE_LINUX_DEFAULT} default_hugepagesz=1G hugepagesz=1G hugepages=15" 
  13. $ sudo update-grub
  14. $ init 6
  16. $ cat /proc/meminfo | grep Huge
  17. AnonHugePages:         0 kB
  18. ShmemHugePages:        0 kB
  19. FileHugePages:         0 kB
  20. HugePages_Total:      13
  21. HugePages_Free:       13
  22. HugePages_Rsvd:        0
  23. HugePages_Surp:        0
  24. Hugepagesize:    1048576 kB
  25. Hugetlb:        13631488 kB
  27. $ free -h
  28.               total        used        free      shared  buff/cache   available
  29. Mem:           15Gi        13Gi       2.0Gi       2.0Mi       408Mi       2.2Gi
  30. Swap:            0B          0B          0B

配置网卡

  1. $ modprobe vfio-pci
  2. $ modprobe vfio enable_unsafe_noiommu_mode=1 # https://stackoverflow.com/questions/75840973/dpdk20-11-3-cannot-bind-device-to-vfio-pci
  3. $ echo 1 > /sys/module/vfio/parameters/enable_unsafe_noiommu_mode
  5. $ cd dpdk-20.08/
  6. $ export RTE_SDK=$PWD
  7. $ insmod ${RTE_SDK}/build/kmod/rte_kni.ko
  9. $ ${RTE_SDK}/usertools/dpdk-devbind.py --status-dev net
  10. Network devices using kernel driver
  11. ===================================
  12. 0000:01:00.0 'Virtio network device 1000' if=eth0 drv=virtio-pci unused=vfio-pci *Active*
  13. 0000:03:00.0 'Virtio network device 1000' if=eth1 drv=virtio-pci unused=vfio-pci
  14. 0000:04:00.0 'Virtio network device 1000' if=eth2 drv=virtio-pci unused=vfio-pci
  17. $ ifconfig eth1 down # 0000:03:00.0
  18. $ ifconfig eth2 down # 0000:04:00.0
  19. $ ${RTE_SDK}/usertools/dpdk-devbind.py -b vfio-pci 0000:03:00.0 0000:04:00.0
  21. $ ${RTE_SDK}/usertools/dpdk-devbind.py --status-dev net
  22. Network devices using DPDK-compatible driver
  23. ============================================
  24. 0000:03:00.0 'Virtio network device 1000' drv=vfio-pci unused=
  25. 0000:04:00.0 'Virtio network device 1000' drv=vfio-pci unused=
  26. Network devices using kernel driver
  27. ===================================
  28. 0000:01:00.0 'Virtio network device 1000' if=eth0 drv=virtio-pci unused=vfio-pci *Active*

配置 HDSLB-DPVS

  1. $ cp conf/hdslb.conf.sample /etc/hdslb.conf
  3. # 配置解析
  4. $ cat /etc/hdslb.conf
  5. !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
  6. ! This is hdslb default configuration file.
  7. !
  8. ! The attribute "<init>" denotes the configuration item at initialization stage. Item of
  9. ! this type is configured oneshoot and not reloadable. If invalid value configured in the
  10. ! file, hdslb would use its default value.
  11. !
  12. ! Note that hdslb configuration file supports the following comment type:
  13. !   * line comment: using '#" or '!'
  14. !   * inline range comment: using '<' and '>', put comment in between
  15. !!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!
  17. ! global config
  18. global_defs {
  19.     log_level   DEBUG # 方便调试
  20.     ! log_file    /var/log/hdslb.log
  21.     ! log_async_mode    on
  22. }
  24. ! netif config
  25. netif_defs {
  26.     <init> pktpool_size     1048575
  27.     <init> pktpool_cache    256
  28.     # LAN Interface 配置
  29.     <init> device dpdk0 {
  30.         rx {
  31.             queue_number        3
  32.             descriptor_number   1024
  33.             ! rss                 all
  34.         }
  35.         tx {
  36.             queue_number        3
  37.             descriptor_number   1024
  38.         }
  39.         fdir {
  40.             mode                perfect
  41.             pballoc             64k
  42.             status              matched
  43.         }
  44.         ! promisc_mode
  45.         kni_name                dpdk0.kni
  46.     }
  47.     # WAN Interface 配置
  48.     <init> device dpdk1 {
  49.         rx {
  50.             queue_number        3
  51.             descriptor_number   1024
  52.             ! rss                 all
  53.         }
  54.         tx {
  55.             queue_number        3
  56.             descriptor_number   1024
  57.         }
  58.         fdir {
  59.             mode                perfect
  60.             pballoc             64k
  61.             status              matched
  62.         }
  63.         ! promisc_mode
  64.         kni_name                dpdk1.kni
  65.     }
  67.     ! <init> bonding bond0 {
  68.     !    mode        0
  69.     !    slave       dpdk0
  70.     !    slave       dpdk1
  71.     !    primary     dpdk0
  72.     !    kni_name    bond0.kni
  73.     !}
  74. }
  76. ! worker config (lcores)
  77. worker_defs {
  78.     # control plane CPU
  79.     <init> worker cpu0 {
  80.         type    master
  81.         cpu_id  0
  82.     }
  83.     # data plane CPU
  84.     # dpdk0、1 这 2 个 Port 的同一个收发队列共用同一个 CPU
  85.     <init> worker cpu1 {
  86.         type    slave
  87.         cpu_id  1
  88.         port    dpdk0 {
  89.             rx_queue_ids     0
  90.             tx_queue_ids     0
  91.             ! isol_rx_cpu_ids  9
  92.             ! isol_rxq_ring_sz 1048576
  93.         }
  94.         port    dpdk1 {
  95.             rx_queue_ids     0
  96.             tx_queue_ids     0
  97.             ! isol_rx_cpu_ids  9
  98.             ! isol_rxq_ring_sz 1048576
  99.         }
  100.     }
  101.     <init> worker cpu2 {
  102.         type    slave
  103.         cpu_id  2
  104.         port    dpdk0 {
  105.             rx_queue_ids     1
  106.             tx_queue_ids     1
  107.             ! isol_rx_cpu_ids  10
  108.             ! isol_rxq_ring_sz 1048576
  109.         }
  110.         port    dpdk1 {
  111.             rx_queue_ids     1
  112.             tx_queue_ids     1
  113.             ! isol_rx_cpu_ids  10
  114.             ! isol_rxq_ring_sz 1048576
  115.         }
  116.     }
  117.     <init> worker cpu3 {
  118.         type    slave
  119.         cpu_id  3
  120.         port    dpdk0 {
  121.             rx_queue_ids     2
  122.             tx_queue_ids     2
  123.             ! isol_rx_cpu_ids  11
  124.             ! isol_rxq_ring_sz 1048576
  125.         }
  126.         port    dpdk1 {
  127.             rx_queue_ids     2
  128.             tx_queue_ids     2
  129.             ! isol_rx_cpu_ids  11
  130.             ! isol_rxq_ring_sz 1048576
  131.         }
  132.     }
  134. }
  136. ! timer config
  137. timer_defs {
  138.     # cpu job loops to schedule dpdk timer management
  139.     schedule_interval    500
  140. }
  142. ! hdslb neighbor config
  143. neigh_defs {
  144.     <init> unres_queue_length  128
  145.     <init> timeout             60
  146. }
  148. ! hdslb ipv4 config
  149. ipv4_defs {
  150.     forwarding                 off
  151.     <init> default_ttl         64
  152.     fragment {
  153.         <init> bucket_number   4096
  154.         <init> bucket_entries  16
  155.         <init> max_entries     4096
  156.         <init> ttl             1
  157.     }
  158. }
  160. ! hdslb ipv6 config
  161. ipv6_defs {
  162.     disable                     off
  163.     forwarding                  off
  164.     route6 {
  165.         <init> method           hlist
  166.         recycle_time            10
  167.     }
  168. }
  170. ! control plane config
  171. ctrl_defs {
  172.     lcore_msg {
  173.         <init> ring_size                4096
  174.         sync_msg_timeout_us             30000000
  175.         priority_level                  low
  176.     }
  177.     ipc_msg {
  178.         <init> unix_domain /var/run/hdslb_ctrl
  179.     }
  180. }
  182. ! ipvs config
  183. ipvs_defs {
  184.     conn {
  185.         <init> conn_pool_size       2097152
  186.         <init> conn_pool_cache      256
  187.         conn_init_timeout           30
  188.         ! expire_quiescent_template
  189.         ! fast_xmit_close
  190.         ! <init> redirect           off
  191.     }
  193.     udp {
  194.         ! defence_udp_drop
  195.         uoa_mode        opp
  196.         uoa_max_trail   3
  197.         timeout {
  198.             normal      300
  199.             last        3
  200.         }
  201.     }
  203.     tcp {
  204.         ! defence_tcp_drop
  205.         timeout {
  206.             none        2
  207.             established 90
  208.             syn_sent    3
  209.             syn_recv    30
  210.             fin_wait    7
  211.             time_wait   7
  212.             close       3
  213.             close_wait  7
  214.             last_ack    7
  215.             listen      120
  216.             synack      30
  217.             last        2
  218.         }
  219.         synproxy {
  220.             synack_options {
  221.                 mss             1452
  222.                 ttl             63
  223.                 sack
  224.                 ! wscale
  225.                 ! timestamp
  226.             }
  227.             ! defer_rs_syn
  228.             rs_syn_max_retry    3
  229.             ack_storm_thresh    10
  230.             max_ack_saved       3
  231.             conn_reuse_state {
  232.                 close
  233.                 time_wait
  234.                 ! fin_wait
  235.                 ! close_wait
  236.                 ! last_ack
  237.            }
  238.         }
  239.     }
  240. }
  242. ! sa_pool config
  243. sa_pool {
  244.     pool_hash_size   16
  245. }

启动 HDSLB-DPVS

  1. $ cd hdslb/
  2. $ ./bin/hdslb
  3. current thread affinity is set to F
  4. EAL: Detected 4 lcore(s)
  5. EAL: Detected 1 NUMA nodes
  6. EAL: Multi-process socket /var/run/dpdk/rte/mp_socket
  7. EAL: Selected IOVA mode 'PA'
  8. EAL: Probing VFIO support...
  9. EAL: VFIO support initialized
  10. EAL:   Invalid NUMA socket, default to 0
  11. EAL: Probe PCI driver: net_virtio (1af4:1000) device: 0000:01:00.0 (socket 0)
  12. EAL:   Invalid NUMA socket, default to 0
  13. EAL: Probe PCI driver: net_virtio (1af4:1000) device: 0000:03:00.0 (socket 0)
  14. EAL:   using IOMMU type 8 (No-IOMMU)
  15. EAL: Ignore mapping IO port bar(0)
  16. EAL:   Invalid NUMA socket, default to 0
  17. EAL: Probe PCI driver: net_virtio (1af4:1000) device: 0000:04:00.0 (socket 0)
  18. EAL: Ignore mapping IO port bar(0)
  19. EAL: No legacy callbacks, legacy socket not created
  20. DPVS: HDSLB version: , build on 2024.05.24.14:37:02
  21. CFG_FILE: Opening configuration file '/etc/hdslb.conf'.
  22. CFG_FILE: log_level = WARNING
  23. NETIF: dpdk0:rx_queue_number = 3
  24. NETIF: dpdk1:rx_queue_number = 3
  25. NETIF: worker cpu1:dpdk0 rx_queue_id += 0
  26. NETIF: worker cpu1:dpdk0 tx_queue_id += 0
  27. NETIF: worker cpu1:dpdk1 rx_queue_id += 0
  28. NETIF: worker cpu1:dpdk1 tx_queue_id += 0
  29. NETIF: worker cpu2:dpdk0 rx_queue_id += 1
  30. NETIF: worker cpu2:dpdk0 tx_queue_id += 1
  31. NETIF: worker cpu2:dpdk1 rx_queue_id += 1
  32. NETIF: worker cpu2:dpdk1 tx_queue_id += 1
  33. NETIF: worker cpu3:dpdk0 rx_queue_id += 2
  34. NETIF: worker cpu3:dpdk0 tx_queue_id += 2
  35. NETIF: worker cpu3:dpdk1 rx_queue_id += 2
  36. NETIF: worker cpu3:dpdk1 tx_queue_id += 2
  37. Kni: kni_add_dev: fail to set mac FA:27:00:00:0A:02 for dpdk0.kni: Timer expired
  38. Kni: kni_add_dev: fail to set mac FA:27:00:00:0B:F6 for dpdk1.kni: Timer expired

在这里插入图片描述

HDSLB-DPVS 进程起来后，可以看见 2 个 DPDK Port 和对应的 2 个 KNI Interface。其中 DPDK Port 用于 LB 数据面转发，而 KNI 则用于 Keepalived HA 部署模式。

  1. $ cd hdslb/bin/
  2. $ ./dpip link show
  3. 1: dpdk0: socket 0 mtu 1500 rx-queue 3 tx-queue 3
  4.     UP 10000 Mbps half-duplex auto-nego
  5.     addr FA:27:00:00:0A:02 OF_TX_IP_CSUM
  6. 2: dpdk1: socket 0 mtu 1500 rx-queue 3 tx-queue 3
  7.     UP 10000 Mbps half-duplex auto-nego
  8.     addr FA:27:00:00:0B:F6 OF_TX_IP_CSUM
  11. $ ip a
  12. 1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
  13.     link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
  14.     inet 127.0.0.1/8 scope host lo
  15.        valid_lft forever preferred_lft forever
  16.     inet6 ::1/128 scope host
  17.        valid_lft forever preferred_lft forever
  18. 2: eth0: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc mq state UP group default qlen 1000
  19.     link/ether fa:27:00:00:00:c0 brd ff:ff:ff:ff:ff:ff
  20.     inet 192.168.0.4/25 brd 192.168.0.127 scope global eth0
  21.        valid_lft forever preferred_lft forever
  22.     inet6 fe80::f827:ff:fe00:c0/64 scope link
  23.        valid_lft forever preferred_lft forever
  24. 71: dpdk0.kni: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
  25.     link/ether fa:27:00:00:0a:02 brd ff:ff:ff:ff:ff:ff
  26. 72: dpdk1.kni: <BROADCAST,MULTICAST> mtu 1500 qdisc noop state DOWN group default qlen 1000
  27.     link/ether fa:27:00:00:0b:f6 brd ff:ff:ff:ff:ff:ff

测试 HDSLB-DPVS Two-arm Full-NAT 模式

请添加图片描述

  • HDSLB-DPVS
  1. $ cd hdslb/bin
  3. # add VIP to WAN interface
  4. $ ./dpip addr add 10.0.0.100/32 dev dpdk1
  6. # route for WAN/LAN access
  7. $ ./dpip route add 10.0.0.0/16 dev dpdk1
  8. $ ./dpip route add 192.168.100.0/24 dev dpdk0
  10. # add routes for other network or default route if needed.
  11. $ ./dpip route show
  12. inet 10.0.0.100/32 via 0.0.0.0 src 0.0.0.0 dev dpdk1 mtu 1500 tos 0 scope host metric 0 proto auto
  13. inet 192.168.100.0/24 via 0.0.0.0 src 0.0.0.0 dev dpdk0 mtu 1500 tos 0 scope link metric 0 proto auto
  14. inet 10.0.0.0/16 via 0.0.0.0 src 0.0.0.0 dev dpdk1 mtu 1500 tos 0 scope link metric 0 proto auto
  16. # add service <VIP:vport> to forwarding, scheduling mode is RR.
  17. $ ./ipvsadm -A -t 10.0.0.100:80 -s rr
  19. # add two RS for service, forwarding mode is FNAT (-b)
  20. $ ./ipvsadm -a -t 10.0.0.100:80 -r 192.168.100.2 -b
  21. $ ./ipvsadm -a -t 10.0.0.100:80 -r 192.168.100.3 -b
  23. # add at least one Local-IP (LIP) for FNAT on LAN interface
  24. $ ./ipvsadm --add-laddr -z 192.168.100.200 -t 10.0.0.100:80 -F dpdk0
  26. # Check
  27. $  ./ipvsadm -Ln
  28. IP Virtual Server version 0.0.0 (size=0)
  29. Prot LocalAddress:Port Scheduler Flags
  30.   -> RemoteAddress:Port           Forward Weight ActiveConn InActConn
  31. TCP  10.0.0.100:80 rr
  32.   -> 192.168.100.2:80             FullNat 1      0          0
  33.   -> 192.168.100.3:80             FullNat 1      0          0
  • Server
  1. $ python -m SimpleHTTPServer 80
  • Client
  1. $ curl 10.0.0.100

问题分析

问题 1：hdslb/tools/keepalived/configure 没有执行权限。

  1. make[1]: Leaving directory '/root/hdslb/src'
  2. make[1]: Entering directory '/root/hdslb/tools'
  3. if [ ! -f keepalived/Makefile ]; then         cd keepalived &&         ./configure &&         cd -; fi
  4. /bin/sh: 3: ./configure: Permission denied
  5. make[1]: *** [Makefile:29: keepalived_conf] Error 126
  6. make[1]: Leaving directory '/root/hdslb/tools'
  7. make: *** [Makefile:33: all] Error 1
  9. # 解决
  10. $ chmod +x /root/hdslb/tools/keepalived/configure

问题 2：缺少配置文件

  1. Cause: ports in DPDK RTE (2) != ports in dpvs.conf(0)
  3. # 解决
  4. $ cp conf/hdslb.conf.sample /etc/hdslb.conf

问题 3：开发机 2MB hugepage size 太小

  1. Cause: Cannot init mbuf pool on socket 0
  3. # 解决：把 hugepagesize 配置为 1G
  4. # ref：https://stackoverflow.com/questions/51630926/cannot-create-mbuf-pool-with-dpdk

问题 4：缺少 rte_kni 模块

  1. Cause: add KNI port fail, exiting...
  3. # 解决
  4. $ insmod ${RTE_SDK}/build/kmod/rte_kni.ko

问题 5：开发机大页内存不够

  1. Kni: kni_add_dev: fail to set mac FA:27:00:00:07:AA for dpdk0.kni: Timer expired
  2. Kni: kni_add_dev: fail to set mac FA:27:00:00:00:E1 for dpdk1.kni: Timer expired
  3. IPSET: ipset_init: lcore 3: nothing to do.
  4. IPVS: dp_vs_conn_init: lcore 3: nothing to do.
  5. IPVS: fail to init synproxy: no memory
  6. Segmentation fault (core dumped)
  8. # 解决：扩容到 15G。

问题 6：开发机网卡不支持 HDSLB-DPVS 需要的 hardware offloads 功能。

  1. Kni: kni_add_dev: fail to set mac FA:27:00:00:0A:02 for dpdk0.kni: Timer expired
  2. Kni: kni_add_dev: fail to set mac FA:27:00:00:0B:F6 for dpdk1.kni: Timer expired
  3. Ethdev port_id=0 requested Rx offloads 0x62f doesn't match Rx offloads capabilities 0xa1d in rte_eth_dev_configure()
  4. NETIF: netif_port_start: fail to config dpdk0
  5. EAL: Error - exiting with code: 1
  6.   Cause: Start dpdk0 failed, skipping ...
  8. # 解决：修改 netif 模块，不启动不支持的 offloads 功能。
  9. static struct rte_eth_conf default_port_conf = {
  10.     .rxmode = {
  11. ......
  12.         .offloads = 0,
  13.         //.offloads = DEV_RX_OFFLOAD_CHECKSUM | DEV_RX_OFFLOAD_VLAN,
  14.     },
  15. ......
  16.     .txmode = {
  17. ......
  18.         .offloads = 0,
  19.         //.offloads = DEV_TX_OFFLOAD_IPV4_CKSUM | DEV_TX_OFFLOAD_UDP_CKSUM | DEV_TX_OFFLOAD_TCP_CKSUM | DEV_TX_OFFLOAD_MBUF_FAST_FREE,
  20.     },

NOTE：根据 DPDK 的文档，offloads mask 的每个 bit 都代表了特定的卸载功能。以下 0-15bit 对应的 Features：

  1. DEV_RX_OFFLOAD_VLAN_STRIP
  2. DEV_RX_OFFLOAD_IPV4_CKSUM
  3. DEV_RX_OFFLOAD_UDP_CKSUM
  4. DEV_RX_OFFLOAD_TCP_CKSUM
  5. DEV_RX_OFFLOAD_TCP_LRO
  6. DEV_RX_OFFLOAD_QINQ_STRIP
  7. DEV_RX_OFFLOAD_OUTER_IPV4_CKSUM
  8. DEV_RX_OFFLOAD_MACSEC_STRIP
  9. DEV_RX_OFFLOAD_VLAN_FILTER
  10. DEV_RX_OFFLOAD_VLAN_EXTEND
  11. DEV_RX_OFFLOAD_SCATTER
  12. DEV_RX_OFFLOAD_TIMESTAMP
  13. DEV_RX_OFFLOAD_SECURITY
  14. DEV_RX_OFFLOAD_KEEP_CRC
  15. DEV_RX_OFFLOAD_SCTP_CKSUM
  16. DEV_RX_OFFLOAD_OUTER_UDP_CKSUM

问题 7：开发机网络不支持 RSS 多队列。valid value: 0x0 表示当前网卡不支持任何 RSS 哈希函数。

  2. Kni: kni_add_dev: fail to set mac FA:27:00:00:0A:02 for dpdk0.kni: Timer expired
  3. Kni: kni_add_dev: fail to set mac FA:27:00:00:0B:F6 for dpdk1.kni: Timer expired
  4. Ethdev port_id=0 invalid rss_hf: 0x3afbc, valid value: 0x0
  5. NETIF: netif_port_start: fail to config dpdk0
  6. EAL: Error - exiting with code: 1
  7.   Cause: Start dpdk0 failed, skipping ...
  9. # 解决方式 1：使用支持 multi-queues 和 RSS hash 的网卡。
  10. # 解决方式 2：修改 netif 模块，不启动 multi-queues 和 RSS hash 功能。
  11. static struct rte_eth_conf default_port_conf = {
  12.     .rxmode = {
  13.         //.mq_mode        = ETH_MQ_RX_RSS,
  14.         .mq_mode        = ETH_MQ_RX_NONE,
  15. ......
  16.     },
  17.     .rx_adv_conf = {
  18.         .rss_conf = {
  19.             .rss_key = NULL,
  20.             //.rss_hf  = /*ETH_RSS_IP*/ ETH_RSS_TCP,
  21.             .rss_hf  = 0
  22.         },
  23.     },
  24. ......
  25. port->dev_conf.rx_adv_conf.rss_conf.rss_hf = 0;

问题 8：不支持多播地址配置

  1. Kni: kni_add_dev: fail to set mac FA:27:00:00:0A:02 for dpdk0.kni: Timer expired
  2. Kni: kni_add_dev: fail to set mac FA:27:00:00:0B:F6 for dpdk1.kni: Timer expired
  3. NETIF: multicast address add failed for device dpdk0
  4. EAL: Error - exiting with code: 1
  5.   Cause: Start dpdk0 failed, skipping ...
  7. # 解决：关闭多播功能
  8.     //ret = idev_add_mcast_init(port);
  9.     //if (ret != EDPVS_OK) {
  10.     //    RTE_LOG(WARNING, NETIF, "multicast address add failed for device %s\n", port->name);
  11.     //    return ret;
  12.     //}

问题 9：LB connect pool 内存太小，程序崩溃退出。

  1. $ ./ipvsadm -A -t 10.0.0.100:80 -s rr
  2. [sockopt_msg_recv] socket msg header recv error -- 0/88 recieved  
  4. IPVS: lb_conn_hash_table_init: lcore 0: create conn_hash_tbl failed. Requested size: 1073741824 bytes. LB_CONN_CACHE_LINES_DEF: 1, LB_CONN_TBL_SIZE: 16777216
  6. # 解决方式 1：继续加大页内存到实际需要的大小。
  7. # 解决方式 2：
  8. #	1）：释放一个 lcore 的大页内存
  9. #	2）：调小 DPVS_CONN_POOL_SIZE_DEF 从 2097152 减少到 1048576
  10. //#define DPVS_CONN_POOL_SIZE_DEF     2097152
  11. #define DPVS_CONN_POOL_SIZE_DEF     1048576

问题 10：编译器版本低缺少编译指令。

  1. error: inlining failed in call to always_inline   "'_mm256_cmpeq_epi64_mask':"  : target specific option mismatch
  3. # 解决：
  4. # 1）升级 GCC 版本到 9.4.0
  5. # 2）确定 CPU 支持指令集。ref：https://www.intel.com/content/www/us/en/docs/intrinsics-guide/index.html#expand=3828,301,2553&text=_mm256_cmpeq_epi64_mask&ig_expand=872

在这里插入图片描述

最后

值得注意的是上述问题记录是笔者在低配开发机中调试程序时所遇见的问题，实际上在一个资源充足的物理测试机上通常不会出现由于资源不足导致的大部分问题。

最后，本篇主要介绍了 Intel HDSLB 的基本运行原理和部署配置的方式，希望能够帮助读者们顺利的把 HDSLB-DPVS 项目 “玩” 起来。后面，我们将再次开发机环境的基础之上，通过《Intel HDSLB 高性能四层负载均衡器 — 高级特性和代码剖析》，继续深入挖掘 HDSLB-DPVS 的高级特性、软件架构分析和代码解读。敬请继续期待。：）

原文链接：https://www.cnblogs.com/jmilkfan-fanguiju/p/18214369

 友情链接：直通硅谷 　点职佳 　北美留学生论坛

编程经验热门文章

  • Prometheus监控之SNMP Exporter介绍和数据展现
  • Intel 82599网卡异常挂死原因
  • 腾讯防水墙的分析识别与破解
  • 桌面应用自动化WinAppDriver入门
  • 文档在线预览（三）使用js前端实现word、excel、pdf、ppt 在线预览
  • 「教程」如何下载AcFun网站上的视频、A站视频下载工具
  • 基于Hi3559AV100的SVP(NNIE)开发整体流程
  • GBDT(梯度提升树)scikit-klearn中的参数说明及简汇
  • antd之RangePicker设置默认值方式
  • 决胜经典算法之插入排序

    • 编程经验推荐文章

  • wifi基础(一)：无线电波与WIFI信号干扰、衰减
  • 甲方扔给两个存在包名与类名均相同的Jar包，要在工程中同时使用怎么办？
  • 《花100块做个摸鱼小网站! 》第三篇—热搜表结构设计和热搜数据存储
  • Fluent Editor：一个基于 Quill 2.0 的富文本编辑器，功能强大、开箱即用！
  • 方法的三种调用形式
  • 《花100块做个摸鱼小网站! 》第二篇—后端应用搭建和完成第一个爬虫
  • 《熬夜整理》保姆级系列教程-玩转Wireshark抓包神器教程(4)-再识Wireshark - 北京-宏哥
  • 《软件性能测试分析与调优实践之路》(第2版) 读书笔记（二）总体介绍（下）-真正从性能分析与调优来看性能测试
  • 架构知识点（三）
  • 《花100块做个摸鱼小网站! 》第一篇—买云服务器和初始化环境

    • 本站QQ群：前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

    W3xue 的所有内容仅供测试，对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
    关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接（目前9元/月）请联系QQ：27243702 沸活量
    皖ICP备17017327号-2　皖公网安备34020702000426号