Skip to main content

高并发场景优化

概述​

本文介绍如何针对高并发场景对 Nginx Ingress 进行配置调优。

调大 CLB 规格和带宽​

高并发场景的流量吞吐需求较高，对 CLB 的转发性能要求也较高，可以在 CLB 控制台 手动创建一个 CLB，实例规格选择性能容量型，型号根据自己需求来选，另外也将带宽上限调高（注意 VPC 要与 TKE 集群一致）。

CLB 创建好后，用 自定义负载均衡器(CLB) 中的方法让 nginx ingress 复用这个 自定义 CLB 负载均衡器 作为流量入口。

调优内核参数与 Nginx 配置​

针对高并发场景调优内核参数和 nginx 自身的配置，values.yaml 配置方法:

controller:
  extraInitContainers:
    - name: sysctl
      image: busybox
      imagePullPolicy: IfNotPresent
      securityContext:
        privileged: true
      command:
        - sh
        - -c
        - |
          sysctl -w net.core.somaxconn=65535 # 调大链接队列，防止队列溢出
          sysctl -w net.ipv4.ip_local_port_range="1024 65535" # 扩大源端口范围，防止端口耗尽
          sysctl -w net.ipv4.tcp_tw_reuse=1 # TIME_WAIT 复用，避免端口耗尽后无法新建连接
          sysctl -w fs.file-max=1048576 # 调大文件句柄数，防止连接过多导致文件句柄耗尽
      # InitContainers 限制资源配额
      resources:
        requests:
          cpu: 0.1
          memory: 100Mi
        limits:
          cpu: 0.1
          memory: 100Mi
  config:
    # nginx 与 client 保持的一个长连接能处理的请求数量，默认100，高并发场景建议调高，但过高也可能导致 nginx ingress 扩容后负载不均。
    # 参考: https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/configmap/#keep-alive-requests
    keep-alive-requests: "1000"
    # nginx 与 upstream 保持长连接的最大空闲连接数 (不是最大连接数)，默认 320，在高并发下场景下调大，避免频繁建联导致 TIME_WAIT 飙升。
    # 参考: https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/configmap/#upstream-keepalive-connections
    upstream-keepalive-connections: "2000"
    # 每个 worker 进程可以打开的最大连接数，默认 16384。
    # 参考: https://kubernetes.github.io/ingress-nginx/user-guide/nginx-configuration/configmap/#max-worker-connections
    max-worker-connections: "65536"

兼容低版本 TLSv1.1 TLSv1（可选）​

在社区版的 Kubernetes Ingress NGINX 控制器中，TLS 的最小版本要求通常是 TLS 1.2。这是因为 TLS 1.0 和 TLS 1.1 已被认为不够安全，许多现代浏览器和服务已经停止支持它们。

如果有早期应用迁移并使用了 K8S 使用 ingress 暴露，需要开启以下配置兼容低版本 TLS

controller:
  config:
    ssl-ciphers: ECDHE-ECDSA-AES128-GCM-SHA256:ECDHE-RSA-AES128-GCM-SHA256:ECDHE-ECDSA-AES256-GCM-SHA384:ECDHE-RSA-AES256-GCM-SHA384:ECDHE-ECDSA-CHACHA20-POLY1305:ECDHE-RSA-CHACHA20-POLY1305:DHE-RSA-AES128-GCM-SHA256:DHE-RSA-AES256-GCM-SHA384:DHE-RSA-CHACHA20-POLY1305:ECDHE-ECDSA-AES128-SHA256:ECDHE-RSA-AES128-SHA256:ECDHE-ECDSA-AES128-SHA:ECDHE-RSA-AES128-SHA:ECDHE-ECDSA-AES256-SHA384:ECDHE-RSA-AES256-SHA384:ECDHE-ECDSA-AES256-SHA:ECDHE-RSA-AES256-SHA:DHE-RSA-AES128-SHA256:DHE-RSA-AES256-SHA256:AES128-GCM-SHA256:AES256-GCM-SHA384:AES128-SHA256:AES256-SHA256:AES128-SHA:AES256-SHA:DES-CBC3-SHA
    ssl-protocols: TLSv1.3 TLSv1.2 TLSv1.1 TLSv1

其他通用参数优化​

开启以下配置，能够满足绝大部分业务场景。

controller:
  config:
    proxy-body-size: 100m                       # 限制客户端请求体的最大大小，用于附件上传
    proxy-connect-timeout: "60"                 # 同时调大与后端服务建立连接的超时时间
    proxy-read-timeout: "60"
    proxy-send-timeout: "60"
    compute-full-forwarded-for: "true"          # 指示是否计算完整的 X-Forwarded-For 头部。如果为 true，将包含所有代理的 IP 地址；如果为 false，只会包含最近的代理 IP
    forwarded-for-header: "X-Forwarded-For"     # 指定用于获取原始客户端 IP 地址的头部名称。通常使用 X-Forwarded-For 头部
    use-forwarded-headers: "true"               # 指示是否使用 X-Forwarded-* 头部的信息来获取原始客户端的信息。如果为 true，将使用这些头部来确定客户端的真实 IP 地址
    large-client-header-buffers: "4 64k"        # 设置用于处理大请求头的缓冲区数量和大小。这里的配置表示使用 4 个 8KB 的缓冲区来处理较大的客户端请求头。
    allow-snippet-annotations: "true"           # 指示是否允许使用注释中的片段配置。如果为 true，您可以在 Ingress 资源中使用自定义注释来添加 NGINX 配置片段。

参考文档​