集成 CLS 日志服务

本文介绍 Nginx Ingress Controller 的 accesslog 的可视化。

采集 ingress-nginx 的 accesslog 到到腾讯云的 CLS日志服务，并结合 CLS 的仪表盘进行分析日志。

准备条件

容器服务控制台开启日志采集：

设置 Nginx 日志格式

在 values.yaml 中配一下 nginx 访问日志的格式，也设置下时区以便时间戳能展示当地时间（增强可读性）：

controller:
  config:
    # nginx 日志落盘到日志文件，避免高并发下占用过多 CPU
    access-log-path: /var/log/nginx/nginx_access.log
    error-log-path: /var/log/nginx/nginx_error.log
    
    # 自定义日志格式，在 $req_id 之后的是在生产环境中的经验积累增加的字段
    log-format-upstream: 
      $remote_addr - $remote_user [$time_iso8601] $msec "$request"
      $status $body_bytes_sent "$http_referer" "$http_user_agent" $request_length $request_time
      [$proxy_upstream_name] [$proxy_alternative_upstream_name] [$upstream_addr] [$upstream_response_length]
      [$upstream_response_time] [$upstream_status] $req_id $namespace $ingress_name
      $service_name $service_port $http_x_forwarded_for $host
  extraEnvs:
    - name: TZ
      value: Asia/Shanghai

其中末尾处的这几个字段，是我另外加上的，目的是为了在 Nginx 访问日志中，能够定位来源的域名、Ingress 名称： $namespace $ingress_name $service_name $service_port $http_x_forwarded_for $host

创建 CLS 日志主题

在 CLS 日志服务控制台，创建自定义日志集 “Nginx访问日志”

再创建日志集，获取其 id

使用 CRD 进行日志采集配置

这里使用 YAML 编排进行配置：crd-logconfig.yaml

apiVersion: cls.cloud.tencent.com/v1
kind: LogConfig
metadata:
  name: ingress-nginx-controller # 日志采集规则名称，如果是多个 nginx ingress 实例，这里不能冲突
spec:
  clsDetail:
    topicId: "xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx" # 替换日志主题的 ID
    logType: fullregex_log
    extractRule:
      beginningRegex: (\S+)\s-\s(\S+)\s\[(\S+)\]\s(\S+)\s\"(\w+)\s(\S+)\s([^\"]+)\"\s(\S+)\s(\S+)\s\"([^\"]*)\"\s\"([^\"]*)\"\s(\S+)\s(\S+)\s\[([^\]]*)\]\s\[([^\]]*)\]\s\[([^\]]*)\]\s\[([^\]]*)\]\s\[([^\]]*)\]\s\[([^\]]*)\]\s(\S+)\s(\S+)\s(\S+)\s(\S+)\s(\S+)\s(\S+)\s(\S+)
      logRegex: (\S+)\s-\s(\S+)\s\[(\S+)\]\s(\S+)\s\"(\w+)\s(\S+)\s([^\"]+)\"\s(\S+)\s(\S+)\s\"([^\"]*)\"\s\"([^\"]*)\"\s(\S+)\s(\S+)\s\[([^\]]*)\]\s\[([^\]]*)\]\s\[([^\]]*)\]\s\[([^\]]*)\]\s\[([^\]]*)\]\s\[([^\]]*)\]\s(\S+)\s(\S+)\s(\S+)\s(\S+)\s(\S+)\s(\S+)\s(\S+)
      keys:
        - remote_addr
        - remote_user
        - time_local
        - timestamp
        - method
        - url
        - version
        - status
        - body_bytes_sent
        - http_referer
        - http_user_agent
        - request_length
        - request_time
        - proxy_upstream_name
        - proxy_alternative_upstream_name
        - upstream_addr
        - upstream_response_length
        - upstream_response_time
        - upstream_status
        - req_id
        - namespace
        - ingress_name
        - service_name
        - service_port
        - http_x_forwarded_for
        - host
  inputDetail:
    type: container_file
    containerFile:
      namespace: ingress-nginx # nginx ingress 所在命名空间
      workload:
        kind: deployment
        name: ingress-nginx-controller # 选中 nginx ingress controller 的 deployment 名称
      container: controller
      logPath: /var/log/nginx
      filePattern: nginx_access.log