经验首页 前端设计 程序设计 Java相关 移动开发 数据库/运维 软件/图像 大数据/云计算 其他经验
当前位置:技术经验 » 数据库/运维 » Kubernetes » 查看文章
Grafana 系列文章(十三):如何用 Loki 收集查看 Kubernetes Events
来源:cnblogs  作者:东风微鸣  时间:2023/2/10 9:55:56  对本文有异议

前情提要

  1. IoT 边缘集群基于 Kubernetes Events 的告警通知实现
  2. IoT 边缘集群基于 Kubernetes Events 的告警通知实现(二):进一步配置

概述

在分析 K8S 集群问题时,Kubernetes Events 是超级有用的。

Kubernetes Events 可以被当做是日志来处理,格式也和日志很像,都包括:

  1. 时间
  2. 组件
  3. 原因
  4. ...

但是,Kubernetes 默认只持久化了一个小时的事件,以减少 etcd 的负载。所以,考虑利用 Loki 存储和查询这些 Events。

实现

看过 我之前的文章 的可以知道,kubernetes-event-exporter 可以实现对 Kubernetes Events 的收集。

那我们就利用 kubernetes-event-exporter, 通过最简单的 stdout 方式来输出 json 格式的 event.

另外,再利用 Promtail 的 管道配置,将 NameSpace 作为附加标签添加到导出到 Loki 的日志中。

kubernetes-event-exporter 配置

如下:

  1. logLevel: error
  2. logFormat: json
  3. trottlePeriod: 5
  4. route:
  5. routes:
  6. - match:
  7. - receiver: "dump"
  8. receivers:
  9. - name: "dump"
  10. stdout: { }

Promtail 配置

如下:

  1. ...
  2. scrape_configs:
  3. - job_name: kubernetes-pods-app
  4. pipeline_stages:
  5. - cri: {}
  6. - match:
  7. selector: '{app="event-exporter"}'
  8. stages:
  9. - json:
  10. expressions:
  11. namespace: involvedObject.namespace
  12. - labels:
  13. namespace: ""
  14. ...

上面的配置会从 Events 的 JSONPath involvedObject.namespace 中获取 NameSpace ,并将其作为一个标签 - namespace 添加。

至此,我可以只查看特定 NameSpace(如emqx) 的 Events, 如下图:

来自 emqx NameSpace 的 Events

??????

??Notes:

我的event-exporter 是部署在 monitoring NS 中的

??疑难解答

刚开始做的时候,发现的日志输出不对,格式实例如下:

错误的日志格式

  1. 2022-04-20T22:26:19.526448119+08:00 stderr F I0420 {...json...}

这是因为我用的 container runtime 是 CRI, 而非 Docker.

但是默认安装 Loki 的时候,配置文件里却用的是 docker 的 stage parser, 导致日志格式异常。初始的配置如下:

  1. ...
  2. - job_name: kubernetes-pods-name
  3. pipeline_stages:
  4. - docker: {}
  5. ...

Docker 的日志格式如下:

  1. `{"log":"level=info ts=2019-04-30T02:12:41.844179Z caller=filetargetmanager.go:180 msg=\"Adding target\"\n","stream":"stderr","time":"2019-04-30T02:12:41.8443515Z"}`

CRI 的日志格式如下:

  1. 2019-01-01T01:00:00.000000001Z stderr P some log message

所以如上文所示,要根据自己的 container runtime 选择合适的 stage parser.

对于 CRI, cri: {} 其实就是如下细节的一个"语法糖":

  1. - regex:
  2. expression: "^(?s)(?P<time>\\S+?) (?P<stream>stdout|stderr) (?P<flags>\\S+?) (?P<content>.*)$"
  3. - labels:
  4. stream:
  5. - timestamp:
  6. source: time
  7. format: RFC3339Nano
  8. - output:
  9. source: content

???参考文档

Grafana 系列文章

Grafana 系列文章

三人行, 必有我师; 知识共享, 天下为公. 本文由东风微鸣技术博客 EWhisper.cn 编写.

原文链接:https://www.cnblogs.com/east4ming/p/17107915.html

 友情链接:直通硅谷  点职佳  北美留学生论坛

本站QQ群:前端 618073944 | Java 606181507 | Python 626812652 | C/C++ 612253063 | 微信 634508462 | 苹果 692586424 | C#/.net 182808419 | PHP 305140648 | 运维 608723728

W3xue 的所有内容仅供测试,对任何法律问题及风险不承担任何责任。通过使用本站内容随之而来的风险与本站无关。
关于我们  |  意见建议  |  捐助我们  |  报错有奖  |  广告合作、友情链接(目前9元/月)请联系QQ:27243702 沸活量
皖ICP备17017327号-2 皖公网安备34020702000426号