Prometheus-AlertManager警告管理搭建与配置

AlertManager

AlertManager处理由客户端应用程序(如Prometheus服务器)发送的警报。
它负责重复数据消除、分组,并将它们路由到正确的接收器集成(如电子邮件、PagerDuty或OpsGenie)。
它还负责消除和抑制警报。

通过翻译官方文档可以了解到,AlertManager是负责为Prometheus(本身不会发送警报)发送警报的工具.
AlertManager不是简单发送警报,可以消除重复警报,分组,抑制警报功能.并支持多接收器.

Prometheus->触发定义的警报规则->AlertManager->发送警报到指定通知渠道.

为了能让Prometheus发送警报,我们需要:

  1. 搭建AlertManager服务.
  2. 定义AlertManager通知配置.
  3. 定义Prometheus警报规则并引入.
  4. 测试警报.
  5. 定义通知模板.

定义AlertManager通知配置

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
  smtp_smarthost: 'smtp.163.com:25'               # 邮箱smtp服务器代理
smtp_from: 'shitu-0071@163.com' # 发送邮箱名称
resolve_timeout: 5m # 处理超时时间,默认为5min
smtp_auth_username: 'shitu-0071@163.com' # 邮箱帐户
smtp_auth_password: '******' # 邮箱授权码(注意是授权码,不知道自己查一下)
wechat_api_url: 'https://qyapi.weixin.qq.com/cgi-bin/' # 企业微信地址

# 定义模板信心
templates:
- 'template/*.tmpl'

# 定义路由树信息
route:
group_by: ['alertname', 'cluster', 'service'] # 报警分组依据,设置后会按照设定值分组,例如instance,alertname等
# 同标签警告会在作为一组警报发送
group_wait: 10s # 组内等待时间,触发阈值后,XXs后发送本组警报
group_interval: 10s # 每个组之前间隔时间(group_by设定的值划分的组)
repeat_interval: 1m # 重复发送警报的周期
(对于email配置中,此项不可以设置过低,否则将会由于邮件发送太多频繁,被smtp服务器拒绝)
receiver: 'email' # 发送警报的接收者的名称
# 以下receivers name的名称
routes:
- match: # 普通匹配
serverity: critical # 警告级别critical
receiver: email # 通过邮件发送
- match_re: # 正则匹配
severity: ^(warning)$ # 匹配警告级别为warning的
receiver: wechat # 通过微信发送告警
- receiver: along # 定义接收者
match: # 匹配
severity: test # 等级为test


# 定义警报接收者信息
receivers:
- name: 'email' # 警报
email_configs: # 邮箱配置
- to: '******@163.com' # 接收警报的email配置
html: '{{ template "test.html" . }}' # 设定邮箱的内容模板
headers: { Subject: "[WARN] 报警邮件"} # 接收邮件的标题
webhook_configs: # webhook配置
- url: 'http://127.0.0.1:5001'
send_resolved: true

- name: 'wechat'
wechat_configs: # 企业微信报警配置
- send_resolved: true
to_party: '1' # 接收组的id
agent_id: '1000002' # (企业微信-->自定应用-->AgentId)
corp_id: '******' # 企业信息(我的企业-->CorpId[在底部])
api_secret: '******' # 企业微信(企业微信-->自定应用-->Secret)
message: '{{ template "test_wechat.html" . }}' # 发送消息模板的设定

# 一个inhibition规则是在与另一组匹配器匹配的警报存在的条件下,
# 使匹配一组匹配器的警报失效的规则。两个警报必须具有一组相同的标签。
inhibit_rules:
- source_match:
severity: 'critical'
target_match:
severity: 'critical'
equal: ['instance']
# 已经发送的告警通知匹配到target_match和target_match_re规则,
# 再有新的告警规则如果满足source_match
# 或者定义的匹配规则,并且已发送的告警与新产生的告警中equal定义的标签完全相同,
# 则启动抑制机制,新的告警不会发送。

以下是官方文档配置翻译的文档.供参考具体详细的配置介绍.不细看先略过到下个步骤.


路由块定义路由树中的节点及其子节点。如果未设置,则其可选配置参数将从其父节点继承。
每个警报都在配置的顶级路由处进入路由树,该路由树必须与所有警报匹配(即没有任何配置的匹配器)。
然后它遍历子节点。如果continue设置为false,则在第一个匹配的子级之后停止。
如果匹配节点上的continue为true,则警报将继续与后续同级节点匹配。
如果警报与节点的任何子节点不匹配(没有匹配的子节点,或者不存在),则基于当前节点的配置参数来处理警报。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
[ receiver: <string> ]
# 用于将传入警报分组在一起的标签。
# 例如,针对cluster = A和alertname = LatencyHigh的多个警报将被分为一个组。
# 要按所有可能的标签进行汇总,请使用特殊值'...'作为唯一的标签名称,例如:group_by:['...']
# 这样可以有效地完全禁用聚合,并按原样传递所有警报。
# 除非您的警报量非常低或上游通知系统执行自己的分组,否则这不太可能是您想要的。
[ group_by: '[' <labelname>, ... ']' ]

# 警报是否应继续匹配后续的同级节点
[ continue: <boolean> | default = false ]

# 警报必须满足的一组相等匹配器才能匹配节点。
match:
[ <labelname>: <labelvalue>, ... ]

# 警报必须满足以匹配节点的一组正则表达式匹配器。
match_re:
[ <labelname>: <regex>, ... ]

# 最初等待为一组警报发送通知的时间。
# 允许等待禁止警报到达或为同一组收集更多初始警报。 (通常〜0秒到几分钟。)
[ group_wait: <duration> | default = 30s ]

# 发送有关新警报的通知之前要等待的时间,
# 该通知将添加到已为其发送了初始通知的一组警报中。 (通常〜5m或更多。)
[ group_interval: <duration> | default = 5m ]

# 如果已成功发送警报,则等待多长时间才能再次发送通知。 (通常〜3h或更长时间)。
[ repeat_interval: <duration> | default = 4h ]

# 零个或多个子路由。
routes:
[ - <route> ... ]

<inhibit_rule>
当与另一组匹配器匹配的警报(源)存在时,禁止规则静默匹配匹配器集合的警报(目标)。
对于相等列表中的标签名称,目标和源警报必须具有相同的标签值。
从语义上讲,缺失的标签和空值的标签是一样的。
因此,如果源警报和目标警报中均缺少equal中列出的所有标签名称,则将应用抑制规则。
为了防止警报抑制自身,与规则的目标端和源端都匹配的警报不能被相同的警报(包括自身)抑制。
但是,我们建议选择目标和源匹配器时,警报不会同时匹配双方。这很容易推理,也不会引发这种特殊情况。

1
2
3
4
5
6
7
8
9
10
11
12
13
14
# 必须在警报中完成的匹配项才能被禁用
target_match:
[ <labelname>: <labelvalue>, ... ]
target_match_re:
[ <labelname>: <regex>, ... ]

# 匹配器必须具有一个或多个警报才能使抑制生效
source_match:
[ <labelname>: <labelvalue>, ... ]
source_match_re:
[ <labelname>: <regex>, ... ]

# 必须在源警报和目标警报中具有相等值的标签才能使抑制生效
[ equal: '[' <labelname>, ... ']' ]
1
2
3
4
5
6
7
8
9
10
# 接收者的唯一名称
name: <string>

# 多个通知集成的配置(这里只列出三个其他请看官网)
email_configs:
[ - <email_config>, ... ]
webhook_configs:
[ - <webhook_config>, ... ]
wechat_configs:
[ - <wechat_config>, ... ]

<email_config>

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
# 是否通知已解决的警报
[ send_resolved: <boolean> | default = false ]

# 要向其发送通知的电子邮件地址

to: <tmpl_string>

# 发件人地址

[ from: <tmpl_string> | default = global.smtp_from ]

# 发送电子邮件的SMTP主机

[ smarthost: <string> | default = global.smtp_smarthost ]

# 要标识到SMTP服务器的主机名

[ hello: <string> | default = global.smtp_hello ]

# SMTP身份验证信息.

[ auth_username: <string> | default = global.smtp_auth_username ]
[ auth_password: <secret> | default = global.smtp_auth_password ]
[ auth_secret: <secret> | default = global.smtp_auth_secret ]
[ auth_identity: <string> | default = global.smtp_auth_identity ]

# SMTP TLS要求

[ require_tls: <bool> | default = global.smtp_require_tls ]

# TLS配置

tls_config:
[ <tls_config> ]

# 电子邮件通知的HTML正文

[ html: <tmpl_string> | default = '{{ template "email.default.html" . }}' ]

# 电子邮件通知的正文

[ text: <tmpl_string> ]

# 更多标题电子邮件标题键/值对,重写通知实现以前设置的任何头

# 先前由通知实现设置的。

[ headers: { <string>: <tmpl_string>, ... } ]

<webhook_config>

1
2
3
4
5
6
7
8
# 是否通知已解决的警报
[ send_resolved: <boolean> | default = true ]

# 要向其发送HTTP POST请求的终结点
url: <string>

# http客户端的配置
[ http_config: <http_config> | default = global.http_config ]

微信json 格式

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
{
"version": "4",
"groupKey": <string>, // 识别警报组的密钥(例如重复数据消除)
"status": "<resolved|firing>",
"receiver": <string>,
"groupLabels": <object>,
"commonLabels": <object>,
"commonAnnotations": <object>,
"externalURL": <string>, // 指向AlertManager的反向链接
"alerts": [
{
"status": "<resolved|firing>",
"labels": <object>,
"annotations": <object>,
"startsAt": "<rfc3339>",
"endsAt": "<rfc3339>",
"generatorURL": <string> // 标识导致警报的实体
},
...
]
}
<wechat_config>
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
# 是否通知已解决的警报
[ send_resolved: <boolean> | default = false ]

# 与微信API通信时要使用的API密钥
[ api_secret: <secret> | default = global.wechat_api_secret ]

# 微信api网址
[ api_url: <string> | default = global.wechat_api_url ]

# 用于身份验证的公司ID
[ corp_id: <string> | default = global.wechat_api_corp_id ]

# 微信API定义的API请求数据
[ message: <tmpl_string> | default = '{{ template "wechat.default.message" . }}' ]
[ agent_id: <string> | default = '{{ template "wechat.default.agent_id" . }}' ]
[ to_user: <string> | default = '{{ template "wechat.default.to_user" . }}' ]
[ to_party: <string> | default = '{{ template "wechat.default.to_party" . }}' ]
[ to_tag: <string> | default = '{{ template "wechat.default.to_tag" . }}' ]

搭建AlertManager服务

部署AlertManager可以通过官网https://prometheus.io/download/下载二进制文件.
这里演示docker部署AlertManager服务.其他方式请参考官网.

docker部署前,需要先完成配置文件的工作.

我在/home/along/下创建了一个配置文件 touch alertmanager.yml
之后编辑 vi alertmanager.yml,具体看上文的配置介绍.

启动容器:

1
2
3
docker run -d -p 9093:9093 --name alertmanagter
-v /home/along/alertmanager.yml:/etc/alertmanager/alertmanager.yml
quay.io/prometheus/alertmanager

如果加载模板的话需要挂在一下模板目录(模板在下面有介绍):

1
2
3
4
docker run -d -p 9093:9093 --name alert9093
-v /home/along/alertmanager/alertmanager.yml:/etc/alertmanager/alertmanager.yml
-v /home/along/alertmanager/template:/alertmanager/template
quay.io/prometheus/alertmanager

服务端口9093,挂在刚才设定的配置文件.

访问IP:9093 可以查看AlertManager的web界面(类似prometheus的web界面).

定义Prometheus警报规则并引入配置

配置警报规则文件

警报规则文件顾名思义,你想监控的指标何时需要警报.
例如设备温度超过多少要警告.
创建alert.yml,touch alert.yml

1
2
3
4
5
6
7
8
9
10
groups:
- name: metricsUp # 定义这组告警的组名
rules:
- alert: 监测对象挂了 # 警报名 可理解为警告的标题
expr: up{instance="192.168.23.11:9090"} == 0 # 判断某值的规则
for: 5m # 上面规则持续5分钟为0进行告警,5分钟内触发是pending状态
labels: # 定义警报标签
severity: waring # 定义警报等级为 waring
annotations: # 备注描述
summary: "设备: {{ $labels.instance }} 已断开5分钟" # 警告中呈现的具体信息可以写在这里

Prometheus引入配置

警报规则是Prometheus引入的文件.
Prometheus引入文件的方式:

1
2
rule_files:
- "/usr/local/prometheus/alert.yml" # 引入定义的警报规则

测试警报

我们上面配置好之后,需要各服务已经读取到相关配置文件了之后开始测试.
上面的规则是监测某个监控节点断开,手动断开一个节点.然后5分钟之后观察是否得到警报.

当由警报时收到的邮件为:

访问AlertManager页面也可以看到告警信息:

这里图例有些是演示用,与其他可能不存在关系.(不是同时截图的业务,图片仅供参考)

静默操作演示

如果有些警报是我们调试的,例如我这里设置值偏低来演示ping值警报,如果我们测时候不想看到警报,可以通过静默来不让他总是发送警报.

之后点击create 就可以创建此警报的静默操作.

也可以通过正则,警报组名,实例等来静默各种警报.

定义通知模板

默认模板我们看到了,他是默认的一个告警模板,在我们测试时候可以使用,如果面向用户使用者似乎这个模板不太友好.
而且在面对多数据展示时,此模板也显得不是很清晰.

通过定义了模板,在触发不同警报可以通过AlertManager中,receivers选项来选择模板.

1
2
3
4
5
6
7
8
templates:
- 'template/*.tmpl' # 定义模板中心
receivers:
- name: 'email' # 警报
email_configs: # 邮箱配置
- to: '******@163.com' # 接收警报的email配置
html: '{{ template "test.html" . }}' # 设定邮箱的内容模板
headers: { Subject: "[WARN] 报警邮件"} # 接收邮件的标题

这段配置中,可以看到警报通过test.html作为模板的.他的位置在上面的定义中可以看到是 template/test.html (如果模板定制有错误,警报可能为空板,不能正常显示内容)
现在来配置这个test.html

在 /template/ 下创建 touch test.html
模板基于Go的模板系统,详情点击这里
如果不想深入连接可以结合默认模板模仿一下语法,默认模板点击这里

1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
{{ define "email.demo.html" }}
<pre>
<table border="1" cellspacing="0">
<tr>
<td>报警名</td>
<td>设备</td>
<td>发现时间</td>
<td>详情</td>
</tr>
{{ range $i, $alert := .Alerts }}
<tr>
<td>{{ index $alert.Labels "alertname" }}</td>
<td>{{ $alert.Labels.instance }}</td>
<td>{{ $alert.StartsAt.Format "2006-01-02 15:04:05" }}</td>
<td>{{ $alert.Annotations.summary }}</td>
</tr>
{{ end }}
</table>
</pre>
{{ end }}

模板保存后,测试邮件接收情况:

模板时区问题

Prometheus中所有时间都是UTC时间,为了便于我们展示友好时间(东八区),我们需要计算一下时间.
修改模板时间:

1
<td>{{ ($alert.StartsAt.Add 28800e9).Format "2006-01-02 15:04:05" }}</td>

参考
ishenping
songjiayang
prometheus.io

请我吃辣条吧?!