站点图标 Liao's blog

Docker搭建Prometheus+grafana监控系统

大白

一、Prometheus简介

2022年5月17日更新

1、简介

Prometheus是由SoundCloud开发的开源监控报警系统和时序列数据库(TSDB)。
Prometheus使用Go语言开发，是Google BorgMon监控系统的开源版本。 2016年由Google发起Linux基金会旗下的原生云基金会(Cloud Native Computing Foundation), 将Prometheus纳入其下第二大开源项目。 Prometheus目前在开源社区相当活跃。
Prometheus和Heapster(Heapster是K8S的一个子项目，用于获取集群的性能数据。)相比功能更完善、更全面。Prometheus性能也足够支撑上万台规模的集群。

2、基本原理

Prometheus的基本原理是通过HTTP协议周期性抓取被监控组件的状态，任意组件只要提供对应的HTTP接口就可以接入监控。不需要任何SDK或者其他的集成过程。
这样做非常适合做虚拟化环境监控系统，比如VM、Docker、Kubernetes等。输出被监控组件信息的HTTP接口被叫做exporter。目前互联网公司常用的组件大部分
都有exporter可以直接使用，比如Varnish、Haproxy、Nginx、MySQL、Linux系统信息(包括磁盘、内存、CPU、网络等等)。

3、架构涉及

组件

工作流

  1. Prometheus server定期从配置好的jobs或者exporters中拉取metrics，或者接收来自 Pushgateway发送过来的metrics，或者从其它的Prometheus server中拉metrics。
  2. Prometheus server在本地存储收集到的metrics，并运行定义好的alerts.rules，记录新的时间序列或者向Alert manager推送警报。
  3. Alertmanager根据配置文件，对接收到的警报进行处理，发出告警。
  4. 在图形界面中，可视化采集数据。

常用的exporter整理

二、环境准备

  1. docker环境3台 server: 192.168.0.219 client: 192.168.0.89/192.168.0.199
  2. 监控服务器 需要安装4个服务
    Prometheus Server(普罗米修斯监控主服务器 )
    Node Exporter (收集Host硬件和操作系统信息)
    cAdvisor (负责收集Host上运行的容器信息)
    Grafana (展示普罗米修斯监控界面）
  3. 被监控的只需安装2个
    Node Exporter (收集Host硬件和操作系统信息)
    cAdvisor (负责收集Host上运行的容器信息)

三、部署node_exporter（server、client都安装）

docker pull prom/node-exporter #拉取最新镜像
docker run --name=node-exporter -p 9100:9100 -itd prom/node-exporter #启动exporter

访问节点信息
– server http://192.168.0.219:9100

四、安装prometheus server（server安装）

mkdir -p /data/docker/prometheus/{server,client}  #根据自身服务器情况编写路径
touch /data/docker/prometheus/server/rules.yml
编辑prometheus.yml文件，添加客户端信息

vim /data/docker/prometheus/server/prometheus.yml

global:
  scrape_interval:     60s
  evaluation_interval: 60s

scrape_configs:
  - job_name: prometheus
    static_configs:
      - targets: ['localhost:9090']
        labels:
          instance: prometheus

  - job_name: 主节点
    static_configs:
      - targets: ['192.168.0.219:9100']
        labels:
          instance: 192.168.0.219

  - job_name: 副节点
    static_configs:
      - targets: ['192.168.0.89:9100']
        labels:
          instance: 192.168.0.89

  - job_name: 副节点
    static_configs:
      - targets: ['192.168.0.199:9100']
        labels:
          instance: 192.168.0.199

docker启动prometheus：

docker pull prom/prometheus

docker run --name prometheus -p 9090:9090 --restart=always \
-v /data/docker/prometheus/server/prometheus.yml:/etc/prometheus/prometheus.yml \
-v /data/docker/prometheus/server/rules.yml:/etc/prometheus/rules.yml \
-itd prom/prometheus \
--config.file=/etc/prometheus/prometheus.yml \
--web.enable-lifecycle

注：启动时加上
--web.enable-lifecycle： 启用远程热加载配置文件
--config.file：启动时加载配置文件

浏览器访问prometheus：http://192.168.0.219:9090

五、安装Grafana展示（server安装）

Grafana是用于可视化大型测量数据的开源程序，它提供了强大和优雅的方式去创建、共享、浏览数据。

1、先启动测试grafana

docker pull grafana/grafana
docker run --name=grafana -p 3000:3000 -itd grafana/grafana
#将配置文件复制到宿主机：
修改配置文件grafana.ini，配置smtp邮件报警信息（报警会用到）
docker cp grafana:/etc/grafana/grafana.ini /data/docker/prometheus/grafana/
docker rm -f grafana
#防止grafana生成文件权限受阻，全开放
chmod 777 /data/docker/prometheus/*

2、正式启动grafana

docker run -p 3000:3000 --name grafana  --restart=always \
-v /data/docker/prometheus/grafana/grafana.ini:/etc/grafana/grafana.ini \
-v /data/docker/prometheus/grafana/data:/var/lib/grafana \
-e "GF_SECURITY_ADMIN_PASSWORD=XXXXX" \
-itd grafana/grafana

注：-e "GF_SECURITY_ADMIN_PASSWORD=XXXXX" 
是设置grafana登陆页面的密码,如不添加这条，默认账号密码为admin/admin

访问：http://192.168.0.219:3000 账号密码为：admin/XXXXX

3、添加prometheus数据源

4、添加模板文件：（监控主机信息）

官网模板地址：Dashboards | Grafana Labs
根据自己需求下载网址中模板，下载到本地后，导入grafana

也可以导入id号

选择Prometheus

5、展示

在面板上可选择节点查看

未完待续

退出移动版