Prometheus + Grafana监控搭建
connygpt 2024-12-16 11:38 9 浏览
Micrometer/Prometheus/Grafana体系是当前最成熟的低成本Java监控解决方案,而且通过其他的Prometheus exporter,还可以进行诸如我们可能需要的Windows操作系统监控/Mysql/Kakfka等常用组件的监控、
Prometheus
Prometheus(普罗米修斯)是一套比较完备的监控报警系统,其主要架构设计如图:
主要是由以下组件构成:
- Prometheus server:服务中心,主要负责拉取和存储时序书库(Prometheus有自带的时序数据库)
- Client Libraries:客户端库,主要用于和具体的服务进行集成,采集监控数据,例如Micrometer
- Push gateway:另外一种数据push的采集方式(Prometheus默认使用pull的方式主动采集应用数据),用于适配一些没有长期稳定的进程的服务
- Exporter:用于针对某些特定服务的数据采集工具,例如mysql/kafka/HA等
- Alert Manager:Prometheus的监控告警工具,主要通过webhook和其他告警系统进行集成告警,能够进行告警规则的配置
- 其他工具
同时,Prometheus也有一套自己的查询语法,用于已经采集的数据的结果查询。
Micrometer
Micrometer是Java的指标监控工具,而且建立了一套独立的数据模型,能够和大部分常见的监控工具进行整合,简单快速的建立指标监控体系
Micrometer提供了包括Timer , Counter , Gauge ,
DistributionSummary , LongTaskTimer , FunctionCounter , FunctionTimer , TimeGauge等不同的监控工具,以适应不同的场景,例如Timer用于监控一个操作的消耗时间,并能在这个基础上统计例如minx/max/avg/tp等指标
Grafana
Grafana是一个开源的度量分析与可视化套件。经常被用作基础设施的时间序列数据和应用程序分析的可视化,它在其他领域也被广泛的使用包括工业传感器、家庭自动化、天气和过程控制等。
Grafana支持许多不同的数据源。每个数据源都有一个特定的查询编辑器,该编辑器定制的特性和功能是公开的特定数据来源。
其工作模式主要分为三步:
- 设置数据源:可视化的基础数据来源,例如从数据库/Prometheus/ElasticSearch
- 配置数据抽取方式:例如通过数据库的SQL/Prometheus的ProQuery等进行数据查询
- 数据面板配置:Grafana支持多样的数据呈现方式,例如折线图/直方图/热力图等等,通过简单的配置,即可通过多样化的数据呈现方式去展示监控数据
使用流程
Prometheus部署
写在前面:默认的访问地址 http://127.0.0.1:9090
PS: 下方有docker方式部署
开源的Prometheus是单节点模式,部署非常简单,这里以Windows下为例,首先在Prometheus官方下载文件包。
下载完毕后解压其目录结构如下:
data为Prometheus是自带时序数据库持久化的目录,pometheus.yml为整个Prometheus的配置文件,pometheus.exe为服务启动应用,默认可以直接启动,这个时候Prometheus会使用最基本的默认配置,运行在本地9090端口,采集自身的运行的数据并持久化到时序数据
当Prometheus启动完毕后,本地浏览器访问
http://127.0.0.1:9090即可查看到Prometheus的查询工具
值得注意的是,如果要启用restful接口支持热加载配置,需要在启动的命令行增加参数: --web.enable-lifecycle ,这在生产环境中不停机更新非常重要
例如:cmd下执行:prometheus.exe --web.enable-lifecycle
CentOS下安装
wget https://github.com/prometheus/prometheus/releases/download/v2.22.0/prometheus-2.22.0.linux-amd64.tar.gz
tar -zxvf prometheus-2.5.0.linux-amd64.tar.gz
// --config.file="prometheus/prometheus.yml": 指定配置文件,不写为默认
nohup /dimples/soft/prometheus-2.22.0/prometheus --config.file="/dimples/soft/prometheus-2.22.0/prometheus.yml" &
// 关闭
ps -aux | grep prometheus
kill -s 9 24204(上一步查询出来的pid)
查看Prometheus监控的应用(Prometheus启动时,默认监控的是自己)
此时我们可以看到,在Prometheus中只有一个自己的服务被监控了,那么我们怎么去将自己的服务加入监控呢?请往下看。
Grafana部署
写在前面:默认的访问地址 http://127.0.0.1:3000/login
Grafana的部署和Prometheus的部署类似,也非常简单,这里也以Windows为例,首先需要从官方网站下载最新的安装包。
这里以zip包为例,解压后目录结构为:
配置文件路径为 conf/defaults.ini,这里可以修改默认端口,配置持久化方式,默认用户名和密码
启动执行文件为 bin/grafana-server.exe,双击即可启动。(默认端口为3000,默认用户名和密码均为admin)
启动后浏览器访问即可登录使用,http://127.0.0.1:3000/login 第一次使用会强制修改密码
CentOS下安装
wget https://dl.grafana.com/oss/release/grafana-6.4.4-1.x86_64.rpm
yum install -y grafana-6.4.4-1.x86_64.rpm
yum clean all
// 安装后需要手动启动
service grafana-server start
service grafana-server stop
- 配置文件位于/etc/grafana/grafana.ini,这里暂时保持默认配置即可
- 设置开机启动
systemctl enable grafana-server
systemctl start grafana-server
配置第一个监控面板 - Prometheus
当Prometheus和Grafana部署完成之后,默认Prometheus就已经在开始采集自身的监控数据,所以我们就可以开始配置Prometheus的监控界面,首先需要登录Grafana,在左侧的设置界面配置数据源:
点击 Add data source添加第一个数据源,由于我们这里主要是以Prometheus作为数据源,所以直接选择Prometheus即可:
Name为这个数据源的别称,用于在多个数据源的时候进行区分,url为Prometheus的restful接口地址,例如这里就为刚刚部署完毕的本地Prometheus服务,最后点击最下的Save&Test即可添加成功,然后点击back返回上一步即可查看到已经添加的数据源:
添加完毕数据源之后,则可以开始进行监控面板的设计了,这里考虑到监控面板设计有一定的门槛,所以建议直接使用官方提供的监控面板模板,具体可以从官方的模板仓库下载。
例如我们这里需要进行Prometheus本身的监控,我们搜索 Prometheus stat:
此处可以选择编号 1 的编号导入或者使用编号 2 ,下载JSON文件使用,此处我们使用下载json文件的方式
下载完毕之后,则可以导入到Grafana:
配置panel,有三种方式(编号 1、2、3 任选一种):上传JOSN文件、填写ID(然后点击Load)、填写JSON配置内容(然后点击Load),此处我们选择方便的填写ID的方式,然后点击对应框后的Load按钮进入下一步
点击import之前需要配置别名和选择一个数据源,所以在import之前必须至少配置一个数据源,点击import后即可看到监控窗口
到此,我们已经学会了启动Grafana和Prometheus,同时学会了配置一个简单的监控服务,即监控Prometheus本身。我们已经了解到其工作的一个基础的流程,以后我们就要去配置监控 Java服务、MySQL、Redis数据库等各种复杂的服务
监控第一个Java程序
在上面们简单的将Prometheus采集的对于自身的数据通过Grafana进行了展示,而我们的核心是通过Prometheus去采集Java应用的数据,这就需要针对前面提到的通过Prometheus的pull模式定时去拉取SpringBoot通过Actuator暴露的Micrometer采集的监控指标
- 首先需要的做的是完成Java应用的Micrometer集成,访问actuator/prometheus或者/prometheus能够正常的返回Micrometer采集的数据指标
- 进入部署Prometheus的文件目录,打prometheus.yml进行拉取节点的配置,这里以我自己部署的java应用为例,在配置文件的scrape_configs节点添加针对java的配置
SpringBoot 集成Micrometer
Micrometer的集成主要依托于SpringBoot的Actuator,Micrometer会默认采集JVM以及一些其他常用组件(例如HikariCP/Http/Tomcat/Logback)的各项指标,然后通过Actuator输出,供Prometheus pull进行数据采集
由于历史的原因,Micrometer的Java集成和SpringBoot版本有关
SpringBoot 2.x
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<dependency>
<groupId>io.micrometer</groupId>
<artifactId>micrometer-registry-prometheus</artifactId>
</dependency>
激活配置:
management.endpoints.web.exposure.include=prometheus,health
management.metrics.tags.application=${spring.application.name}
spring.application.name= demo-project
SpringBoot 1.5.x
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-actuator</artifactId>
</dependency>
<dependency>
<groupId>io.micrometer</groupId>
<artifactId>micrometer-spring-legacy</artifactId>
<version>1.0.3</version>
</dependency>
<dependency>
<groupId>io.micrometer</groupId>
<artifactId>micrometer-registry-prometheus</artifactId>
<version>1.0.3</version>
</dependency>
必须配置:
spring.application.name=dimples-demo-project
management.security.enabled=false
spring.metrics.export.includes=health,prometheus
公共配置
@Bean
MeterRegistryCustomizer<MeterRegistry> metricsCommonTags(@Value("${spring.application.name}") String application) {
return registry -> registry.config().commonTags("application", application);
}
激活后启动程序,通过IDEA查看是否已经包含/actuator/prometheus端点:
访问
http://{port}/actuator/prometheus (2.x)
或者 http://{port}/prometheus (1.5.x)
配置 Prometheus 监控
打开 Prometheus 的 prometheus.yml 文件,这里我们配置一个Java服务
global:
scrape_interval: 15s
evaluation_interval: 15s
alerting:
alertmanagers:
- static_configs:
- targets:
# - alertmanager:9093
rule_files:
# - "first_rules.yml"
# - "second_rules.yml"
scrape_configs:
- job_name: 'prometheus'
# metrics_path defaults to '/metrics'
static_configs:
- targets: ['localhost:9090']
- job_name: 'demo'
metrics_path: '/actuator/prometheus'
static_configs:
- targets: ['127.0.0.1:8080'] # []表示数组,我们可以配置多个服务
修改配置并保存之后,通过Prometheus的restful接口热加载配置:
http://localhost:9090/-/reload
请求接口后返回 Lifecycle API is not enabled. 那么就是启动的时候没有开启热更新配置,需要在启动的命令行增加参数: --web.enable-lifecycle
这里返回200表示执行成功,否则会提示错误信息(这里需要post/put请求,所以这里使用了postman来发起请求,如果Linux可以使用 curl -X POST http://localhost:9090/-/reload发起请求
更新指令执行成功之后,可以在web界面进行确认:
如果想验证是否确实采集到数据,可以返回首页的查询界面:
随意选择一个jvm指标,点击execute即可查询对应的指标数据:
可以看到对应的指标已经有数据采集到,然后我们则可以到grafana进行监控面板的配置,同样我们先下载一个面板模板:
导入之后选择之前配置的数据源之后即可看到监控面板:
到此一个简易的java监控则已经完成
配置服务器监控
这里以监控Java程序为例。需要使用到Windows-exporter的插件来队windows操作系统进行数据采集,首先需要下载最新的exporter。
安装完毕后,浏览器访问: http://localhost:9182/metrics 即可查看到采集的数据指标,在windows的服务中也能看到有windows_exporter启动:
然后我们需要在Prometheus中配置采集节点,参考Java的配置模式:
同样的需要刷新加载 http://localhost:9090/-/reload
同样选择一个Grafana模板,导入即可查看到具体的监控信息:
本节只是简单的整合 Prometheus + Grafana 在监控Java服务方面的使用,但是在我们的微服务业务中,常常还有包括 MySQL、Redis、docker、微服务端点等应用,同时应用发生异常时,还需要发送预警短信或者邮件。那么这些功能如何实现呢?请继续阅读第二章 -《Prometheus + Grafana (2) mysql、redis、Docker容器、服务端点以及预警》。
附录 - 自定义监控面板
Grafana提供不同样式的基础数据层呈现样式,大多数情况下默认的模板即可满足我们的日常需求,如果我们需要进行自定义的面板设计,也可以非常简单的完成的目标,这里建议从已经存在的模板做参考开始,例如JVM的监控面板,随机找一个面板:
选择edit即可以查看是如何配置才能达到当前的效果:
需要配置的内容有:
- 数据源,例如这里选择的是Prometheus
- Metrics:查询表达式,例如这里是Prometheus的表达式,如果是用数据库做数据源,这里应该是SQL
- Legend:数据标题,这里可以用表达式类似{{name}}这样的格式
- Visualization:可视化样式,这里是Graph,也就是折线图,也可以选择其他的样例其他的一些配置可以自己多尝试看看效果
相关推荐
- 3分钟让你的项目支持AI问答模块,完全开源!
-
hello,大家好,我是徐小夕。之前和大家分享了很多可视化,零代码和前端工程化的最佳实践,今天继续分享一下最近开源的Next-Admin的最新更新。最近对这个项目做了一些优化,并集成了大家比较关注...
- 干货|程序员的副业挂,12个平台分享
-
1、D2adminD2Admin是一个完全开源免费的企业中后台产品前端集成方案,使用最新的前端技术栈,小于60kb的本地首屏js加载,已经做好大部分项目前期准备工作,并且带有大量示例代码,助...
- Github标星超200K,这10个可视化面板你知道几个
-
在Github上有很多开源免费的后台控制面板可以选择,但是哪些才是最好、最受欢迎的可视化控制面板呢?今天就和大家推荐Github上10个好看又流行的可视化面板:1.AdminLTEAdminLTE是...
- 开箱即用的炫酷中后台前端开源框架第二篇
-
#头条创作挑战赛#1、SoybeanAdmin(1)介绍:SoybeanAdmin是一个基于Vue3、Vite3、TypeScript、NaiveUI、Pinia和UnoCSS的清新优...
- 搭建React+AntDeign的开发环境和框架
-
搭建React+AntDeign的开发环境和框架随着前端技术的不断发展,React和AntDesign已经成为越来越多Web应用程序的首选开发框架。React是一个用于构建用户界面的JavaScrip...
- 基于.NET 5实现的开源通用权限管理平台
-
??大家好,我是为广大程序员兄弟操碎了心的小编,每天推荐一个小工具/源码,装满你的收藏夹,每天分享一个小技巧,让你轻松节省开发效率,实现不加班不熬夜不掉头发,是我的目标!??今天小编推荐一款基于.NE...
- StreamPark - 大数据流计算引擎
-
使用Docker完成StreamPark的部署??1.基于h2和docker-compose进行StreamPark部署wgethttps://raw.githubusercontent.com/a...
- 教你使用UmiJS框架开发React
-
1、什么是Umi.js?umi,中文可发音为乌米,是一个可插拔的企业级react应用框架。你可以将它简单地理解为一个专注性能的类next.js前端框架,并通过约定、自动生成和解析代码等方式来辅助...
- 简单在线流程图工具在用例设计中的运用
-
敏捷模式下,测试团队的用例逐渐简化以适应快速的发版节奏,大家很早就开始运用思维导图工具比如xmind来编写测试方法、测试点。如今不少已经不少利用开源的思维导图组件(如百度脑图...)来构建测试测试...
- 【开源分享】神奇的大数据实时平台框架,让Flink&Spark开发更简单
-
这是一个神奇的框架,让Flink|Spark开发更简单,一站式大数据实时平台!他就是StreamX!什么是StreamX大数据技术如今发展的如火如荼,已经呈现百花齐放欣欣向荣的景象,实时处理流域...
- 聊聊规则引擎的调研及实现全过程
-
摘要本期主要以规则引擎业务实现为例,陈述在陌生业务前如何进行业务深入、调研、技术选型、设计及实现全过程分析,如果你对规则引擎不感冒、也可以从中了解一些抽象实现过程。诉求从硬件采集到的数据提供的形式多种...
- 【开源推荐】Diboot 2.0.5 发布,自动化开发助理
-
一、前言Diboot2.0.5版本已于近日发布,在此次发布中,我们新增了file-starter组件,完善了iam-starter组件,对core核心进行了相关优化,让devtools也支持对IAM...
- 微软推出Copilot Actions,使用人工智能自动执行重复性任务
-
IT之家11月19日消息,微软在今天举办的Ignite大会上宣布了一系列新功能,旨在进一步提升Microsoft365Copilot的智能化水平。其中最引人注目的是Copilot...
- Electron 使用Selenium和WebDriver
-
本节我们来学习如何在Electron下使用Selenium和WebDriver。SeleniumSelenium是ThoughtWorks提供的一个强大的基于浏览器的开源自动化测试工具...
- Quick 'n Easy Web Builder 11.1.0设计和构建功能齐全的网页的工具
-
一个实用而有效的应用程序,能够让您轻松构建、创建和设计个人的HTML网站。Quick'nEasyWebBuilder是一款全面且轻巧的软件,为用户提供了一种简单的方式来创建、编辑...
- 一周热门
- 最近发表
- 标签列表
-
- kubectlsetimage (56)
- mysqlinsertoverwrite (53)
- addcolumn (54)
- helmpackage (54)
- varchar最长多少 (61)
- 类型断言 (53)
- protoc安装 (56)
- jdk20安装教程 (60)
- rpm2cpio (52)
- 控制台打印 (63)
- 401unauthorized (51)
- vuexstore (68)
- druiddatasource (60)
- 企业微信开发文档 (51)
- rendertexture (51)
- speedphp (52)
- gitcommit-am (68)
- bashecho (64)
- str_to_date函数 (58)
- yum下载包及依赖到本地 (72)
- jstree中文api文档 (59)
- mvnw文件 (58)
- rancher安装 (63)
- nginx开机自启 (53)
- .netcore教程 (53)