百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 博客教程 > 正文

Telegraf+Influxdb+Grafana 轻量级监控系统部署

connygpt 2024-10-14 09:13 8 浏览

本方案中采用 数据存储(InfluxDB),数据采集(Telegraf),数据展示(Grafana )。

先简要介绍一下InfluxData这家公司。InfluxData是一家从事物联网设备数据捕捉、分析的大数据公司。InfluxDB是InfluxData的核心产品。InfluxDB是一个开源分布式时序、时间和指标数据库,使用Go语言编写,无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。目前已经有超过40000个独立网站在使用InfluxDB,其中包括IBM、CISCO、ebay、NORDSTORM、Mozilla等知名公司。

一、InfluxDB的安装与部署

InfluxDB 是一个开源分布式时序、事件和指标数据库。使用 Go 语言编写,无需外部依赖。其设计目标是实现分布式和水平伸缩扩展。

1、官网下载rpm文件并安装

wget https://dl.influxdata.com/influxdb/releases/influxdb-1.8.1.x86_64.rpm
yum localinstall influxdb-1.8.1.x86_64.rpm

2、启动服务

----systemctl start influxdb    启动服务
systemctl status influxdb ----查看服务状态

3、登录验证

[root@aly ~]# influx
Connected to http://localhost:8086 version 1.8.1
InfluxDB shell version: 1.8.1
> 

4、登录数据库,创建数据库,并创建用户且授权

[root@manager ~]# influx
> create database telegraf;    
> use telegraf;
> create user "fxkj" with password '123456' with all privileges;
> show users;
 user  admin
----  -----
fxkj   true
> 

如果,InfluxDB要开启登入认证的话,需要修改 /etc/influxdb/influxdb.conf 文件中的[http]部分,将以下两个参数设置为true

[http]
  # Determines whether HTTP endpoint is enabled.
enabled = true

  # Determines whether user authentication is enabled over HTTP/HTTPS.
auth-enabled = true

修改完之后,记得重启influxdb

 systemctl restart influxdb

5、 使用用户名,密码登录

[root@aly ~]# influx -username fxkj -password '123456'
 Connected to http://localhost:8086 version 1.8.1
InfluxDB shell version: 1.8.1
> show databases;
name: databases
name
----
_internal
telegraf
> 
 

6、influxdb 数据库常见操作命令

创建一个新的管理员用户
>>CREATE USER <username> WITH PASSWORD '<password>' WITH ALL PRIVILEGES



为一个已有用户授权管理员权限
GRANT ALL PRIVILEGES TO <username>


取消用户权限
REVOKE ALL PRIVILEGES FROM <username>

展示用户及其权限
SHOW USERS

非管理员用户管理:
创建一个新的普通用户
CREATE USER <username> WITH PASSWORD '<password>'


为一个已有用户授权
GRANT [READ,WRITE,ALL] ON <database_name> TO <username>

取消权限
REVOKE [READ,WRITE,ALL] ON <database_name> FROM <username>


展示用户在不同数据库上的权限
SHOW GRANTS FOR <user_name>


重设密码
>SET PASSWORD FOR <username> = '<password>'


删除用户
>>DROP USER <username>
  
  
  
 查看数据库
> show databases

除数据库
>drop database telegraf
#删除表
> drop measurement cpu;

#使用\切换数据库
> use cpu

#查看所有表
> show measurements

#查看表中有哪些字段
>show field keys from cpu;

二、Telegraf的安装与部署

Telegraf 是实现 数据采集 的工具。Telegraf 具有内存占用小的特点,通过插件系统开发人员可轻松添加支持其他服务的扩展。

1、官网下载rpm文件并安装

wget https://dl.influxdata.com/telegraf/releases/telegraf-1.15.1-1.x86_64.rpm
yum localinstall telegraf-1.15.1-1.x86_64.rpm

2、创建配置文件

修改Telegraf配置文件进行采集项的配置,配置文件默认位于/etc/telegraf/telegraf.conf 中

telegraf 官网有 Input Plugins 输出部分 对各个系统、应用、服务的监控项配的参考https://docs.influxdata.com/telegraf/v1.12/plugins/plugin-list/

备份原先的配置文件 mv /etc/telegraf/telegraf.conf /etc/telegraf/telegraf.conf-bak

创建一个 新的配置文件, vim /etc/telegraf/telegraf.conf


#interval = "10s" 表示每10秒 telegraf 采集一次数据

#flush_interval = "10s" 表示 每10秒 telegraf 往 influxdb 里插入数据

#logfile = "/tmp/telegraf.log" 定义telegraf 日志输出路径

#[[outputs.influxdb]] 输出到influxdb 中,填写 数据库地址,数据库名称,数据库账户以及密码

#[[inputs.*]] 定义的是 telegraf 收集的内容,这里 收集了 CPU, 系统负载,内存,磁盘空间,磁盘IO,网卡流量 ; fieldpass 表示只 收集 需要的这些字段,过滤其他字段(同时也减轻数据收集入库的压力) 具体的 参数可以在 telegraf 的官网查询 帮助手册

[global_tags]
[agent]
  interval = "10s"
  round_interval = true
  metric_batch_size = 1000
  metric_buffer_limit = 10000
  collection_jitter = "0s"
  flush_interval = "10s"
  flush_jitter = "0s"
  precision = ""
  debug = false
  quiet = false
  logfile = "/tmp/telegraf.log"
  hostname = ""
  omit_hostname = false

[[outputs.influxdb]]
  urls = ["http://127.0.0.1:8086"]
  database = "telegraf"
  username = "fxkj"
  password = "123456"

[[inputs.cpu]]
  percpu = false
  totalcpu = true
  collect_cpu_time = false
  report_active = false 
  fieldpass = ["usage_idle", "usage_iowait", "usage_system", "usage_user"]

[[inputs.system]]
fieldpass = ["load1", "load5", "load15"]

[[inputs.mem]]
fieldpass = ["available"]

[[inputs.disk]]
fieldpass = ["free", "inodes_free", "used_percent"]
ignore_fs = ["tmpfs", "devtmpfs", "devfs", "overlay", "aufs", "squashfs"]

[[inputs.diskio]]
fieldpass = ["read_bytes", "write_bytes", "reads","writes"]

[[inputs.net]]
  interfaces = ["eth*"]
  fieldpass = ["bytes_recv", "bytes_sent"]

3、启动服务

systemctl enable telegraf
systemctl start telegraf

4、查看telegraf刷新的日志

2020-08-03T02:46:09Z I! Loaded inputs: cpu system mem disk diskio net
2020-08-03T02:46:09Z I! Loaded aggregators: 
2020-08-03T02:46:09Z I! Loaded processors: 
2020-08-03T02:46:09Z I! Loaded outputs: influxdb
2020-08-03T02:46:09Z I! Tags enabled: host=test
2020-08-03T02:46:09Z I! [agent] Config: Interval:10s, Quiet:false, Hostname:"test", Flush Interval:10s

5、登录到Influxdb 中查看收集上来的数据

[root@aly ~]# influx -username fxkj -password '123456'
 
Connected to http://localhost:8086 version 1.8.1
InfluxDB shell version: 1.8.1
> use telegraf        #进入到数据库中
Using database telegraf
> show measurements    #查询库中所有表
name: measurements
name
----
cpu
disk
diskio
mem
net
system
> select * from mem   #查看mem内存 表里的内容
name: mem
time                available host
----                --------- ----
1596423350000000000 899223552 test
1596423360000000000 925679616 test
1596423360000000000 899506176 test
1596423370000000000 946384896 test
>

可以看到采集到数据了


三、Grafana的安装与部署

1、安装Gfrafana

这里我采用docker 的方式安装

docker run -d --name=grafana -p 3000:3000 grafana/grafana

2、登录Grafana web 控制台

访问: http://127.0.0.1:3000 默认账户密码 admin , 初次登录会强制让你更改密码


3、在Grafana 中添加 influxdb 数据源

点击 左侧,Configuration 选项


点击 Data Sources 中 , Add data source

选择Influxdb


填写数据源 ,Name 名称 (telegraf) , URL 地址 , 数据库名称,用户名,密码

点击 Save & Test 对添加的数据源进行检测,显示 Data source is working 即表示成功



4、创建图标

首先创建一个dashboards

点击左侧,+ 号

点击 右上角 Dashboard settings 选项, name 名称 命名为 : test

保存 Dashboard

点击右上角 , Add panel 选项

  • 第一步: 选择数据源,选择我们刚刚创建的数据源,名称为teltegraf


  • 第二步: 选择一张表 (我们采集的数据源有 mem , cpu ,disk,diskio,system,net 等这些表 )

这里我用system 这个负载表 来演示


  • 第三步: 选择 需要查询的字段 ,这里选择三个字段(load1,load5,load15 )分别表示系统在这三个时间段的负载情况 ;

#默认只显示一个字段,可以用过+ 号 ,增加字段

#增加alias() 可以给字段定义别名

例如:

#Group BY 分组 选择,tag (host) 分组,如果 监控的是多台服务器,每台服务器的主机名 都不相同,就可以在一张图内 显示 多台主机 的监控信息



  • 第四步: 图标参数调整

#坐标轴 单位大小的定义

点击右边 AXES——>left Y , Unit 这里的单位我们选择none

#修改图表 的名称

点击 右边 settings——> panel title 修改名称 这里给这张表定义名称为 system 负载


#选择 图表 的类型

点击 右边 Visualization ,选择合适的图表 ,这里我们选择Graph 图表类型


#在 图表 下方 显示 数据(最小值,最大值,平均值,最新值 等)

点击 右边 Legend ——> Values , 这里我们选择 current 最新值


  • 第五步: 保存 图表


四、图表 展示



相关推荐

自学Python,写一个挨打的游戏代码来初识While循环

自学Python的第11天。旋转~跳跃~,我~闭着眼!学完循环,沐浴着while的光芒,闲来无事和同事一起扯皮,我说:“编程语言好神奇,一个小小的循环,竟然在生活中也可以找到原理和例子”,同事也...

常用的 Python 工具与资源,你知道几个?

最近几年你会发现,越来越多的人开始学习Python,工欲善其事必先利其器,今天纬软小编就跟大家分享一些常用的Python工具与资源,记得收藏哦!不然下次就找不到我了。1、PycharmPychar...

一张思维导图概括Python的基本语法, 一周的学习成果都在里面了

一周总结不知不觉已经自学Python一周的时间了,这一周,从认识Python到安装Python,再到基本语法和基本数据类型,对于小白的我来说无比艰辛的,充满坎坷。最主要的是每天学习时间有限。只...

三日速成python?打工人,小心钱包,别当韭菜

随着人工智能的热度越来越高,许多非计算机专业的同学们也都纷纷投入到学习编程的道路上来。而Python,作为一种相对比较容易上手的语言,也越来越受欢迎。网络上各类网课层出不穷,各式广告令人眼花缭乱。某些...

Python自动化软件测试怎么学?路线和方法都在这里了

Python自动化测试是指使用Python编程语言和相关工具,对软件系统进行自动化测试的过程。学习Python自动化测试需要掌握以下技术:Python编程语言:学习Python自动化测试需要先掌握Py...

Python从放弃到入门:公众号历史文章爬取为例谈快速学习技能

这篇文章不谈江流所专研的营销与运营,而聊一聊技能学习之路,聊一聊Python这门最简单的编程语言该如何学习,我完成的第一个Python项目,将任意公众号的所有历史文章导出成PDF电子书。或许我这个Py...

【黑客必会】python学习计划

阅读Python文档从Python官方网站上下载并阅读Python最新版本的文档(中文版),这是学习Python的最好方式。对于每个新概念和想法,请尝试运行一些代码片段,并检查生成的输出。这将帮助您更...

公布了!2025CDA考试安排

CDA数据分析师报考流程数据分析师是指在不同行业中专门从事行业数据搜集、整理、分析依据数据作出行业研究评估的专业人员CDA证书分为1-3级,中英文双证就业面广,含金量高!!?报考条件:满18...

一文搞懂全排列、组合、子集问题(经典回溯递归)

原创公众号:【bigsai】头条号:程序员bigsai前言Hello,大家好,我是bigsai,longtimenosee!在刷题和面试过程中,我们经常遇到一些排列组合类的问题,而全排列、组合...

「西法带你学算法」一次搞定前缀和

我花了几天时间,从力扣中精选了五道相同思想的题目,来帮助大家解套,如果觉得文章对你有用,记得点赞分享,让我看到你的认可,有动力继续做下去。467.环绕字符串中唯一的子字符串[1](中等)795.区...

平均数的5种方法,你用过几种方法?

平均数,看似很简单的东西,其实里面包含着很多学问。今天,分享5种经常会用到的平均数方法。1.算术平均法用到最多的莫过于算术平均法,考试平均分、平均工资等等,都是用到这个。=AVERAGE(B2:B11...

【干货收藏】如何最简单、通俗地理解决策树分类算法?

决策树(Decisiontree)是基于已知各种情况(特征取值)的基础上,通过构建树型决策结构来进行分析的一种方式,是常用的有监督的分类算法。决策树算法是机器学习中的一种经典算法,它通过一系列的规则...

面试必备:回溯算法详解

我们刷leetcode的时候,经常会遇到回溯算法类型题目。回溯算法是五大基本算法之一,一般大厂也喜欢问。今天跟大家一起来学习回溯算法的套路,文章如果有不正确的地方,欢迎大家指出哈,感谢感谢~什么是回溯...

「机器学习」决策树——ID3、C4.5、CART(非常详细)

决策树是一个非常常见并且优秀的机器学习算法,它易于理解、可解释性强,其可作为分类算法,也可用于回归模型。本文将分三篇介绍决策树,第一篇介绍基本树(包括ID3、C4.5、CART),第二篇介绍Ran...

大话AI算法: 决策树

所谓的决策树算法,通俗的说就是建立一个树形的结构,通过这个结构去一层一层的筛选判断问题是否好坏的算法。比如判断一个西瓜是否好瓜,有20条西瓜的样本提供给你,让你根据这20条(通过机器学习)建立起...