百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 博客教程 > 正文

基于Grafana仪表盘的Alluxio指标可视化

connygpt 2024-10-14 09:13 7 浏览

概 述

生产环境指标监控对于运维分布式系统非常重要。Alluxio使用Codahale指标库(见文末链接1)收集I/O吞吐量、RPC吞吐量和资源使用的指标。Alluxio指标可在其webUI(见文末链接2)中显示,还能通过REST端点获取,也可按时间序列方式导出至多个第三方接收器(参阅文档见文末链3)。

Grafana是一款全面的指标可视化软件,它依靠拉取系统(例如Alluxio)通过接收器收集的指标并以更有用的形式进行可视化。本手册将介绍如何设置Grafana和Graphite(Alluxio支持的接收器,可将指标放入时间序列数据库),并探讨该组合提供的一些可能点。

安 装

安装Graphite和Grafana的方法有很多:从源码安装、在本地、Docker和其他几种方法。Alluxio、Graphite和Grafana全都有关于各种安装方式的文档。我在本手册中选择使用Docker安装以节省管理依赖项的时间。本篇文档介绍如何使用Docker安装Alluxio与Graphite和Grafana。通过将--net=alluxio_nwt添加到docker run命令,除Grafana外的所有容器可在同一网络上运行。这使得容器可轻松地彼此通信。所有这三个服务都开放了WebUI,用于用户确保这些服务都流程并正确的运行。

配 置

Grafana不会直接收集任何指标,而是使用Graphite作为信息的中间人。Alluxio将其指标推送给Graphite,Graphite将它们存入时间序列数据库中,然后Grafana从中拉取这些指标。

由于Alluxio不与Grafana通信,因此唯一需要的配置更改在Alluxio和Graphite之间。Alluxio已经支持Graphite作为第三方接收器,因此需要在位于/alluxio/conf的Alluxio的metrics.properties文件添加以下内容:

alluxio.metrics.sink.graphite.class=alluxio.metrics.sink.GraphiteSink
alluxio.metrics.sink.graphite.host=graphite
alluxio.metrics.sink.graphite.port=2003
alluxio.metrics.sink.graphite.period=10

无论是否使用Docker,metrics.properties中都需要以上五行。启用接收器的同时,它们还要告诉Alluxio何时何地推送其指标。编辑好的metrics.properties文件也必须添加到所有Alluxio工作节点。为确保Graphite正确配置了Alluxio,可以转到Graohite的webUI来检查Alluxio指标是否存在。

Alluxio的所有指标显示在Graphite中大约需要五到十分钟,但在配置了Alluxio之后,必须将其添加为Grafana的数据源。与Alluxio类似,Grafana已经内置了对Graphite的支持,因此配置很简单。只要按照指导说明将Graphite添加为数据源。需在“HTTP URL”下输入webUI URL,并将“HTTP Access”设置为“Browser”,然后设置Graphite版本。之后,Grafana将开始从Graphite拉取指标,您可以开始在Grafana中显示Alluxio的指标。

查询指标

要在Grafana中显示Alluxio的各项指标,需要在仪表盘面板中创建查询。面板是显示所有指标的位置,也是输入查询检索指标的入口。使用Graphite查询与浏览文件系统非常类似。用户还可使用多种功能,以各种方式组合、过滤和处理指标。这使得用户可控制想要显示的内容。

单个面板中可添加多个查询,然后可使用函数通过汇总、求异和划分查询来处理指标。如果想要在面板中仅显示一个指标,也可启用或禁用查询可视性。这使得函数中使用多个查询。“*”在创建查询时也是很有用的符号,因为它显示所有可用指标,并且在汇总工作节点指标时非常有用。Grafana确实提供了Graphite使用文档,是个有用的基础文档,虽仍有用但有些过时。

还有一些显示查询的选项,包括图形、表格、量表和单条数据。在这众多可视化中,您可以添加范围、单位、阈值、编辑图例、轴比例和其他许多选项,其中某些选项对每种可视化是唯一的。当把所有不同类型的查询与可视化结合时,每种图形或单个统计信息是唯一的。

探索Grafana

创建仪表盘时,可更改面板大小来适应屏幕上的更多指标或使得仪表盘更具视觉吸引力。仪表盘还可具有使指标按类型组织的行。这些行是可折叠的,有助于减少屏幕拥挤。通过将查询和所有编辑面板的方式结合,可以多种不同方式可视化指标。

当我第一次使用Grafana时遇到了一些挑战,并在使用所有可用选项时,启动变得困难。再加上所有不同的可用功能,很难找到符合目标的功能。最重要的是,图形和单个统计的阈值很难使用,并且值得注意的是,阈值仅支持使用限制功能的常量值。

许多编辑选项也很少提供功能描述,在很短时间后,我逐渐适应了该软件,并且我能够创建许多包含Alluxio指标的仪表盘。该仪表盘仅使用了一小部分可用功能,但如果需要可作为仪表盘基础。可在/alluxio/integration/grafana/alluxio-grafana-template.json中找到包含Alluxio指标的模板。

希望您现在可以安心地创建子集的Grafana仪表盘,显示任何所需指标!

参考链接:

链接1:

https://metrics.dropwizard.io/4.0.0/

链接2:

https://docs.alluxio.io/os/user/stable/en/basic/Web-Interface.html

链接3:

https://docs.alluxio.io/os/user/stable/en/operation/Metrics-System.html

相关推荐

自学Python,写一个挨打的游戏代码来初识While循环

自学Python的第11天。旋转~跳跃~,我~闭着眼!学完循环,沐浴着while的光芒,闲来无事和同事一起扯皮,我说:“编程语言好神奇,一个小小的循环,竟然在生活中也可以找到原理和例子”,同事也...

常用的 Python 工具与资源,你知道几个?

最近几年你会发现,越来越多的人开始学习Python,工欲善其事必先利其器,今天纬软小编就跟大家分享一些常用的Python工具与资源,记得收藏哦!不然下次就找不到我了。1、PycharmPychar...

一张思维导图概括Python的基本语法, 一周的学习成果都在里面了

一周总结不知不觉已经自学Python一周的时间了,这一周,从认识Python到安装Python,再到基本语法和基本数据类型,对于小白的我来说无比艰辛的,充满坎坷。最主要的是每天学习时间有限。只...

三日速成python?打工人,小心钱包,别当韭菜

随着人工智能的热度越来越高,许多非计算机专业的同学们也都纷纷投入到学习编程的道路上来。而Python,作为一种相对比较容易上手的语言,也越来越受欢迎。网络上各类网课层出不穷,各式广告令人眼花缭乱。某些...

Python自动化软件测试怎么学?路线和方法都在这里了

Python自动化测试是指使用Python编程语言和相关工具,对软件系统进行自动化测试的过程。学习Python自动化测试需要掌握以下技术:Python编程语言:学习Python自动化测试需要先掌握Py...

Python从放弃到入门:公众号历史文章爬取为例谈快速学习技能

这篇文章不谈江流所专研的营销与运营,而聊一聊技能学习之路,聊一聊Python这门最简单的编程语言该如何学习,我完成的第一个Python项目,将任意公众号的所有历史文章导出成PDF电子书。或许我这个Py...

【黑客必会】python学习计划

阅读Python文档从Python官方网站上下载并阅读Python最新版本的文档(中文版),这是学习Python的最好方式。对于每个新概念和想法,请尝试运行一些代码片段,并检查生成的输出。这将帮助您更...

公布了!2025CDA考试安排

CDA数据分析师报考流程数据分析师是指在不同行业中专门从事行业数据搜集、整理、分析依据数据作出行业研究评估的专业人员CDA证书分为1-3级,中英文双证就业面广,含金量高!!?报考条件:满18...

一文搞懂全排列、组合、子集问题(经典回溯递归)

原创公众号:【bigsai】头条号:程序员bigsai前言Hello,大家好,我是bigsai,longtimenosee!在刷题和面试过程中,我们经常遇到一些排列组合类的问题,而全排列、组合...

「西法带你学算法」一次搞定前缀和

我花了几天时间,从力扣中精选了五道相同思想的题目,来帮助大家解套,如果觉得文章对你有用,记得点赞分享,让我看到你的认可,有动力继续做下去。467.环绕字符串中唯一的子字符串[1](中等)795.区...

平均数的5种方法,你用过几种方法?

平均数,看似很简单的东西,其实里面包含着很多学问。今天,分享5种经常会用到的平均数方法。1.算术平均法用到最多的莫过于算术平均法,考试平均分、平均工资等等,都是用到这个。=AVERAGE(B2:B11...

【干货收藏】如何最简单、通俗地理解决策树分类算法?

决策树(Decisiontree)是基于已知各种情况(特征取值)的基础上,通过构建树型决策结构来进行分析的一种方式,是常用的有监督的分类算法。决策树算法是机器学习中的一种经典算法,它通过一系列的规则...

面试必备:回溯算法详解

我们刷leetcode的时候,经常会遇到回溯算法类型题目。回溯算法是五大基本算法之一,一般大厂也喜欢问。今天跟大家一起来学习回溯算法的套路,文章如果有不正确的地方,欢迎大家指出哈,感谢感谢~什么是回溯...

「机器学习」决策树——ID3、C4.5、CART(非常详细)

决策树是一个非常常见并且优秀的机器学习算法,它易于理解、可解释性强,其可作为分类算法,也可用于回归模型。本文将分三篇介绍决策树,第一篇介绍基本树(包括ID3、C4.5、CART),第二篇介绍Ran...

大话AI算法: 决策树

所谓的决策树算法,通俗的说就是建立一个树形的结构,通过这个结构去一层一层的筛选判断问题是否好坏的算法。比如判断一个西瓜是否好瓜,有20条西瓜的样本提供给你,让你根据这20条(通过机器学习)建立起...