百度360必应搜狗淘宝本站头条
当前位置:网站首页 > 博客教程 > 正文

一站式数据采集存储的利器:阿里云InfluxDB??数据采集服务

connygpt 2024-10-14 09:14 9 浏览

背景

随着时序数据的飞速增长,时序数据库不仅需要解决系统的稳定性和性能问题,还需实现数据从采集到分析的链路打通,才能让时序数据真正产生价值。在时序数据采集领域,一直缺少自动化的采集工具。虽然用户可以使用一些开源的采集工具实现数据采集,例如,Telegraf、Logstash和TCollector等,但是,这些采集工具都需要用户自行搭建并维护其运行的环境,增加了用户的学习成本,大大提高了数据采集的门槛。另一方面,现有的采集工具缺乏对多个采集源的自动化管理,用户难以统一管理多个不同的采集源,实时监控各个采集工具是否正常运行并采集数据。

阿里云InfluxDB?除了提供稳定可靠的时序数据库服务,还提供了非常便捷的数据采集服务。用户能够方便查看各个采集源的运行状态并管理它们,采集的数据会自动存储到阿里云InfluxDB?。用户无需担心运维的问题,实现数据从采集到分析的一站式服务。本文主要介绍如何使用InfluxDB?的数据采集服务,实现数据从采集到存储的自动化管理。

阿里云InfluxDB?数据采集服务优势

  • 提供丰富的采集指标:支持MySQL、Redis、MongoDB和系统监控等数据的采集
  • 支持监控多个采集源:用户可以一目了然地监控多个采集源的状态
  • 采集源便捷管理:无需编码,用户即可方便地添加、删除和修改采集源
  • 采集数据自动存入InfluxDB?,保障采集数据不丢失

我们能做什么?

1. 轻松采集数据

目前,阿里云InfluxDB?支持采集有关MySQL、Redis、MongoDB和系统监控等四种不同类型的数据,针对每种类型的数据,采集多项监控指标,方便用户更全面地了解被监控对象。用户通过InfluxDB?实例的管理控制台,即可添加新采集源,一键安装,无需编写代码。

采集数据的操作流程如下:


  • 创建采集配置:选择采集数据的类型、数据写入的数据库和保留策略。
  • 添加采集源:在数据源机器上一键安装InfluxDB?数据采集工具,选择采集配置,即可开始采集数据。

2. 实时监控采集源

采集源在运行过程中,您可以实时地监控数据采集的状态,查看采集数据最近一次到达InfluxDB?的时间;并且,您还可以随时停止数据的采集,在您认为合适的时候再重新开启数据采集服务。


3. 一键切换采集数据类型

如果您想要改变被监控机器上的采集数据类型,无需重新添加新的采集源,只需选择您想要的采集配置即可,数据采集工具会自动切换成采集您指定的监控数据。

4. 采集数据自动存入InfluxDB?

您可以在采集配置中选择数据流入的数据库和保留策略,数据采集工具会自动将采集数据存入指定的数据库和保留策略,并且,您可以在采集源运行的过程中修改数据写入的数据库和保留策略,只需修改采集配置即可。

最佳实践

本小节将介绍如何采集系统监控的数据,并实时展示采集结果。系统监控的数据包含处理器、磁盘、内存、网络、进程和系统等信息,收集的数据分别存储在8个不同的measurement中(measurement分别为cpu、disk、diskio、mem、net、processes、swap和system)。在开始前,请先确保已经成功创建数据库和对该数据库有读写权限的用户账号。

1. 创建采集系统监控数据的配置

点击InfluxDB?管理控制台左侧导航栏的“添加采集配置”,进入到采集配置添加界面,如下图所示。填写“采集配置名称”,选择“采集数据类型”为“系统监控”,然后选择“授权账号”、“数据写入DB”和“数据库存储策略”,并填写“授权密码”。点击“添加”即可成功创建采集配置。


2. 添加采集源

点击InfluxDB?管理控制台左侧导航栏的“添加采集源”,进入到采集源添加页面。

(1)选择网络类型,“公网”或者“专有网络”,然后点击“下一步”,如下图所示。


(2)在数据源所在主机安装采集工具。将安装命令复制到主机上即可运行采集工具。采集工具运行后会与InfluxDB?建立连接,在“新采集源扫描结果列表”上可以看到新添加的采集源,如果在该列表上没有显示,可以点击“刷新”或“自动刷新”。如下图所示。


(3)选择采集系统监控的数据。在上图中,点击“选择采集配置”,进入如下界面,从下拉框中选择刚刚创建的名为“collect-system”的采集配置。选择完成后,点击“保存”。


(4)启动数据采集。勾选需要启动的采集源,然后点击“完成并启动采集”,采集工具即可在采集源上开始采集数据,如下图所示。


3. 查看数据采集的状态

在“采集源列表”中,您可以看到所有与InfluxDB?实例建立连接的采集源,如下图所示。每个采集源由uuid唯一标识,“采集状态”为“running”表示采集工具正在采集数据并上报到InfluxDB?,“最新采集上报成功时间”表示采集数据最近一次成功发送到InfluxDB?的时间。


4. 使用Grafana可视化采集数据

(1)安装Grafana。有关如何安装Grafana可查看文档。

(2)添加数据源。设置“URL”为InfluxDB?实例的地址,并且填写采集数据所写入的数据库和用户账号,如下图所示。


(3)配置Dashboard,编写查询规则。这里示范的是查询磁盘使用率,查询语句为:

SELECT MEAN("used_percent") FROM "disk" GROUP BY time(10s)

实时查询结果如下图所示。


您可以根据实际需要,查看其它measurement和field的数据,分别在FROM和SELECT语句中指定即可。

总结

阿里云InfluxDB?提供方便快捷的数据采集服务,自动化管理数据源,帮您解决数据采集的问题,实现数据从采集到存储的自动化。未来,我们会支持更多数据类型和指标的采集,敬请期待。

  • 阿里云InfluxDB??数据采集使用手册:https://help.aliyun.com/document_detail/125863.html?spm=a2c4g.11174283.6.711.5898130essOnWz
  • 阿里云InfluxDB??文档:https://help.aliyun.com/document_detail/113093.html?spm=a2c4g.11186623.6.705.4a4046adFUBnM2
  • 阿里云InfluxDB??公测购买链接:https://common-buy.aliyun.com/?commodityCode=hitsdb_influxdb_pre#/buy

本文作者:德施

相关推荐

自学Python,写一个挨打的游戏代码来初识While循环

自学Python的第11天。旋转~跳跃~,我~闭着眼!学完循环,沐浴着while的光芒,闲来无事和同事一起扯皮,我说:“编程语言好神奇,一个小小的循环,竟然在生活中也可以找到原理和例子”,同事也...

常用的 Python 工具与资源,你知道几个?

最近几年你会发现,越来越多的人开始学习Python,工欲善其事必先利其器,今天纬软小编就跟大家分享一些常用的Python工具与资源,记得收藏哦!不然下次就找不到我了。1、PycharmPychar...

一张思维导图概括Python的基本语法, 一周的学习成果都在里面了

一周总结不知不觉已经自学Python一周的时间了,这一周,从认识Python到安装Python,再到基本语法和基本数据类型,对于小白的我来说无比艰辛的,充满坎坷。最主要的是每天学习时间有限。只...

三日速成python?打工人,小心钱包,别当韭菜

随着人工智能的热度越来越高,许多非计算机专业的同学们也都纷纷投入到学习编程的道路上来。而Python,作为一种相对比较容易上手的语言,也越来越受欢迎。网络上各类网课层出不穷,各式广告令人眼花缭乱。某些...

Python自动化软件测试怎么学?路线和方法都在这里了

Python自动化测试是指使用Python编程语言和相关工具,对软件系统进行自动化测试的过程。学习Python自动化测试需要掌握以下技术:Python编程语言:学习Python自动化测试需要先掌握Py...

Python从放弃到入门:公众号历史文章爬取为例谈快速学习技能

这篇文章不谈江流所专研的营销与运营,而聊一聊技能学习之路,聊一聊Python这门最简单的编程语言该如何学习,我完成的第一个Python项目,将任意公众号的所有历史文章导出成PDF电子书。或许我这个Py...

【黑客必会】python学习计划

阅读Python文档从Python官方网站上下载并阅读Python最新版本的文档(中文版),这是学习Python的最好方式。对于每个新概念和想法,请尝试运行一些代码片段,并检查生成的输出。这将帮助您更...

公布了!2025CDA考试安排

CDA数据分析师报考流程数据分析师是指在不同行业中专门从事行业数据搜集、整理、分析依据数据作出行业研究评估的专业人员CDA证书分为1-3级,中英文双证就业面广,含金量高!!?报考条件:满18...

一文搞懂全排列、组合、子集问题(经典回溯递归)

原创公众号:【bigsai】头条号:程序员bigsai前言Hello,大家好,我是bigsai,longtimenosee!在刷题和面试过程中,我们经常遇到一些排列组合类的问题,而全排列、组合...

「西法带你学算法」一次搞定前缀和

我花了几天时间,从力扣中精选了五道相同思想的题目,来帮助大家解套,如果觉得文章对你有用,记得点赞分享,让我看到你的认可,有动力继续做下去。467.环绕字符串中唯一的子字符串[1](中等)795.区...

平均数的5种方法,你用过几种方法?

平均数,看似很简单的东西,其实里面包含着很多学问。今天,分享5种经常会用到的平均数方法。1.算术平均法用到最多的莫过于算术平均法,考试平均分、平均工资等等,都是用到这个。=AVERAGE(B2:B11...

【干货收藏】如何最简单、通俗地理解决策树分类算法?

决策树(Decisiontree)是基于已知各种情况(特征取值)的基础上,通过构建树型决策结构来进行分析的一种方式,是常用的有监督的分类算法。决策树算法是机器学习中的一种经典算法,它通过一系列的规则...

面试必备:回溯算法详解

我们刷leetcode的时候,经常会遇到回溯算法类型题目。回溯算法是五大基本算法之一,一般大厂也喜欢问。今天跟大家一起来学习回溯算法的套路,文章如果有不正确的地方,欢迎大家指出哈,感谢感谢~什么是回溯...

「机器学习」决策树——ID3、C4.5、CART(非常详细)

决策树是一个非常常见并且优秀的机器学习算法,它易于理解、可解释性强,其可作为分类算法,也可用于回归模型。本文将分三篇介绍决策树,第一篇介绍基本树(包括ID3、C4.5、CART),第二篇介绍Ran...

大话AI算法: 决策树

所谓的决策树算法,通俗的说就是建立一个树形的结构,通过这个结构去一层一层的筛选判断问题是否好坏的算法。比如判断一个西瓜是否好瓜,有20条西瓜的样本提供给你,让你根据这20条(通过机器学习)建立起...