logagent 第2页

闲谈日志采集器FileBeat

为什么使用FileBeat？日志采集器有很多，比如Logstash，虽然Logstash的功能强大，但是它依赖java并且在数据量大的时候进程会消耗过多的系统资源，会严重影响业务系统的性能。而filebeat就是一个完美的替代者，它基于Go语言没有任何依赖，配置文件简单。同时，filebeat比lo...

ELK 性能—Logstash 性能及其替代方案

介绍当谈及集中日志到Elasticsearch时，首先想到的日志传输（logshipper）就是Logstash。开发者听说过它，但是不太清楚它具体是干什么事情的：当深入这个话题时，我们才明白集中存储日志通常隐含着很多的事情，Logstash也不是唯一的日志传输工具（logshipper...

万亿级消息队列Kafka在滴滴的实践

时间：2020年10月30日地点：上海中庚聚龙酒店场次：大数据&数据中台专场演讲主题：《万亿级消息队列Kafka在滴滴的实践》你将收获：滴滴Kafka高可用建设在架构与引擎上做了哪些针对性优化？如何应对Topic资源隔离差、影响集群稳定性等问题？如何应对Kafka运维友好性与可观察性不足等问...

详解Nginx默认access.log访问日志格式、案例和日志切割

概述日志是我们运维用来分析问题和处理问题的重要维护依据，但是Nginx的日志文件是非常庞大的，而且以文本格式显示导致Nginx的日志直接分析非常困难。有时候为了初步处理或紧急处理问题，我们也对直接打开Nginx的日志文件进行分析，这里我们就介绍如何对Nginx的默认日志格式进行分析和含义的解读。Ng...

Web3中文|微软:黑客通过Telegram侵害加密公司

微软最近调查了一次攻击，在该攻击中，被追踪为DEV-0139的威胁参与者通过加入加密货币交易平台的Telegram群来寻找目标用户。10月19日，威胁参与者冒充加密资产管理公司的代表邀请目标用户到另一个Telegram群，在那里威胁参与者要求对加密货币交易平台的费用结构提供反馈。在获得信任后，威...

做这么多年程序员了，才把ELK和springboot的日志解决方案弄明白

日志监控方案日志对我们进行系统故障定位具有关键的作用。我们的框架代码、系统环境及业务逻辑中一般都会产出一些日志，我们通常会把这些日志记录后统一收集起来，方便在需要的时候进行查询检索。ELK是目前开源领域比较流行且成熟的一站式日志解决方案。日志采集方案日志采集的代理端（Agent）其实就是一个将数据从...

运用Kubernetes 日志传输需要注意的四大挑战

收集日志，并将数据发送到日志服务器，这一动作看起来简单，但其实并不是一件容易的事。比如：容器日志收集，就存在诸多挑战。日志传输，通常包含两大类：一个是主动方式;一个是被动方式。主动方式，是指整个进程主动向远程syslog服务器发送日志消息。通常，数据编码的格式是rfc5424。被动方式，是指部署每个...

Kubernetes 日志传输中的四大挑战

收集日志，并将数据发送到日志服务器，这一动作看起来简单，但其实并不是一件容易的事。比如：容器日志收集，就存在诸多挑战。日志传输，通常包含两大类：一个是主动方式;一个是被动方式。主动方式，是指整个进程主动向远程syslog服务器发送日志消息。通常，数据编码的格式是rfc5424。被动方式，是指部署每个...

Linux性能优化—CPU性能篇

一、什么是负载，应该如何排查平常的工作中，在衡量服务器的性能时，经常会涉及到几个指标，load、cpu、mem、qps、rt等。每个指标都有其独特的意义，很多时候在线上出现问题时，往往会伴随着某些指标的异常。大部分情况下，在问题发生之前，某些指标就会提前有异常显示。对于这些指标的理解和查看、异常解决...

补齐可视化短板，跟ClickHouse共建日志平台的好搭档找到了

越来越多的互联网公司开始尝试ClickHouse存储日志，比如映客、快手、携程、唯品会、石墨文档，但是ClickHouse存储日志缺少对应的可视化方案，石墨文档开源了ClickVisual用于解决这个问题。笔者初步尝试了一下ClickVisual，一点小小的实践经验，与各位分享。简介C...