MySQL日志解析工具Canal的使用 mysql日志binlog

connygpt 2024-09-29 11:03 11 浏览

什么是Canal

简单来说就是MySQL数据同步工具，通过canal可以实现对MySQL数据变更的监听，获取数据变更情况，并应用到业务中，举个栗子，我们的订单数据一般存放在MySQL中，而常见的订单列表搜索则需要通过elasticsearch来辅助完成，那么如何将订单数据从MySQL刷入到es中呢，方案有很多比如脚本同步等，我们也可以通过canal来进行，通过监听某个表数据变更之后，将变更数据更新到es，这是非常方便的。阿里云官方也提供了DTS服务，非常强大但是收费啊

Canal的实现原理（来自官网）

canal 模拟 MySQL slave 的交互协议，伪装自己为 MySQL slave ，向 MySQL master 发送dump 协议
MySQL master 收到 dump 请求，开始推送 binary log 给 slave (即 canal )
canal 解析 binary log 对象(原始为 byte 流)

php版的client

官方提供了Java版的client包，当然有很多其他语言的client也已经被开发出来，这里我们根据Java版本进行分析后，开发一个php版本的client。以加深对于canal的理解

完整代码： https://github.com/nobody05/canal_php

安装protoc 下载地址：https://github.com/protocolbuffers/protobuf/tags
将canal官网的CanalProtocol.proto、EntryProtocol.proto 文件复制到项目目录，地址：https://github.com/alibaba/canal/tree/master/protocol/src/main/java/com/alibaba/otter/canal/protocol
执行 protoc CanalProtocol.proto --php_out=./ 分别去生成php的类文件
安装PHP protocol 依赖 composer require google/protobuf
使用swoole client提供tcp client 功能
了解canal_server的tcp包处理逻辑

重点攻破

其实简单来说我们要做的就是完整与canal_server的数据交互，那么主要有以下几个步骤

如何完成client-server的网络连接，也就是TCP的处理，这个很明白了就是connect、read、write那几步
处理TCP的粘包、拆包问题，这里我们需要了解，canal_server的实现，内部使用netty提供网络服务，netty采用固定包头(4字节)第四个字节表示包体长度+包体进行包处理，这里需要去看一下下面的代码，那么我们在client进行相应的解包的时候就需要注意了，先要去除包头的内容，再去获取包体内容，然后再反序列化奥
再一个需要了解的是数据序列化方式，这里采用protocolBuf进行序列化，这是一个跨语言的工具，可以根据定义好的结构，生成不同的语言包，直接使用就可以了
对于client的使用，这里用swoole提供的client既可以了

启动client

修改相关表

相关文档

canal: https://github.com/alibaba/canal
protocolBuf使用：https://www.jianshu.com/p/ce098058edf0

相关代码

client代码: https://github.com/nobody05/canal_php

protoc安装

上一篇：七爪源码:使用 Golang 开发 RPC 连接
下一篇：protobuf之序列化数据和反序列化数据基础知识

MySQL日志解析工具Canal的使用 mysql日志binlog

相关推荐

在.net core中使用nginx做负载均衡

React 18 超全升级指南

LTUI v1.7 发布，一个基于 Lua 的跨平台字符终端 UI 界面库

生成对抗网络(GAN)的半监督学习

《若依ruoyi》第二十五章:Spring boot 上传下载封装详解二

QT进阶之路 : 布局详解

如何在 Element UI 中使用栅格布局实现响应式设计?

IDEA 中 Jetty 的配置操作手册 idea jfinal

如何在Dify平台上创建智能Agent:一步步教你实现超级智能体搭建

k8s自动化运维三