Navigation

    数据用户治理组

    • Register
    • Login
    • Search
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Groups
    1. Home
    2. Popular
    Log in to post
    • All categories
    • CloudCanal
    •      官方FAQ
    •      技术分享
    •      版本发布
    •      安装部署
    •      需求交流
    •      官方信息发布
    • CloudDM
    •      问答区
    • CloudDataway
    •      问答区
    •      技术文章分享
    • Canal
    •      问答区
    •      技术文章分享
    • All Topics
    • New Topics
    • Watched Topics
    • Unreplied Topics
    • All Time
    • Day
    • Week
    • Month
    • 楚天乐

      SOLVED canal 1.0.17报错parse row
      问答区 • • 楚天乐

      2
      0
      Votes
      2
      Posts
      424
      Views

      CloudCanal-万少

      根据堆栈信息,应该是某些表的类型解析报错。可以关注下A库和B库订阅的表的表结构上的差异。你的另外个问题我已经回复了如何debug canal,可以参考下:请问如何源码调试canal

    • 楚天乐

      SOLVED 请问如何源码调试canal
      问答区 • • 楚天乐

      2
      0
      Votes
      2
      Posts
      512
      Views

      CloudCanal-万少

      @楚天乐 先下载和你使用的版本像对应的源码版本,这样堆栈中的行号才会和你源码中的行号互相匹配。

      阅读堆栈,定位DEBUG的类和方法

      如果看到异常堆栈,可以确定异常的方法和类。例如如下堆栈,可以看到出问题的方法主要是LogBuffer,RowsLogBuffer和LogEventConvert这几个类。选择哪个类和方法debug来诊断问题是有技巧的,主要选择哪些本地变量有一些语义的地方打印日志是比较好的。针对下面这个堆栈,我们查看相关类和方法的源码之后,可以直接在fetchValue这个方法上打断点,因为这边入参有columnName等信息,可以方便我们确定是哪个列的内容解析时产生了这个问题。可以直接加个try-catch,这样方便有异常的时候才进入断点,或者使用IDEA的条件断点也是可以的。

      Caused by: com.alibaba.otter.canal.parse.exception.CanalParseException: parse row data failed. Caused by: java.lang.IllegalArgumentException: limit excceed: 258 at com.taobao.tddl.dbsync.binlog.LogBuffer.getInt8(LogBuffer.java:253) at com.taobao.tddl.dbsync.binlog.event.RowsLogBuffer.fetchValue(RowsLogBuffer.java:286) at com.taobao.tddl.dbsync.binlog.event.RowsLogBuffer.nextValue(RowsLogBuffer.java:95) at com.alibaba.otter.canal.parse.inbound.mysql.dbsync.LogEventConvert.parseOneRow(LogEventConvert.java:409) at com.alibaba.otter.canal.parse.inbound.mysql.dbsync.LogEventConvert.parseRowsEvent(LogEventConvert.java:331) at com.alibaba.otter.canal.parse.inbound.mysql.dbsync.LogEventConvert.parse(LogEventConvert.java:101) at com.alibaba.otter.canal.parse.inbound.mysql.dbsync.LogEventConvert.parse(LogEventConvert.java:61) at com.alibaba.otter.canal.parse.inbound.AbstractEventParser.parseAndProfilingIfNecessary(AbstractEventParser.java:322) at com.alibaba.otter.canal.parse.inbound.AbstractEventParser$3$1.sink(AbstractEventParser.java:175) at com.alibaba.otter.canal.parse.inbound.mysql.MysqlConnection.dump(MysqlConnection.java:124) at com.alibaba.otter.canal.parse.inbound.AbstractEventParser$3.run(AbstractEventParser.java:208) at java.lang.Thread.run(Thread.java:748)

      d2b67497-f739-4787-9e13-112ee2d521dd-image.png

      配置和启动程序

      源码中相关的几个properties文件也需要配置好canal.properties和instance.properties等。Server可以通过CanalLauncher的main方法启动,然后等待进入断点

    • 野人

      SOLVED mysql同步到es,父子关系场景,新增没有问题,更新子对象数据时,es数据没有更新
      问答区 • • 野人

      2
      0
      Votes
      2
      Posts
      577
      Views

      CloudCanal-万少

      @野人 可以看看这个类,打下断点,看看数据有没有过来。这个是数据类型做转换前的数据。
      21133fa1-c4cb-43ab-a1db-8c71c8d077e4-image.png

    • Y

      SOLVED canal支持过滤delete/insert/update等操作吗
      问答区 • canal • • yixi

      2
      0
      Votes
      2
      Posts
      585
      Views

      CloudCanal-万少

      您好,默认的canal是不支持只过滤delete事件这种功能的

    • Y

      SOLVED 设置的pos位置,但是启动canal-server并不是从设置的pos位置抽取,也不是从文件开头位置抽取,而是从设置的pos位置前一段pos位置开始抽
      问答区 • • yixi

      2
      0
      Votes
      2
      Posts
      565
      Views

      CloudCanal-万少

      不设置timestamp只设置了position,canal是根据这个position在binlog文件里面找到最近的一个事务开始同步的,所以实际开始的offset比你自己设置的position靠前是正常的

      c98a5a92-36ff-4449-b220-05f8dd360706-image.png

    • 流转的时光

      SOLVED canal同步es时,新增同步表时需要重启canal-adapter才能进行正常同步
      问答区 • • 流转的时光

      2
      0
      Votes
      2
      Posts
      588
      Views

      CloudCanal-万少

      前面server的过滤正则决定了哪些数据被过滤,新增表的数据符合正则的话后面也会收到,理论上不用重启。如果发现ES没收到数据,可以在最近的点打个断点试下

    • 皛

      canal 支持其它云rocketmq吗
      问答区 • • 皛㿟

      2
      0
      Votes
      2
      Posts
      1988
      Views

      junyu-cloudcanal

      @皛㿟 在 canal 支持其它云rocketmq吗 中说:

      canal.png

      需要在canal 配置中配置 rocketmq 对应的 accessKey 和 secretKey ,因为阿里云 rocketmq 登录方式是以 ak sk 做鉴权的。

    • X

      UNSOLVED canal 同步大表 千万级别的时候 ,binlog 滞后很多,怎么弄?
      问答区 • • xlm

      2
      0
      Votes
      2
      Posts
      895
      Views

      CloudCanal-万少

      这个主要还是性能问题引发的,可以尝试调节一些buffer size相关的参数。如果有兴趣也可以试试cloudcanal,我们专门做过性能优化~

    • Y

      UNSOLVED replace into在binlog里面是update,canal有做特殊处理吗?
      问答区 • • yixi

      2
      0
      Votes
      2
      Posts
      1444
      Views

      CloudCanal-万少

      canal这块没有特殊处理,对于增量直接解析的是binlog,他并不关心原来是通过replace into写入的

    • issyu-summer

      UNSOLVED es同步到mysql问题
      问答区 • • issyu-summer

      2
      0
      Votes
      2
      Posts
      1494
      Views

      CloudCanal-万少

      需要重启加载配置

    • G

      CloudCanal 支持mongoDB 同步吗
      问答区 • • G

      2
      0
      Votes
      2
      Posts
      1914
      Views

      junyu-cloudcanal

      @g 在 CloudCanal 支持mongoDB 同步吗 中说:

      产品介绍上说支持mongoDB 同步,确认下这个在开源版本中实现了吗

      你好,源端mongodb 还在测试中,目前主要也是到 kafka .

    • Carry00

      mysql同步到kafka 数据是空
      问答区 • • Carry00

      2
      0
      Votes
      2
      Posts
      2098
      Views

      junyu-cloudcanal

      @carry00 在 mysql同步到kafka 数据是空 中说:

      版本 2.0.1
      全量数据同步之后,data 都是空

      { ... "data":[{"":""}], ... "sql":"insert into tablexx (........)", "db":"user", "table":"user" } ...

      之前是,大部分数据都是空,有少量数据是正常的,后来重启几次任务,重建几次任务之后就全都是空了。

      看debug日志,发现rwoDatasList beforeColumnList 有column值
      afterColumnsList 里的column的值都是空

      任务详情-> 库表映射 ,点进去看下订阅的表列是怎么样的?

    • 牛鼻子猩猩

      UNSOLVED 安装启动报错Unsupported config option for services service: 'prometheus'
      问答区 • 安装启动报错 • • 牛鼻子猩猩

      2
      0
      Votes
      2
      Posts
      1523
      Views

      junyu-cloudcanal

      @牛鼻子猩猩 这个我们得看下。目前原因未知。

    • 等一分钟

      UNSOLVED 全量+增量同步mysql到starrock 失败
      问答区 • • 等一分钟

      2
      0
      Votes
      2
      Posts
      1374
      Views

      KamiWan

      有不支持迁移的表结构,SR要求key的定义在表结构中必须排在前面,这些不支持的表现在可以先手动创建下

    • 声声慢

      mysql到mysql,宽表增量失败
      问答区 • 宽表增量sh 宽表构建 • • 声声慢

      2
      0
      Votes
      2
      Posts
      1439
      Views

      声声慢

      最后一个连表SQL主要是三张表的关联关系,因为第一个评论维表是与源表主键ID相关联的,我这边宽表也是有映射的。第二个用户表没有映射,update时源表t_rp_user_id为空,无法查询数据,故先去根据主键ID把源表的t_rp_user_id查询出来再根据t_rp_user_id查询第二张维表中的name,mobile字段。

    • Y

      UNSOLVED otter打包缺少依赖jtester和ojdbc怎么办?
      问答区 • 安装部署 • • yixi

      2
      0
      Votes
      2
      Posts
      847
      Views

      CloudCanal-万少

      其实otter工程已经自带了这两个jar,如下图所示
      0577ff93-797d-4d5a-96b9-c4d679148022-image.png

      如果你是本地打包报错,可以先装下这两个jar到你的本地仓库:

      ### 进入otter/lib目录 然后执行以下maven命令 mvn install:install-file -Dfile=jtester-1.1.8.jar -DgroupId=org.jtester -DartifactId=jtester -Dversion=1.1.8 -Dpackaging=jar mvn install:install-file -Dfile=ojdbc6.jar -DgroupId=com.oracle -DartifactId=ojdbc6 -Dversion=11.1.0.7.0 -Dpackaging=jar

      本地仓库有这两个包之后,再打包就不会报错了,还有问题可以提问。

    • CloudCanal-万少

      新需求请统一提到Gitee Issue,地址见帖子内容
      需求交流 • cloudcanal • • CloudCanal-万少

      1
      0
      Votes
      1
      Posts
      1605
      Views

      No one has replied

    • CloudCanal-万少

      数据迁移同步平台CloudCanal免费社区版正式发布,诸多功能特性等你体验!
      官方信息发布 • cloudcanal • • CloudCanal-万少

      1
      0
      Votes
      1
      Posts
      1857
      Views

      No one has replied

    • CloudCanal-万少

      问答区提问须知
      问答区 • ddl mysql-to-es mysql-to-hbase mysql-to-kafka mysql-to-mysql • • CloudCanal-万少

      1
      0
      Votes
      1
      Posts
      1245
      Views

      No one has replied

    • CloudCanal-万少

      CloudCanal和Canal的区别
      技术分享 • cloudcanal • • CloudCanal-万少

      1
      0
      Votes
      1
      Posts
      2089
      Views

      No one has replied

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 5 / 9