Navigation

    数据用户治理组

    • Register
    • Login
    • Search
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Groups
    1. Home
    2. Recent
    Log in to post
    • All categories
    • CloudCanal
    •      官方FAQ
    •      技术分享
    •      版本发布
    •      安装部署
    •      需求交流
    •      官方信息发布
    • CloudDM
    •      问答区
    • CloudDataway
    •      问答区
    •      技术文章分享
    • Canal
    •      问答区
    •      技术文章分享
    • All Topics
    • New Topics
    • Watched Topics
    • Unreplied Topics
    • CloudCanal-万少

      新需求请统一提到Gitee Issue,地址见帖子内容
      需求交流 • cloudcanal • • CloudCanal-万少

      1
      0
      Votes
      1
      Posts
      1605
      Views

      No one has replied

    • CloudCanal-万少

      [ReleaseNote] CloudCanal-1.0.3
      版本发布 • cloudcanal • • CloudCanal-万少

      1
      0
      Votes
      1
      Posts
      2715
      Views

      No one has replied

    • junyu-cloudcanal

      5分钟搞定 MySQL 到 MySQL "异构"在线数据迁移同步
      技术分享 • 数据同步 mysql 异构 快速 • • junyu-cloudcanal

      3
      0
      Votes
      3
      Posts
      3826
      Views

      CloudCanal-万少

      @神经蛙-0 灾备在数据同步层面用CloudCanal就可以搞定,针对目标数据库建好数据同步链路就可以了。业务上需要做好监控,如果主库挂了,得及时将应用流量切换到备库上

    • zycgit

      5分钟搞定 MySQL 到 TiDB 的数据同步 - CloudCanal实战
      技术分享 • cloudcanal mysql tidb • • zycgit

      1
      0
      Votes
      1
      Posts
      1971
      Views

      No one has replied

    • CloudCanal-万少

      5分钟搞定 MySQL 到 ElasticSearch 迁移同步-CloudCanal实战
      技术分享 • cloudcanal elasticsearch • • CloudCanal-万少

      1
      0
      Votes
      1
      Posts
      2363
      Views

      No one has replied

    • CloudCanal-万少

      [ReleaseNote] CloudCanal-1.0.1
      版本发布 • cloudcanal 版本更新 • • CloudCanal-万少

      1
      0
      Votes
      1
      Posts
      1308
      Views

      No one has replied

    • CloudCanal-万少

      [ReleaseNote] CloudCanal-1.0.0
      版本发布 • cloudcanal • • CloudCanal-万少

      3
      0
      Votes
      3
      Posts
      2796
      Views

      junyu-cloudcanal

      @oc 在 [RELEASE_20210727] CloudCanal版本迭代日志 中说:

      想请问下,PolarDB数据源往clickhouse实时迁移数据,中间可能需要进行合并等操作,能完成这样的功能吗?可以的话,有没有性能测试报告看看?

      目前我们没有严格的性能测试报告,因为 clickhouse 合并有一定随机性,初步观察,IUD 混合负载下,全转成 insert 再批量写路 ,4KB /条 数据, 单线程 1.5K rps 问题不大,我们自身还有很多优化空间。

    • CloudCanal-万少

      数据迁移同步平台CloudCanal免费社区版正式发布,诸多功能特性等你体验!
      官方信息发布 • cloudcanal • • CloudCanal-万少

      1
      0
      Votes
      1
      Posts
      1857
      Views

      No one has replied

    • CloudCanal-万少

      CloudCanal和Canal的区别
      技术分享 • cloudcanal • • CloudCanal-万少

      1
      0
      Votes
      1
      Posts
      2091
      Views

      No one has replied

    • QQ-D374837A041DB84FDDA102EBB3E1FEF2

      UNSOLVED ETL执行全量同步到es7报错
      问答区 • mysql-to-elasticsearch • • QQ-D374837A041DB84FDDA102EBB3E1FEF2

      8
      0
      Votes
      8
      Posts
      2037
      Views

      QQ-D374837A041DB84FDDA102EBB3E1FEF2

      @cloudcanal-万少 我把用union all 拼接的其中一个sql 单独拿出来是可以同步的,但是放上那个拼接的 就不可以了 您这边有什么好的建议吗?

    • CloudCanal-万少

      CloudCanal Release Note 汇总
      版本发布 • cloudcanal • • CloudCanal-万少

      1
      0
      Votes
      1
      Posts
      2638
      Views

      No one has replied

    • Y

      UNSOLVED replace into在binlog里面是update,canal有做特殊处理吗?
      问答区 • • yixi

      2
      0
      Votes
      2
      Posts
      1444
      Views

      CloudCanal-万少

      canal这块没有特殊处理,对于增量直接解析的是binlog,他并不关心原来是通过replace into写入的

    • X

      UNSOLVED canal 同步大表 千万级别的时候 ,binlog 滞后很多,怎么弄?
      问答区 • • xlm

      2
      0
      Votes
      2
      Posts
      895
      Views

      CloudCanal-万少

      这个主要还是性能问题引发的,可以尝试调节一些buffer size相关的参数。如果有兴趣也可以试试cloudcanal,我们专门做过性能优化~

    • CloudCanal-万少

      CloudCanal——免费的企业级数据同步工具,欢迎下载
      官方信息发布 • cloudcanal • • CloudCanal-万少

      11
      0
      Votes
      11
      Posts
      4934
      Views

      CloudCanal-万少

      @xlm 哈咯,添加文章底部的微信二维码就可以哈

    • zycgit

      Dataway 和 Hasor 体系剥离
      问答区 • dataway • • zycgit

      3
      0
      Votes
      3
      Posts
      2435
      Views

      zycgit

      @卐 https://gitee.com/clougence/hasor-examples/tree/master/hasor/www-dataql-demos
      你可以研究一下这个项目,不过更建议你 单独开一个 帖子进行提问。

    • junyu-cloudcanal

      构建基于Kafka中转的混合云在线数据生态-CloudCanal实战
      技术分享 • 跨互联网 数据同步 mysql kafka • • junyu-cloudcanal

      1
      0
      Votes
      1
      Posts
      1887
      Views

      No one has replied

    • junyu-cloudcanal

      5分钟搞定 MySQL 到 ClickHouse 实时数据同步-CloudCanal 实战
      技术分享 • clickhouse mysql • • junyu-cloudcanal

      1
      0
      Votes
      1
      Posts
      3948
      Views

      No one has replied

    • six

      canal.adapter-1.1.5同步到ES报错
      问答区 • • six

      1
      0
      Votes
      1
      Posts
      1389
      Views

      No one has replied

    • 皛

      canal 支持其它云rocketmq吗
      问答区 • • 皛㿟

      2
      0
      Votes
      2
      Posts
      1988
      Views

      junyu-cloudcanal

      @皛㿟 在 canal 支持其它云rocketmq吗 中说:

      canal.png

      需要在canal 配置中配置 rocketmq 对应的 accessKey 和 secretKey ,因为阿里云 rocketmq 登录方式是以 ak sk 做鉴权的。

    • 皛

      配置正则不生效(canal.instance.filter.regex=canal_dump\..*),Instance下meta.dat文件里的 filter为空
      问答区 • • 皛㿟

      8
      0
      Votes
      8
      Posts
      2168
      Views

      皛

      @cloudcanal-万少 这边没有改代码,没有相关日志

    • 1
    • 2
    • 3
    • 4
    • 5
    • 6
    • 7
    • 8
    • 9
    • 6 / 9