Your browser does not seem to support JavaScript. As a result, your viewing experience will be diminished, and you have been placed in read-only mode.
Please download a browser that supports JavaScript, or enable it if it's disabled (i.e. NoScript).
尚无回复
@神经蛙-0 灾备在数据同步层面用CloudCanal就可以搞定,针对目标数据库建好数据同步链路就可以了。业务上需要做好监控,如果主库挂了,得及时将应用流量切换到备库上
@oc 在 [RELEASE_20210727] CloudCanal版本迭代日志 中说:
想请问下,PolarDB数据源往clickhouse实时迁移数据,中间可能需要进行合并等操作,能完成这样的功能吗?可以的话,有没有性能测试报告看看?
目前我们没有严格的性能测试报告,因为 clickhouse 合并有一定随机性,初步观察,IUD 混合负载下,全转成 insert 再批量写路 ,4KB /条 数据, 单线程 1.5K rps 问题不大,我们自身还有很多优化空间。
@cloudcanal-万少 我把用union all 拼接的其中一个sql 单独拿出来是可以同步的,但是放上那个拼接的 就不可以了 您这边有什么好的建议吗?
canal这块没有特殊处理,对于增量直接解析的是binlog,他并不关心原来是通过replace into写入的
这个主要还是性能问题引发的,可以尝试调节一些buffer size相关的参数。如果有兴趣也可以试试cloudcanal,我们专门做过性能优化~
@xlm 哈咯,添加文章底部的微信二维码就可以哈
@卐 https://gitee.com/clougence/hasor-examples/tree/master/hasor/www-dataql-demos 你可以研究一下这个项目,不过更建议你 单独开一个 帖子进行提问。
@皛㿟 在 canal 支持其它云rocketmq吗 中说:
canal.png
需要在canal 配置中配置 rocketmq 对应的 accessKey 和 secretKey ,因为阿里云 rocketmq 登录方式是以 ak sk 做鉴权的。
皛
@cloudcanal-万少 这边没有改代码,没有相关日志