Navigation

    数据用户治理组

    • Register
    • Login
    • Search
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Groups

    [ReleaseNote] CloudCanal-1.0.0

    版本发布
    cloudcanal
    3
    3
    2795
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • CloudCanal-万少
      CloudCanal-万少 last edited by CloudCanal-万少

      发版时间:2021年7月27日
      版本号: 1.0.0

      新特性

      • 新增PolarDB源端支持
      • 新增Adb for mysql对端支持
      • 新增mysql->mysql、mysql->adb的虚拟列功能
      • 新增Clickhouse对端支持
      • 新增DRDS源端、对端支持
      • 新增Oracle源端支持
      • 新增Tidb对端支持
      • 支持mysql->mysql双向复制(需开启GTID)
      • 各源和目标端支持列裁剪和列映射(MQ全量不支持裁剪)
      • 支持mysql/polardb->kafka的整库迁移
      • 支持mysql/polardb为源端的相关链路把源端唯一键设置为自定义的主键、支持批量设置
      • 源端为mysql/polardb的同步任务,创建任务时支持树状批量选择库以及对端映射批量选择
      • 新增polardb源端
      • 允许用户不订阅主键
      • 无主键表允许用户配合自定义主键,开放订阅INSERT/UPDATE/DELETE
      • 新增编辑订阅关系能力,支持对已有任务添加和删除新增订阅
      • 支持全量任务忽略异常能力
      • 支持任务异常直接跳转白屏化查看
      • 异常监控支持显示任务名称和描述信息、支持按照任务名查找

      BugFix&优化

      • 修复es对端对于json的处理问题
      • 支持用户自定义配置各组件端口
      • 支持新配置项needJsonEscape,mysql json字段中的\r\n等特殊符号会被正确处理成转义符,避- 免写入报错
      • 修复任务编辑时没有感知主任务大小写配置的问题
      • 修复MQ链路若干bug
      • 修复ClickHouse相关问题若干
      • 过滤drds的xa事件,避免影响后续写入
      • 修复mysql->gp索引同步导致的结构迁移问题
      • 机器监控CPU负载显示异常问题
      • 机器监控处显示逻辑CPU核数
      • 监控管理、任务管理页面CPU、内存等信息不展示的问题
      • 支持 decimal 字段做数据过滤
      • 修复创建任务不同步DDL选择无效的问题
      • 控制台批量操作只操作第一页的问题
      • CPU使用率优化
      • 规格选择匹配默认测试,优化默认参数任务性能
      • 修复pg->pg结构迁移大小写问题
      • 支持基于regionId自动获取vpc的binlog下载地址
      • 优化内存控制,支持基于memory size的控制策略
      • 优化监控体系代码,并额外支持实时内存监控
      • 修复跨账号之间创建任务,访问机器的权限问题
      • 修复pg->pg增量bool类型写入的问题
      • 支持阿里云RDS oss binlog多节点版本、优化RDS oss binlog下载性能
      • 支持阿里云金融云RDS oss binlog下载
      • 钉钉报警支持艾特到具体的人
      • 优化任务状态展示,基于心跳信息展示,更简单和准确
      • binlog parser优化字符串处理性能,提升json大字段解析性能
      1 Reply Last reply Reply Quote 0
      • junyu-cloudcanal
        junyu-cloudcanal @OC last edited by

        @oc 在 [RELEASE_20210727] CloudCanal版本迭代日志 中说:

        想请问下,PolarDB数据源往clickhouse实时迁移数据,中间可能需要进行合并等操作,能完成这样的功能吗?可以的话,有没有性能测试报告看看?

        目前我们没有严格的性能测试报告,因为 clickhouse 合并有一定随机性,初步观察,IUD 混合负载下,全转成 insert 再批量写路 ,4KB /条 数据, 单线程 1.5K rps 问题不大,我们自身还有很多优化空间。

        1 Reply Last reply Reply Quote 0
        • OC
          OC last edited by

          想请问下,PolarDB数据源往clickhouse实时迁移数据,中间可能需要进行合并等操作,能完成这样的功能吗?可以的话,有没有性能测试报告看看?

          junyu-cloudcanal 1 Reply Last reply Reply Quote 0
          • 1 / 1
          • First post
            Last post
          Copyright © 2020 ClouGence, Inc.备案号:浙ICP备20007605号-2