Navigation

    • Register
    • Login
    • Search
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Groups

    [ReleaseNote] CloudCanal-1.1.0

    版本发布
    cloudcanal
    1
    1
    1011
    Loading More Posts
    • Oldest to Newest
    • Newest to Oldest
    • Most Votes
    Reply
    • Reply as topic
    Log in to reply
    This topic has been deleted. Only users with topic management privileges can see it.
    • CloudCanal-万少
      CloudCanal-万少 last edited by junyu-cloudcanal

      发版时间:2021年9月24日
      版本号: 1.1.0

      新链路

      • 支持 MySQL 到 Oracle & MongoDB 链路 (结构迁移、全量、增量、校验)
      • 支持 MySQL & PostgreSQL & Oracle 到 Kudu 链路 (version >= 1.6)
      • 支持 PostgreSQL 到 MySQL 链路 (结构迁移、全量、增量、校验)
      • 支持 PolarDB MySQL 到 Greenplum 链路 (结构迁移、全量、增量、校验)

      新特性

      • 支持增量订正数据 (暂且开放 MySQL -> MySQL)
      • 支持添加数据源时测试连通性(自建数据源)
      • 支持精确设置任务增量位点(e.g., MySQL 文件位点)
      • 支持 Kafka 压缩消息(压缩算法可选择)
      • 支持全量迁移任务重跑
      • 支持阿里云 MongoDB & Redis 数据源无缝添加(自动获取信息、加白名单等)
      • 支持系统管理员管理用户(移交资源和删除用户)
      • 支持修改个人信息(手机号和邮箱)
      • 支持新元数据架构(部分数据源,逐步完整)
      • 支持通过配置关闭验证码登录
      • 支持通过配置自定义验证码(但还是建议使用正规短信验证码)
      • 支持 MySQL 作为源端 unsigned 列自动类型提升
      • 支持 MySQL MyISAM 表引擎
      • 支持创建任务的时候使用唯一键+普通列的方式来设置对端主键(特别针对主键不全局唯一的分库分表场景)
      • 支持在任务详情可视化查看校验任务日志
      • 支持 where 过滤条件 !=

      优化

      • 优化创建任务过程中对于数据库元信息获取效率(特别对于上千张表,分库分表等情况)
      • 优化报错信息,更加清晰和明确(特别对于控制台异步任务)
      • 优化增量任务(所有具备增量能力的链路)位点更新和重置相关的逻辑
      • 优化 MySQL 源端全量获取数据行数问题,去除对 information_schema.innodb_xx 系列表依赖
      • 优化 MySQL <-> MySQL 双向同步性能(multisql)
      • 统一并优化数据源认证方式
      • 优化结构迁移在获取元信息内容过多导致 RPC TIMEOUT 的问题
      • 优化 Druid 依赖,统一版本为 1.2.6
      • 优化 Oracle 为对端结构迁移过程中索引名字超过30个字符问题
      • 优化 ElasticSearch 作为对端在写入 Array 类型数据的数据兼容性
      • 优化创建任务的性能
      • 优化前端部署方式
      • 优化交互体验

      Bug Fix

      • 修复 MySQL 对端,某些情况下异常被吞问题(致命)
      • 修复 Redis 对端 连接池使用不当问题 (致命)
      • 修复 RDS 隐藏主键导致的空 field name 问题(老版本 RDS for MySQL 无主键表 , 致命)
      • 修复 MySQL 心跳包位点干扰增量解析问题(exceed max allowed packet size,致命)
      • 修复 MySQL 切换可能导致的位点错位问题
      • 修复 MySQL 到 Kafka & RabbitMQ & RocketMQ 结构迁移过程中存在的问题
      • 修复 MySQL 到 ClickHouse 结构迁移类型问题(部分)
      • 修复 MySQL 到 PostgreSQL & Greenplum 结构迁移过程中的外键问题
      • 修复 MySQL 中 enum/set 类型解析问题
      • 修复 MySQL enum/set 类型配合 where 条件结合使用时的类型处理问题
      • 修复 MySQL 对端,特殊分支逻辑和常规分支逻辑不一致问题(ignore 缺失导致not null 约束字段报 can not be null 错误)
      • 修复 MySQL 多唯一键情况下,第一个唯一键被识别为主键的元信息问题
      • 修复 Oracle 到 Oracle & MySQL 数据同步过程中异常中断问题
      • 修复 Oracle 对端,时间类型写入问题
      • 修复 Oracle 创建物化视图, 虚拟列处理错误的问题
      • 修复 ElasticSearch 对端,“是否索引”添加在 object,nested 等类型上导致的创建索引失败问题
      • 修复 MySQL -> ElasticSearch 结构迁移地理信息类型同步的问题
      • 修复 ElasticSearch 对端,已存在索引设置 index 属性时,结构迁移中无法正常搜索的问题
      • 修复 ElasticSearch 对端,查询已经存在的索引时 Boolean 类型转化报错
      • 修复 ElasticSearch 对端,字段“是否索引”设置不准确的问题(设置为false,仍然为true)
      • 修复 PolarDB for MySQL 的使用 AK/SK 上的问题
      • 修复数据过滤 where条件 != 操作符全量报错问题
      • 修复多条链路结构迁移时类型映射问题
      • 修复部分数据源 unsigned type 类型映射没有指定的问题
      • 修复登录异常问题(csrf)
      • 修复结构迁移进度不准问题
      • 修复状态机异常情况下无法删除任务的问题
      • 修复任务状态显示异常问题(任务因异常不断重启,页面状态仍然显示正常)
      • 关闭 Greenplum 不能作为源端增量任务,但可被创建出来的问题
      • 修复同步进度百分比展示异常的问题
      1 Reply Last reply Reply Quote 1
      • 1 / 1
      • First post
        Last post
      Copyright © 2020 ClouGence, Inc.备案号:浙ICP备20007605号-2