[ReleaseNote] CloudCanal-1.1.0
-
发版时间:2021年9月24日
版本号: 1.1.0新链路
- 支持 MySQL 到 Oracle & MongoDB 链路 (结构迁移、全量、增量、校验)
- 支持 MySQL & PostgreSQL & Oracle 到 Kudu 链路 (version >= 1.6)
- 支持 PostgreSQL 到 MySQL 链路 (结构迁移、全量、增量、校验)
- 支持 PolarDB MySQL 到 Greenplum 链路 (结构迁移、全量、增量、校验)
新特性
- 支持增量订正数据 (暂且开放 MySQL -> MySQL)
- 支持添加数据源时测试连通性(自建数据源)
- 支持精确设置任务增量位点(e.g., MySQL 文件位点)
- 支持 Kafka 压缩消息(压缩算法可选择)
- 支持全量迁移任务重跑
- 支持阿里云 MongoDB & Redis 数据源无缝添加(自动获取信息、加白名单等)
- 支持系统管理员管理用户(移交资源和删除用户)
- 支持修改个人信息(手机号和邮箱)
- 支持新元数据架构(部分数据源,逐步完整)
- 支持通过配置关闭验证码登录
- 支持通过配置自定义验证码(但还是建议使用正规短信验证码)
- 支持 MySQL 作为源端 unsigned 列自动类型提升
- 支持 MySQL MyISAM 表引擎
- 支持创建任务的时候使用唯一键+普通列的方式来设置对端主键(特别针对主键不全局唯一的分库分表场景)
- 支持在任务详情可视化查看校验任务日志
- 支持 where 过滤条件 !=
优化
- 优化创建任务过程中对于数据库元信息获取效率(特别对于上千张表,分库分表等情况)
- 优化报错信息,更加清晰和明确(特别对于控制台异步任务)
- 优化增量任务(所有具备增量能力的链路)位点更新和重置相关的逻辑
- 优化 MySQL 源端全量获取数据行数问题,去除对 information_schema.innodb_xx 系列表依赖
- 优化 MySQL <-> MySQL 双向同步性能(multisql)
- 统一并优化数据源认证方式
- 优化结构迁移在获取元信息内容过多导致 RPC TIMEOUT 的问题
- 优化 Druid 依赖,统一版本为 1.2.6
- 优化 Oracle 为对端结构迁移过程中索引名字超过30个字符问题
- 优化 ElasticSearch 作为对端在写入 Array 类型数据的数据兼容性
- 优化创建任务的性能
- 优化前端部署方式
- 优化交互体验
Bug Fix
- 修复 MySQL 对端,某些情况下异常被吞问题(致命)
- 修复 Redis 对端 连接池使用不当问题 (致命)
- 修复 RDS 隐藏主键导致的空 field name 问题(老版本 RDS for MySQL 无主键表 , 致命)
- 修复 MySQL 心跳包位点干扰增量解析问题(exceed max allowed packet size,致命)
- 修复 MySQL 切换可能导致的位点错位问题
- 修复 MySQL 到 Kafka & RabbitMQ & RocketMQ 结构迁移过程中存在的问题
- 修复 MySQL 到 ClickHouse 结构迁移类型问题(部分)
- 修复 MySQL 到 PostgreSQL & Greenplum 结构迁移过程中的外键问题
- 修复 MySQL 中 enum/set 类型解析问题
- 修复 MySQL enum/set 类型配合 where 条件结合使用时的类型处理问题
- 修复 MySQL 对端,特殊分支逻辑和常规分支逻辑不一致问题(ignore 缺失导致not null 约束字段报 can not be null 错误)
- 修复 MySQL 多唯一键情况下,第一个唯一键被识别为主键的元信息问题
- 修复 Oracle 到 Oracle & MySQL 数据同步过程中异常中断问题
- 修复 Oracle 对端,时间类型写入问题
- 修复 Oracle 创建物化视图, 虚拟列处理错误的问题
- 修复 ElasticSearch 对端,“是否索引”添加在 object,nested 等类型上导致的创建索引失败问题
- 修复 MySQL -> ElasticSearch 结构迁移地理信息类型同步的问题
- 修复 ElasticSearch 对端,已存在索引设置 index 属性时,结构迁移中无法正常搜索的问题
- 修复 ElasticSearch 对端,查询已经存在的索引时 Boolean 类型转化报错
- 修复 ElasticSearch 对端,字段“是否索引”设置不准确的问题(设置为false,仍然为true)
- 修复 PolarDB for MySQL 的使用 AK/SK 上的问题
- 修复数据过滤 where条件 != 操作符全量报错问题
- 修复多条链路结构迁移时类型映射问题
- 修复部分数据源 unsigned type 类型映射没有指定的问题
- 修复登录异常问题(csrf)
- 修复结构迁移进度不准问题
- 修复状态机异常情况下无法删除任务的问题
- 修复任务状态显示异常问题(任务因异常不断重启,页面状态仍然显示正常)
- 关闭 Greenplum 不能作为源端增量任务,但可被创建出来的问题
- 修复同步进度百分比展示异常的问题
Copyright © 2020 ClouGence, Inc.备案号:浙ICP备20007605号-2