CloudCanal社区版功能需求征集帖(旧，新的提到gitee)

[CloudCanal-万少]

说明

感谢关注CloudCanal的各位粉丝，如果您在使用CloudCanal的过程中有一些需求没有得到满足，欢迎 在本帖中反馈，对于反馈较多的需求项，在后续的版本更新中我们会优先考虑。

回帖模板

回帖格式参考如下

功能需求 : 请简明描述下您希望的功能需求具体是什么样子的。
应用场景 : 请描述下您的主要应用场景
推荐理由 :

需求优先级

CloudCanal团队会优先考虑实现如下两类需求

• 来源于生产环境深度使用而产生的需求点，有明确的应用场景
• 较多用户反馈的需求点

投票其他人的需求

如果您也赞成其他人的需求提议，可以在他的回复下给他点赞支持，不必重复回帖相同的需求

[CloudCanal-万少]

@白衣先生 提到问答区吧后续，说明下你的意图，每太明白你的意思

[白衣先生]

同步mysql时，经纬度类型怎么设置

[CloudCanal-万少]

功能需求 :

1. 实例一对多的广播式投递
2. 支持按规则的批量过滤条件设置
   应用场景 : 单库单表到分库分表（比如64库1024表）用cloudcanal全量+增量迁移的话，有什么方案吗？我能想到的就是 1）把单库单表迁移到1024表（1024个迁移任务），然后把各个表里多余的数据删掉 2）配置1024个迁移任务，每个任务配置不同的过滤条件，比如where shardingalgo(shardingkey)=0, =1 … =1023
   有没有只配置一个任务，然后不需要额外后续操作的办法呢
   推荐理由 : 属于数据库架构改造，单库迁移到分库分表（如果有proxy的话会比较简单）

[zhb]

@zhb drop table truncate table可选

[樹清仔「柯蘭」]

功能需求 : 可修改默认验证码
应用场景 : 社区版部署属于私有项目，默认验证码大家都知道，项目部署在公网，造成很大的安全隐患，希望可以有修改默认验证码的功能
推荐理由 : 社区版部署属于私有项目，默认验证码大家都知道，项目部署在公网，造成很大的安全隐患

[樹清仔「柯蘭」]

功能需求 : 关闭手机号验证码登录，默认手机号，默认验证码登录，可直接登录，不安全
应用场景 : 私有部署的项目，不应允许验证码登录，特不安全，公网情况下，直接使用默认手机号，默认验证码直接登录，造成很大的安全隐患
推荐理由 : 私有部署的项目，不应允许验证码登录，特不安全，公网情况下，直接使用默认手机号，默认验证码直接登录，造成很大的安全隐患

[樹清仔「柯蘭」]

告警是否可以添加测试按钮？？

功能需求 : 填完数据后，需要可以测试推送消息的按钮功能
应用场景 : 告警是很重要的通知信息，但是填完就没地方测试，只能制造测试，这样效率很低
推荐理由 :

[zhb]

功能需求 : clickhouse支持在线DDL同步。包含：增加字段，删除字段，修改字段类型，修改字段名称，修改表名称等。
同步界面增加集群，单机模式可选
应用场景 :
推荐理由 :
状态: 针对clickhouse集群优化

[zhb]

功能需求：任务执行按钮，启动-停止-重跑
应用场景：同步任务中正常的操作功能
推荐理由: 生产环境迫切需要的正常功能，希望工程师优化

[junyu-cloudcanal]

@qq-98f33a01b37b09202ea722c05b58953e 在 CloudCanal社区版功能需求征集帖 中说：

@junyu-cloudcanal 1.选择的时间不是位点记录的时间
2.忽略异常是不是类似于跳过异常继续跑,忽略掉的异常已经在显示了吗

1. 位点记录的时间了，是binlog transaction_end 时间，我们可以根据时间戳查找位点，不一定要file+offset. 能设置 file+offset 的作用是更加精确点，所以我认为是合理的诉求。
2. 忽略的数据会打印的日志里面。

[zhb]

@junyu-cloudcanal 1.选择的时间不是位点记录的时间
2.忽略异常是不是类似于跳过异常继续跑,忽略掉的异常已经在显示了吗

[junyu-cloudcanal]

@qq-98f33a01b37b09202ea722c05b58953e 在 CloudCanal社区版功能需求征集帖 中说：

@junyu-cloudcanal 现在看cloudcanal是记录了时间戳,但是跳过位点没有实现,回溯也是选择按天,最好是把卡住的那一条记录给显示出来,这样很容易排查

左下角可以选择时间。另外我们不是跳位点，而是参数设置里面可以设置忽略异常。

[zhb]

@junyu-cloudcanal 现在看cloudcanal是记录了时间戳,但是跳过位点没有实现,回溯也是选择按天,最好是把卡住的那一条记录给显示出来,这样很容易排查

[zhb]

@junyu-cloudcanal 位点管控，提供方法跳过位点的数据，知道哪一行数据报错,这样应该比较舒服

[junyu-cloudcanal]

@qq-98f33a01b37b09202ea722c05b58953e 在 CloudCanal社区版功能需求征集帖 中说：

功能需求 : 位点管控
应用场景 : 增强位点管控,实现断点续传,这样也就基本不需要数据修正功能,也不会出现数据错误或者丢失的情况
推荐理由 : 重要功能,目前阶段,如果断掉,整库重来还是比较费事的

目前我们是通过时间戳来的。不过你说的设定位点也是一个能力。这样会更加精确点。

[zhb]

功能需求 : 位点管控
应用场景 : 增强位点管控,实现断点续传,这样也就基本不需要数据修正功能,也不会出现数据错误或者丢失的情况
推荐理由 : 重要功能,目前阶段,如果断掉,整库重来还是比较费事的

[junyu-cloudcanal]

@qq-98f33a01b37b09202ea722c05b58953e OK

[zhb]

功能需求 : 对端clickhosue同步模式
应用场景 :
1.普通模式(Normal) :源insert,update,delete, 目标库也对应insert,update,delete , 建议 ClickHouse 表中新增一个名为 cloudcanal_data_version 的字段，用于异步删除数据安全
2.日志模式-UPDATE(LogUpdate) :
将DELETE ,UPDATE 转成 INSERT 语句往 ClickHouse 新增一条记录
这个操作,在ClickHouse 表里新增一个叫 EventType(String) 的字段
这个操作是将 数据源里的操作记录,全打到 ClickHouse 里进行存储
3.日志模式-追加(InsertAll) :
将DELETE ,UPDATE 转成 INSERT 语句往 ClickHouse 新增一条记录
这个操作,在ClickHouse 表里新增一个叫 EventType(String) 的字段
这个操作是将 数据源里的操作记录,全打到 ClickHouse 里进行存储

每个模式都添加的字段 : 同步的时间戳

日志模式-UPDATE和日志模式-追加模式只是针对clickhouse做的特殊优化,全部导入,其他数据源比如mysql,日志模式-UPDATE就是INSERT ON DUPLICATE KEY UPDATE,这三种模式适用于大部分数据库,用户选择添加模式,同样用户也可以选择EventType,同步的时间戳等标签
推荐理由 : 大多数数据库都需要这种需求

[樹清仔「柯蘭」]

@cloudcanal-万少 好吧，忘记啦多个表的情况，我都是一个表一个任务。。。