Navigation

    数据用户治理组

    • Register
    • Login
    • Search
    • Categories
    • Recent
    • Tags
    • Popular
    • Users
    • Groups
    1. Home
    2. Popular
    Log in to post
    • All categories
    • CloudCanal
    •      官方FAQ
    •      技术分享
    •      版本发布
    •      安装部署
    •      需求交流
    •      官方信息发布
    • CloudDM
    •      问答区
    • CloudDataway
    •      问答区
    •      技术文章分享
    • Canal
    •      问答区
    •      技术文章分享
    • All Topics
    • New Topics
    • Watched Topics
    • Unreplied Topics
    • All Time
    • Day
    • Week
    • Month
    • 你也可以很优秀

      UNSOLVED 创建任务报错
      CloudCanal • 创建任务报错 • • 你也可以很优秀

      3
      0
      Votes
      3
      Posts
      589
      Views

      junyu-cloudcanal

      @你也可以很优秀 可能有不支持的类型,获取元数据跪了。

    • junyu-cloudcanal

      5分钟搞定 MySQL 到 MySQL "异构"在线数据迁移同步
      技术分享 • 数据同步 mysql 异构 快速 • • junyu-cloudcanal

      3
      0
      Votes
      3
      Posts
      3823
      Views

      CloudCanal-万少

      @神经蛙-0 灾备在数据同步层面用CloudCanal就可以搞定,针对目标数据库建好数据同步链路就可以了。业务上需要做好监控,如果主库挂了,得及时将应用流量切换到备库上

    • Y

      SOLVED 有朋友遇到canal无法stop的情况吗
      问答区 • canal运维 • • yixi

      3
      0
      Votes
      3
      Posts
      787
      Views

      JasonCeng

      已解决,多谢。
      报错:let: not found
      在ubuntu默认是指向bin/dash解释器的,dash是阉割版的bash,其功能远没有bash强大和丰富.并且dash不支持let和i++等功能.

      解决办法:
      sudo dpkg-reconfigure dash   选择 “否”, 表示用bash代替dash

    • C

      UNSOLVED "远程执行SQL失败,请联系管理员。错误信息为:invoke rcontroller method failed.Request id:987bd641-b944-11ec-a34f-b1c790930547msg:SQLSyntaxErrorException: Unknown database 'default_cluster:lbs'
      CloudCanal • 创建任务 库表映射 • • czj

      3
      0
      Votes
      3
      Posts
      556
      Views

      C

      @cloudcanal-万少 在 "远程执行SQL失败,请联系管理员。错误信息为:invoke rcontroller method failed.Request id:987bd641-b944-11ec-a34f-b1c790930547msg:SQLSyntaxErrorException: Unknown database 'default_cluster:lbs' 中说:

      如果你对端没创建lbs库,应该会走结构迁移的,你这边没进行结构迁移么?表结构文本麻烦给下,我们这边可以试下。总结你的问题是PG->SR有库映射的时候无法正常映射 是么?

      对的,问题是这个问题,表结构如下,库名lbs
      CREATE TABLE public.th_task_business (
      id varchar(32) NOT NULL,
      vin varchar(17) NULL,
      business_no varchar(32) NULL,
      task_type varchar(5) NULL,
      task_start_time timestamp NULL,
      task_end_time timestamp NULL,
      create_time timestamp NULL,
      task_start_point varchar(500) NULL,
      task_start_altitude float8 NULL,
      task_end_point varchar(500) NULL,
      task_end_altitude float8 NULL,
      destination_position_id varchar(32) NULL,
      destination_area_id varchar(32) NULL,
      origin_position_id varchar(32) NULL,
      origin_area_id varchar(32) NULL,
      material_type varchar(5) NULL,
      material_properties varchar(5) NULL,
      receving_vin varchar(17) NULL,
      task_state varchar(5) NULL,
      CONSTRAINT th_task_business_pk PRIMARY KEY (id)
      );
      CREATE INDEX th_task_business_business_no_idx ON public.th_task_business USING btree (business_no, vin);

    • CloudCanal--文强

      CloudCanal x StarRocks 在医疗大健康实时数仓领域的落地与实践
      技术分享 • cloudcanal starrocks • • CloudCanal--文强

      3
      0
      Votes
      3
      Posts
      972
      Views

      CloudCanal-万少

      @duzhixin 支持的呀,文章案例就是我们的用户,已经都上生产了

    • navyaijm2017

      SOLVED canal无法写入kafka多分区
      问答区 • • navyaijm2017

      3
      0
      Votes
      3
      Posts
      874
      Views

      junyu-cloudcanal

      @navyaijm2017 在 canal无法写入kafka多分区 中说:

      已解决,正确的配置

      mq config

      canal.mq.dynamicTopic=db_chj_test.sbtest2
      #canal.mq.partition=3
      canal.mq.partitionsNum=3
      canal.mq.partitionHash=db_chj_test.sbtest2:id

      补充下。

      canal.mq.partition 这个参数实际上表示的是在 canal.mq.partitionsNum 和 canal.mq.partitionHash 未设置的情况下,默认写入的partition。以下是参考源码

      for (FlatMessage flatMessage : flatMessages) { /**canal.mq.partitionsNum和canal.mq.partitionHash **/ if (mqDestination.getPartitionHash() != null && !mqDestination.getPartitionHash().isEmpty()) { FlatMessage[] partitionFlatMessage = MQMessageUtils.messagePartition(flatMessage, mqDestination.getPartitionsNum(), mqDestination.getPartitionHash(), this.mqProperties.isDatabaseHash()); int length = partitionFlatMessage.length; for (int i = 0; i < length; i++) { FlatMessage flatMessagePart = partitionFlatMessage[i]; if (flatMessagePart != null) { records.add(new ProducerRecord<>(topicName, i, null, JSON.toJSONBytes(flatMessagePart, SerializerFeature.WriteMapNullValue))); } } } else { /**canal.mq.partition**/ final int partition = mqDestination.getPartition() != null ? mqDestination.getPartition() : 0; records.add(new ProducerRecord<>(topicName, partition, null, JSON.toJSONBytes(flatMessage, SerializerFeature.WriteMapNullValue))); } }
    • 九霄道长

      SOLVED cloudcanal-sidecar是装在容器里的 默认应该是 容器的 mysql 我如何添加容器外已经安装的 mysql那?
      CloudCanal • cloudcanal链接 • • 九霄道长

      3
      0
      Votes
      3
      Posts
      694
      Views

      九霄道长

      @junyu-cloudcanal 感谢 已解决 我自己没开权限

    • CloudCanal-万少

      [ReleaseNote] CloudCanal-1.0.0
      版本发布 • cloudcanal • • CloudCanal-万少

      3
      0
      Votes
      3
      Posts
      2795
      Views

      junyu-cloudcanal

      @oc 在 [RELEASE_20210727] CloudCanal版本迭代日志 中说:

      想请问下,PolarDB数据源往clickhouse实时迁移数据,中间可能需要进行合并等操作,能完成这样的功能吗?可以的话,有没有性能测试报告看看?

      目前我们没有严格的性能测试报告,因为 clickhouse 合并有一定随机性,初步观察,IUD 混合负载下,全转成 insert 再批量写路 ,4KB /条 数据, 单线程 1.5K rps 问题不大,我们自身还有很多优化空间。

    • dudu

      UNSOLVED 同步mysql数据到es,adapter同步记录巨慢
      问答区 • mysql-to-es • • dudu

      3
      0
      Votes
      3
      Posts
      1647
      Views

      junyu-cloudcanal

      有上 promethus 监控么?canal server 的监控指标还是能看出写名堂来的。

    • 秋实

      增量同步报错
      CloudCanal • 增量同步失败 • • 秋实

      3
      0
      Votes
      3
      Posts
      1830
      Views

      秋实

      @junyu-cloudcanal
      1、sidecar进程正常
      89e65996-03c2-4323-9f01-d94b3066d443-image.png
      2、日志在哪个目录看?

    • D

      UNSOLVED 没有cloudcanal 高可用部署版的升级教程
      安装部署 • 安装问题 • • duzhixin

      3
      0
      Votes
      3
      Posts
      1680
      Views

      蒂

      可以出一文档介绍高可用升级,只见部署高可用,没见升级高可用@CloudCanal-万少

    • Live

      SOLVED CloudCanal支持从oracle到mysql吗?
      问答区 • cloudcanal 同步 • • Live

      3
      0
      Votes
      3
      Posts
      1674
      Views

      Live

      @junyu-cloudcanal 好的,感谢回答!

    • junyu-cloudcanal

      如何修改任务规格?
      官方FAQ • 修改规格 • • junyu-cloudcanal

      3
      0
      Votes
      3
      Posts
      2207
      Views

      junyu-cloudcanal

      @九霄道长 商用版有更大的。

    • H

      为什么我下载的社区版只支持mysql
      问答区 • • huiuxsino

      3
      0
      Votes
      3
      Posts
      1425
      Views

      junyu-cloudcanal

      @huiuxsino hi, 是从官网下载的么?www.clougence.com

    • 肖鹏

      SOLVED mysql同步tidb问题
      官方FAQ • tidb同步 • • 肖鹏

      3
      0
      Votes
      3
      Posts
      1791
      Views

      肖鹏

      确实是权限问题,谢谢

    • Alex

      Canal v1.1.4版本搭建HA集群
      技术文章分享 • canal 部署 • • Alex

      2
      1
      Votes
      2
      Posts
      1815
      Views

      CloudCanal-万少

      @Alex 感谢楼主的分享,期待更多canal好文

    • ceven

      【用户分享】CloudCanal助力德勤乐融MySQL同步ES构建宽表场景
      技术分享 • mysql-to-es 宽表 • • ceven

      2
      0
      Votes
      2
      Posts
      1647
      Views

      杨

      一样的配置,在新版本中遇到同样的问题:https://www.askcug.com/topic/242/mysql同步es宽表构建失败

    • M

      SOLVED canal启动报错java.net.UnknownHostException: xxx: Name or service not known
      问答区 • 安装部署 • • metaluo

      2
      0
      Votes
      2
      Posts
      1535
      Views

      CloudCanal-万少

      您好,这个一般是由于您的host文件中的设置有问题会有类似的报错。可以按照如下步骤确认您的linux系统配置

      ### 1. 检查您/etc/hostname中的内容 cat /etc/hostname ### 2. 检查第一步获取的hostname在您的/etc/hosts文件中是否配置了正确的解析 cat /etc/hosts
    • junyu-cloudcanal

      安装社区版一直报waiting for console to start怎么办?
      官方FAQ • 安装失败 • • junyu-cloudcanal

      2
      0
      Votes
      2
      Posts
      1918
      Views

      CloudCanal--文强

      @junyu-cloudcanal

      可以先shutdown.sh然后执行scripts目录里面的delete_all.sh
      然后在startup.sh试一下。

      初次安装的用户有时候回遇到一直报错Waiting for console to start。这个报错意思是console没有正常启动。常见的引起原因有:

      没有按照文档正确安装:比如管控数据库初始化不正常,console自然也就无法启动
      网络环境不正常:sidecar需要去访问console,如果由于网络等原因也会导致无法正确的访问console
      sidecar容器内部可以执行下: curl --noproxy “*” -s -m 5 -IL http://console:8111 该命令为就脚本中用于探测console是否健康
      出现该问题首先到console容器内部/home/clougence/logs/cloudcanal/console/console.log查看最近的日志,看看是由于什么异常导致的无法启动。如果看了异常仍然无法解决,则可以社区发帖提问。

    • M

      SOLVED canal如何保证数据的顺序性,相同主键上的插入更新和删除会保证顺序吗?
      问答区 • canal • • metaluo

      2
      0
      Votes
      2
      Posts
      1334
      Views

      CloudCanal-万少

      以你使用canal订阅增量同步到rdb为例,整个路径会经过binlog->mq->rdb,如果路径上每个地方都能保证顺序,则整体上消息的订阅和写入肯定也是顺序的。

      binlog本身是按照写入顺序记录的 binlog->canal: canal订阅binlog也是按照mysql slave dump协议订阅的,也是有序的 canal->mq: canal投递给mq按照写入mq的方式不同,是在不同的维度保证有序。可以参考官方文档:https://github.com/alibaba/canal/wiki/Canal-Kafka-RocketMQ-QuickStart mq->rdb: 消费mq的消息再写入rdb时,消费的是每个分区的数据。同一个分区内的数据是按序消费的。所以mq写入rdb的顺序也和你一开始设置的mq的分区写入策略有关
    • 1
    • 2
    • 3
    • 4
    • 5
    • 8
    • 9
    • 3 / 9