项目背景
阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,同时为了提升用户体验,整个机房的架构为双A,两边均可写,由此诞生了otter这样一个产品。
otter第一版本可追溯到04~05年,此次外部开源的版本为第4版,开发时间从2011年7月份一直持续到现在,目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4。
目前同步规模:
- 同步数据量6亿
- 文件同步1.5TB(2000w张图片)
- 涉及200+个数据库实例之间的同步
- 80+台机器的集群规模
项目介绍
名称:otter ['ɒtə(r)]
译意: 水獭,数据搬运工
语言: 纯java开发
定位: 基于数据库增量日志解析,准实时同步到本机房或跨机房的mysql/oracle数据库.
工作原理
原理描述:
1. 基于Canal开源产品,获取数据库增量日志数据。 什么是Canal, 请点击
2. 典型管理系统架构,manager(web管理)+node(工作节点)
a. manager运行时推送同步配置到node节点
b. node节点将同步状态反馈到manager上
3. 基于zookeeper,解决分布式状态调度的,允许多node节点之间协同工作.
什么是canal?
otter之前开源的一个子项目,开源链接地址:http://github.com/alibaba/canal
otter能解决什么?
1. 异构库同步
a. mysql -> mysql/oracle. (目前开源版本只支持mysql增量,目标库可以是mysql或者oracle,取决于canal的功能)
2. 单机房同步 (数据库之间RTT < 1ms)
a. 数据库版本升级
b. 数据表迁移
c. 异步二级索引
3. 跨机房同步 (比如阿里巴巴国际站就是杭州和美国机房的数据库同不,RTT > 200ms,亮点)
a. 机房容灾
4. 双向同步
a. 避免回环算法 (通用的解决方案,支持大部分关系型数据库)
b. 数据一致性算法 (保证双A机房模式下,数据保证最终一致性,亮点)
5. 文件同步
a. 站点镜像 (进行数据复制的同时,复制关联的图片,比如复制产品数据,同时复制产品图片).
单机房复制示意图:
说明:
a. 数据on-Fly,尽可能不落地,更快的进行数据同步. (开启node loadBalancer算法,如果Node节点S+ETL落在不同的Node上,数据会有个网络传输过程)
b. node节点可以有failover / loadBalancer.
跨机房复制示意图:
说明:
a. 数据涉及网络传输,S/E/T/L几个阶段会分散在2个或者更多Node节点上,多个Node之间通过zookeeper进行协同工作 (一般是Select和Extract在一个机房的Node,Transform/Load落在另一个机房的Node)
b. node节点可以有failover / loadBalancer. (每个机房的Node节点,都可以是集群,一台或者多台机器)
相关名词解释
otter核心model关系图
名词解释
- Pipeline:从源端到目标端的整个过程描述,主要由一些同步映射过程组成
- Channel:同步通道,单向同步中一个Pipeline组成,在双向同步中有两个Pipeline组成
- DateMediaPair:根据业务表定义映射关系,比如源表和目标表,字段映射,字段组等
- DateMedia : 抽象的数据介质概念,可以理解为数据表/mq队列定义
- DateMediaSource : 抽象的数据介质源信息,补充描述DateMedia
- ColumnPair : 定义字段映射关系
- ColumnGroup : 定义字段映射组
- Node : 处理同步过程的工作节点,对应一个jvm
otter的S/E/T/L stage阶段模型
说明:为了更好的支持系统的扩展性和灵活性,将整个同步流程抽象为Select/Extract/Transform/Load,这么4个阶段.
Select阶段: 为解决数据来源的差异性,比如接入canal获取增量数据,也可以接入其他系统获取其他数据等。
Extract/Transform/Load 阶段:类似于数据仓库的ETL模型,具体可为数据join,数据转化,数据Load的
相关实现介绍
QuickStart
See the page for quick start: QuickStart.
AdminGuide
See the page for admin deploy guide : AdminGuide
相关推荐
。。。
。。。
阿里巴巴分布式数据库同步系统(解决中美异地机房) 环境搭建: 进入 $otter_home/lib 目录 执行:bash install.sh 打包: 进入$otter_home目录 执行:mvn clean install -Dmaven.test.skip -Denv=release 发布包位置...
otter第一版本可追溯到04~05年,此次外部开源的版本为第4版,开发时间从2011年7月份一直持续到现在,目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4。目前同步规模:同步数据量6亿文件同步1.5TB...
环境搭建和打包 环境搭建: 进入$ otter_home目录 ...阿里巴巴B2B公司,因为业务的特性,卖家主要集中在国内,买家主要集中在国外,所以衍生出了杭州和美国异地机房的需求,同时为了提升用户体验,整个机房的架构为双
otter分布式数据库同步系统 v4.2.18.zip
mysql/oracle跨机房同步 数据库异地同步 阿里巴巴分布式数据库同步系统(解决中美异地机房) 深入理解otter
阿里巴巴分布式数据库同步系统(解决中美异地机房) otter4使用介绍 mysql/Oracle跨机房同步数据
otter第一版本可追溯到04~05年,此次外部开源的版本为第4版,开发时间从2011年7月份一直持续到现在,目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otter。 目前同步规模: 同步数据量6亿 文件同步1.5TB...
otter基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库、一个分布式数据库同步系统。 工作原理描述: 1、基于Canal开源产品,获取数据库增量日志数据。 什么是Canal,请点击 2、典型管理...
otter 基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步系统。 深入理解otter (偏向技术层面).pdf otter使用介绍 (偏向使用层面) .pdf
基于数据库增量日志解析,准实时同步到本机房或异地机房的mysql/oracle数据库. 一个分布式数据库同步管理系统
otter第一版本可追溯到04~05年,此次外部开源的版本为第4版,开发时间从2011年7月份一直持续到现在,目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4。 目前同步规模: 同步数据量6亿 文件同步1.5...
otter第一版本可追溯到04~05年,此次外部开源的版本为第4版,开发时间从2011年7月份一直持续到现在,目前阿里巴巴B2B内部的本地/异地机房的同步需求基本全上了otte4。 目前同步规模: 同步数据量6亿 文件同步1.5...
阿里开源数据同步otter方面的好书,otter是数据同步利器
导历史表还需要程序实现吗? 还在用mysql的主从复制吗? Otter都能为你解决。
Otter Browser 水獭浏览器 水獭浏览器 - 模仿opera12界面, 基于qt5的webkit浏览器. 等于个人制作山寨版Safari, 支持二代半引擎, 苹果WebEngine/谷歌Blink. 作者: 波兰 Emdek 恩德克 代码可用,本人亲测,qt5.5+vs...
深入理解otter,利用OTTER实现准实时ETL、数据同步 1. 中美同步需求 2. otter架构&设计 如何解决"差"网络 如何避免双向回环 如何处理数据一致性 如何高效同步数据 如何高效同步文件 如何支持系统HA 如何处理特殊...
CSDN无法设置0分下载,已设置成最小分数供大家下载,内容为Otter搭建所需要的包资源及数据库语句文件。若已有该资源请勿下载,浪费分数。