Redis 大数据量高速迁移，2000W key不到2分钟！
redis是目前最流行的键值对存储数据库，凭借高性能和丰富的数据类型的特性，不仅可以作为缓存，还可以作为一个可持久化的数据库存储。随着业务的发展和版本的迭代，必然会遇到内存不足、集群节点不够和bug等一系列问题。为了防止这些问题导致的系统故障，常常会把对内存、集群节点扩缩容和版本升级等操作作为工作考核的重要一项。这些操作都涉及了数据的迁移，所以，提供高效、安全的不停机数据迁移方案是非常有必要的。
现在，ninedata 在支持业务不中断的前提下，实现了配置简单、稳定、高效、安全的数据迁移服务，很好地满足版本升级、扩容、缩容等场景下对数据迁移和同步的需求。经实测，ninedata 可在 2分钟内完成2000万个 key（5gb）数据的迁移，平均 迁移速度为 164398 个key/秒，性能是开源工具的2倍多。
1、传统的迁移方案
目前，数据迁移主要的方式有：使用 rdb 迁移，或一些开源工具进行数据迁移。对于这些方式的迁移，会存在一些问题：
需要停机，对于拷贝 rdb 文件方式的迁移，不能保障在线业务，并且也不能兼容大版本升级。
准确性难保障，不支持数据检测能力，迁移后的数据质量难以保障。
可靠性差，对于开源工具，迁移异常后，进程直接退出。
运维性差，不能进行暂停、限流、告警等操作。
2、高性能的迁移方案
ninedata 提供的数据复制同时包含了数据迁移和数据同步的能力，在不影响业务的前提下，提供了高效、稳定、安全的迁移能力。相较于传统迁移比，ninedata 的 redis 数据迁移能力有如下优势：
▶︎ 简单易用
一分钟即可完成任务配置，并全自动化完成任务迁移。
▶︎ 强劲性能
通过动态攒批、队列优化、流式内存管理等核心技术，迁移性能达到16万key/秒，性能是开源迁移工具的2倍，有效保障迁移效率。
▶︎ 高可靠
结合新型断点、异常诊断及丰富的修复手段，对于迁移过程中可能出现软硬件故障，提供完善的容灾能力，大大提高了迁移的成功率。
通过上述优势，保证了 ninedata 在 redis 迁移场景下的领先性。另外，ninedata 还提供了对比功能，包含全量、快速和不一致复检的对比方式，并且也支持不同的对比频率。在迁移或复制结束后，通过对比，有效地保障数据的质量。
3、操作使用
ninedata 在提供强大迁移能力的同时，也保证了使用的简单性，只需1分钟就能完成迁移任务的配置，实现完全自动化的数据迁移过程。下面我们来看下整个任务的配置过程：
3.1 迁移链路的配置
迁移链路的配置
1. 配置任务名称，选择要迁移的源和目标实例。
2. 选择复制类型，数据迁移选择结构和全量复制（数据迁移）。
3. 根据需要，选择合适的冲突处理策略。
3.2 选择迁移对象
选择迁移对象
选择迁移对象：可选择不同 db 进行迁移。
3.3 配置映射对象
配置映射对象
配置映射：可以把源实例的多个数据库（0~15）映射到目标实例的指定1个或多个数据库，通过该映射能力可以实现类似于 mysql 多源复制的场景。
3.4 预检查
预检查
通过完善的检查项，保证了迁移任务的稳定性。到此，我们就完成了一个高效、安全的 redis 迁移任务的配置，当完成配置并启动任务后，ninedata 会自动启动全量复制及增量复制过程，实现全自动化的数据迁移。
同时，为了提供更好的迁移体验，ninedata 针对迁移过程提供了完善的观测、干预能力。其不但提供对象迁移的详细状态、进展、详情，还通过监控和日志透露后台线程的内部执行情况，帮助用户全方位追踪迁移进展。同时，还针对运行过程中可能出现的异常情况，提供基础诊断和迁移限流能力，让用户能够自主快速地诊断并修复链路，保障迁移稳定性。迁移期间的信息：
ninedata针对迁移过程提供了完善的观测能力
ninedata提供完善的可干预能力
ninedata提供基础诊断和迁移限流能力
4、总结
ninedata 基于全量复制、增量日志复制技术，提供了高效、安全可靠的 redis 不停机迁移方案。当然，除了 redis，ninedata 已经支持数十种常见数据库的迁移复制，实现数据库迁移、数据容灾、数据双活、数据仓库实时集成等业务场景。同时，除了 saas 模式外，还提供了企业专属集群模式，满足企业最高的数据安全合规要求。目前，ninedata已在运营商、金融、制造业、地产、电商等多个行业完成大规模应用实践。
低压电器的选用原则及注意事项
极氪推出自研电池——首款量产铁锂超快充金砖电池
三极管电路图设计 电灯泡控制开关电路仿真实验
IVS将其AI成像分析算法出口到日本NTT Docomo
JK教你如何正确选择家用银幕
Redis 大数据量高速迁移，2000W key不到2分钟！
iPhone8支持去马赛克功能，钱包已经饥渴难耐
用倾角传感器监测桥梁的安全性
四位电子密码锁电路图
如何分辨HDMI 2.0和HDMI 1.4接口
区块链资产交易协议Loopring将彻底解决中心化交易所的固有风险
PCB生产所需要的设备有哪些
华为在通讯设备市场占有率排世界第一
2019年Qualcomm5G商用移动终端计划将成为现实
三洋发布廉价简化版eneloop lite充电电池
英国TWM推出一款LED中置信标 能够提升行人过马路时的能见度和警觉性
如何将OpticStudio中的信息转换为有限差分本征模
集成运放的原理 集成运放线性和非线性区的特点
汽车芯片引领汽车工业产业升级,汽车芯片增速远高于整车销量增速
天嵌科技TQ335XC开发板-TI系列规格
现在，ninedata 在支持业务不中断的前提下，实现了配置简单、稳定、高效、安全的数据迁移服务，很好地满足版本升级、扩容、缩容等场景下对数据迁移和同步的需求。经实测，ninedata 可在 2分钟内完成2000万个 key（5gb）数据的迁移，平均 迁移速度为 164398 个key/秒，性能是开源工具的2倍多。
1、传统的迁移方案
目前，数据迁移主要的方式有：使用 rdb 迁移，或一些开源工具进行数据迁移。对于这些方式的迁移，会存在一些问题：
需要停机，对于拷贝 rdb 文件方式的迁移，不能保障在线业务，并且也不能兼容大版本升级。
准确性难保障，不支持数据检测能力，迁移后的数据质量难以保障。
可靠性差，对于开源工具，迁移异常后，进程直接退出。
运维性差，不能进行暂停、限流、告警等操作。
2、高性能的迁移方案
ninedata 提供的数据复制同时包含了数据迁移和数据同步的能力，在不影响业务的前提下，提供了高效、稳定、安全的迁移能力。相较于传统迁移比，ninedata 的 redis 数据迁移能力有如下优势：
▶︎ 简单易用
一分钟即可完成任务配置，并全自动化完成任务迁移。
▶︎ 强劲性能
通过动态攒批、队列优化、流式内存管理等核心技术，迁移性能达到16万key/秒，性能是开源迁移工具的2倍，有效保障迁移效率。
▶︎ 高可靠
结合新型断点、异常诊断及丰富的修复手段，对于迁移过程中可能出现软硬件故障，提供完善的容灾能力，大大提高了迁移的成功率。
通过上述优势，保证了 ninedata 在 redis 迁移场景下的领先性。另外，ninedata 还提供了对比功能，包含全量、快速和不一致复检的对比方式，并且也支持不同的对比频率。在迁移或复制结束后，通过对比，有效地保障数据的质量。
3、操作使用
ninedata 在提供强大迁移能力的同时，也保证了使用的简单性，只需1分钟就能完成迁移任务的配置，实现完全自动化的数据迁移过程。下面我们来看下整个任务的配置过程：
3.1 迁移链路的配置
迁移链路的配置
1. 配置任务名称，选择要迁移的源和目标实例。
2. 选择复制类型，数据迁移选择结构和全量复制（数据迁移）。
3. 根据需要，选择合适的冲突处理策略。
3.2 选择迁移对象
选择迁移对象
选择迁移对象：可选择不同 db 进行迁移。
3.3 配置映射对象
配置映射对象
配置映射：可以把源实例的多个数据库（0~15）映射到目标实例的指定1个或多个数据库，通过该映射能力可以实现类似于 mysql 多源复制的场景。
3.4 预检查
预检查
通过完善的检查项，保证了迁移任务的稳定性。到此，我们就完成了一个高效、安全的 redis 迁移任务的配置，当完成配置并启动任务后，ninedata 会自动启动全量复制及增量复制过程，实现全自动化的数据迁移。
同时，为了提供更好的迁移体验，ninedata 针对迁移过程提供了完善的观测、干预能力。其不但提供对象迁移的详细状态、进展、详情，还通过监控和日志透露后台线程的内部执行情况，帮助用户全方位追踪迁移进展。同时，还针对运行过程中可能出现的异常情况，提供基础诊断和迁移限流能力，让用户能够自主快速地诊断并修复链路，保障迁移稳定性。迁移期间的信息：
ninedata针对迁移过程提供了完善的观测能力
ninedata提供完善的可干预能力
ninedata提供基础诊断和迁移限流能力
4、总结
ninedata 基于全量复制、增量日志复制技术，提供了高效、安全可靠的 redis 不停机迁移方案。当然，除了 redis，ninedata 已经支持数十种常见数据库的迁移复制，实现数据库迁移、数据容灾、数据双活、数据仓库实时集成等业务场景。同时，除了 saas 模式外，还提供了企业专属集群模式，满足企业最高的数据安全合规要求。目前，ninedata已在运营商、金融、制造业、地产、电商等多个行业完成大规模应用实践。
低压电器的选用原则及注意事项
极氪推出自研电池——首款量产铁锂超快充金砖电池
三极管电路图设计 电灯泡控制开关电路仿真实验
IVS将其AI成像分析算法出口到日本NTT Docomo
JK教你如何正确选择家用银幕
Redis 大数据量高速迁移，2000W key不到2分钟！
iPhone8支持去马赛克功能，钱包已经饥渴难耐
用倾角传感器监测桥梁的安全性
四位电子密码锁电路图
如何分辨HDMI 2.0和HDMI 1.4接口
区块链资产交易协议Loopring将彻底解决中心化交易所的固有风险
PCB生产所需要的设备有哪些
华为在通讯设备市场占有率排世界第一
2019年Qualcomm5G商用移动终端计划将成为现实
三洋发布廉价简化版eneloop lite充电电池
英国TWM推出一款LED中置信标 能够提升行人过马路时的能见度和警觉性
如何将OpticStudio中的信息转换为有限差分本征模
集成运放的原理 集成运放线性和非线性区的特点
汽车芯片引领汽车工业产业升级,汽车芯片增速远高于整车销量增速
天嵌科技TQ335XC开发板-TI系列规格