大数据迁移评估,基于项目最佳实践,根据表的数量及变化量来评估对接集群队列需要的资源,根据项目规模评估报告生成的时间。对数据校验任务的快慢依赖集群资源规模,提前做好资源评估,能有效规避因资源不足导致的项目停滞风险,保障迁移工作高效推进,避免业务中断与成本浪费。
操作步骤
- 登录迁移中心管理控制台。在左侧导航栏的项目下拉列表中选择创建的应用迁移项目。
- 单击左侧导航栏的“上云规划”,进入上云规划页面。
- 选择大数据迁移评估页签,单击“创建大数据迁移评估”按钮,进入大数据迁移评估页面。
图1 创建大数据迁移评估
- 单击“添加评估”按钮,设置“数据校验资源评估”参数,具体参数参见表1。
表1 Hive表迁移资源评估表
参数 |
说明 |
表数量 |
Hive表的数量,输入值在1到1,000,000之间。 |
日更新分区数 |
每日更新的增量分区数量,输入值在1到1,000,000之间。 |
平均分区大小(G) |
分区平均数据量大小,输入值在1到1,000之间。单位默认GB。 |
统计类型 |
- allsum:统计数据条数,所有数值列的求和以及所有字符串列的字符总长度。
- count:统计每个分区的数据条数。
- sum:统计每个分区的数据条数和所有数值列的求和。
|
期望校验完成时间(H) |
期望数据校验任务执行的时间。输入值在0.1到24之间。单位默认小时。 |
- 配置完以上参数后,单击“评估”按钮。系统会根据配置参数,并给出不同的评估结果。
- 当需要对评估结果修改时,支持单击“重新评估”按钮修改评估数据。最终评估记录及结果不会保存,请使用导出功能保留评估结果。
导出评估结果
您可以通过以下两种方法导出评估结果:
- 在大数据迁移评估页面,单击右上角的“导出”,将评估结果下载到本地,格式为.xlsx。
- 在大数据迁移评估页面,单击页面上方“立即导出”,将评估结果下载到本地,格式为.xlsx。
修改评估方案
您可以在大数据迁移评估页面的评估结果操作列,单击“重新评估”,支持对评估方案进行修改。