中软国际数据治理专业服务解决方案实践

备份原理及方案 DDS实例支持自动备份和手动备份，您可以定期对数据库进行备份，当数据库故障或数据损坏时，可以通过备份文件恢复数据库，从而保证数据可靠性。 备份原理 集群实例 集群实例由dds mongos（路由）、Config（配置）和Shard（分片）组件构成。其中，Confi

查看更多 →

迁移作业原理 数据迁移模型 CDM 数据迁移时，简化的迁移模型如图1所示。 图1 CDM数据迁移模型 CDM通过数据迁移作业，将源端数据迁移到目的端数据源中。其中，主要运行逻辑如下： 数据迁移作业提交运行后，CDM会根据作业配置中的“抽取并发数”参数，将每个作业拆分为多个Task，即作业分片。

查看更多 →

团队标注的数据分配机制是什么？ 目前不支持用户自定义成员任务分配，数据是平均分配的。 当数量和团队成员人数不成比例，无法平均分配时，则将多余的几张图片，随机分配给团队成员。 如果样本数少于待分配成员时，部分成员会存在未分配到样本的情况。样本只会分配给labeler，比如10000

查看更多 →

为了实现通过NAT Server可使用SSH协议跳转到SAP系统节点的功能，以及SAP系统各节点互相通过SSH协议跳转的功能，需要配置节点间的互信。使用WinSCP软件，以root帐号和密钥文件登录NAT Server，将证书私钥文件（.pem文件）上传到NAT Server的/usr目录。将证书私钥文件复制到/root/.ssh目录，并

查看更多 →

开发Authorization签名生成机制 您需要开发一个生成Authorization签名的认证机制，云客服需要用您生成的authorization签名来进行鉴权。 在开发前，请您先了解生成Authorization签名的内部规则，如图1所示。 图1 Authorization签名生成机制的主要规则 了

查看更多 →

配置SSH跳转机制 操作场景 为了实现通过Jump Host可使用SSH协议跳转到SAP系统节点的功能，以及SAP系统各节点互相通过SSH协议跳转的功能，需要配置节点间的互信。 操作步骤 上传密钥文件到Jump Host。 使用WinSCP软件，以“root”帐号和密钥文件登录Jump

查看更多 →

Redis重试机制 Redis客户端支持添加自动重试机制，确保在执行Redis操作失败后重试特定次数，这样能大幅度降低暂时性故障影响。例如：发生瞬时的网络抖动、磁盘抖动导致服务暂时不可用或者调用超时的情况下，提高Redis操作的成功概率。 连接D CS 单机、主备、读写分离、Prox

查看更多 →

全特性，如认证、SSL传输加密等，这些特性可能对性能和使用方便性造成一定影响。 Flink作为大数据计算和分析平台，对客户输入的数据是否包含敏感信息无法感知，因此需要客户保证输入数据是脱敏的。 客户可以根据应用环境，权衡配置安全与否。 任何与安全有关的问题，请联系运维人员。 父主题：

查看更多 →

调整Yarn任务抢占机制 操作场景 抢占任务可精简队列中的job运行并提高资源利用率，由ResourceManager的capacity scheduler实现，其简易流程如下： 假设存在两个队列A和B。其中队列A的capacity为25%，队列B的capacity为75%。 初

查看更多 →

基于委托机制对接OBS 配置存算分离集群（委托方式） 配置存算分离集群（AKSK方式） 配置组件数据回收站清理策略 MRS 集群组件对接OBS（基于委托） 配置MRS多用户访问OBS细粒度权限 集群外客户端访问OBS 父主题： 配置存算分离

查看更多 →

订单结算机制 镜像类 包年包月新购订单，从实例开通成功后，进入结算账单报表。 包年包月续费订单，商品进入续费生效时间后，续费订单进入结算账单。 按量付费的，按商品汇总当月已消费的账单。 SaaS类 新购订单，从实例开通成功后，进入结算账单报表。 续费订单，商品进入续费生效时间后，续费订单进入结算账单。

查看更多 →

开启Oozie HA机制 操作场景 Oozie多个节点同时提供服务的时候，通过ZooKeeper来提供高可用（HA）功能，防止单节点故障以及多节点同时处理一个任务。 本章节内容仅适用于MRS 3.1.2及之后版本。 对系统影响 操作过程中需要重启Oozie服务。重启过程中，Oozie服务无法提供服务。

查看更多 →

调用API。 防止传输数据被篡改。对数据签名并检验，保障传输内容完整性。 防止签名超期后信息被盗用。设置签名有效期，只有在有效期内签名可以使用，超过有效期后签名失效。 原理说明 OBS签名机制的运作流程如图1所示： 图1 OBS API调用的签名和验签机制 表1 OBS API调用的签名和验签机制

查看更多 →

Streaming失败，这些接收到的数据也不会丢失。另外，接收数据的正确性只在数据被预写到日志以后Receiver才会确认，已经缓存但还没有保存的数据可以在Driver重新启动之后由数据源再发送一次。这两个机制确保了零数据丢失，即所有的数据或者从日志中恢复，或者由数据源重发。 如果需要启用预写日志功能，可以通过如下动作实现：

查看更多 →

Hue基本原理 Hue是一组WEB应用，用于和MRS大数据组件进行交互，能够帮助用户浏览HDFS，进行Hive查询，启动MapReduce任务等，它承载了与所有MRS大数据组件交互的应用。 Hue主要包括了文件浏览器和查询编辑器的功能： 文件浏览器能够允许用户直接通过界面浏览以及操作HDFS的不同目录；

查看更多 →

Spout Topology中产生源数据的组件，是Tuple的来源，通常可以从外部数据源（如消息队列、数据库、文件系统、TCP连接等）读取数据，然后转换为Topology内部的数据结构Tuple，由下一级组件处理。 Bolt Topology中接受数据并执行具体处理逻辑（如过滤，统计、转换、合并、结果持久化等）的组件。

查看更多 →

Flink基本原理 Flink简介 Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理（Data Processing）场景

查看更多 →

YARN基本原理 为了实现一个Hadoop集群的集群共享、可伸缩性和可靠性，并消除早期MapReduce框架中的JobTracker性能瓶颈，开源社区引入了统一的资源管理框架YARN。 YARN是将JobTracker的两个主要功能（资源管理和作业调度/监控）分离，主要方法是创建

查看更多 →

背景及原理（服务编排） AstroZero的服务编排，支持对逻辑判断组件、数据处理组件，以及脚本、子服务编排、商业对象等进行可视化组合编排，实现丰富的业务功能。 了解服务编排 在传统的开发中程序员一般是基于代码进行开发，程序员需要学习内容较多，开发效率相对低一些，开发门槛也高。A

查看更多 →

APP认证工作原理 构造规范请求。 将待发送的请求内容按照与API网关（即API管理）后台约定的规则组装，确保客户端签名、API网关后台认证时使用的请求内容一致。 使用规范请求和其他信息创建待签字符串。 使用AK/SK和待签字符串计算签名。 将生成的签名信息作为请求消息头添加到H

查看更多 →

载的指标数据。 karmada-metrics-adapter将计算的指标数据返回至HPA Controller。 HPA Controller基于返回的指标数据计算所需的Pod扩缩数量，并保持负载伸缩的稳定性。 图1 FederatedHPA工作原理 如何计算指标数据？ 指标数

查看更多 →