中软国际数据治理专业服务解决方案实践

华为 芜湖职教数据中心 华东-青岛 青岛-红岛 移动 红岛移动数据中心 华南-广州 广州-云埔 电信 广州云埔数据中心 广州-华新园 中立 华南创新材料园 广州-大学城 中立 广州大学城 广州-明美 联通 广州明美电子 广州-化龙 联通 伟鑫创新产业园 深圳-宝德 中立 深圳观澜高新园

查看更多 →

Ingress配置gzip数据压缩 ELB支持开启数据压缩，通过数据压缩可缩小传输文件大小，提升文件传输效率减少带宽消耗。 该功能依赖ELB能力，使用该功能前请确认当前区域是否支持。ELB已支持的区域请参见数据压缩。 配置数据压缩后，如果您在CCE控制台删除数据压缩配置或在YAML中

查看更多 →

Loader每个作业都需要关联一个连接器，连接器主要作用：对于数据导入到集群的场景来说，就是从外部数据源读取数据；对于数据从集群导出去的场景来说，就是将数据写入到外部数据源。上述示例配置的是一个SFTP数据源连接器。配置SFTP和FTP的数据源连接器需要设置密码并进行加密。密码加密方法如下：

查看更多 →

选择HBase的版本。 在元数据采集区域，单击“创建任务 > 元数据同步”按钮，右侧弹出创建任务-元数据同步窗口。 根据元数据同步任务参数配置说明，配置元数据同步任务参数后，单击“确认”按钮，创建元数据同步任务。 表2 元数据同步任务参数配置说明 参数 配置说明 任务名称 默认创建名称为“元数据同步任

查看更多 →

0_Agent_Windows_64.zip” 解压至 “DSPAgent” 目录 将数据库驱动包复制到“DSPAgent\dspagent\lib”目录下。 在“DSPAgent\dspagent\config\di-startup-switch.xml”文件，修改DSP Server的配置。 <bigData>

查看更多 →

，值为“false”表示关闭SSL通信加密。 添加HBase数据源步骤 获取HBase数据源的“hbase-site.xml”、“hdfs-site.xml”和“core-site.xml”配置文件。 登录HBase数据源所在集群的 FusionInsight Manager页面。

查看更多 →

S 设置输出的xml是否需要xml编码。 DBE_XMLGEN.SETNULLHAN DLI NG 设置xml中null值如何展示。 DBE_XMLGEN.SETROWSETTAG 设置xml根节点名称。 DBE_XMLGEN.SETROWTAG 设置xml中每一行数据的tag名。 DBE_XMLGEN

查看更多 →

addResource(new Path(userdir + "core-site.xml"), false); conf.addResource(new Path(userdir + "hdfs-site.xml"), false); conf.addResource(new

查看更多 →

数据映射 “数据映射”处理器用于将源端数据转换为目标端格式的数据。后续节点可通过payload方式引用数据映射处理器的输出数据。 配置参数 参数 说明 源端数据源 设置源端数据源，数据库类型的数据源在选择完表之后会自动显示字段信息，其他格式的数据源需要通过导入文件或者手动增加的形

查看更多 →

Loader每个作业都需要关联一个连接器，连接器主要作用：对于数据导入到集群的场景来说，就是从外部数据源读取数据；对于数据从集群导出去的场景来说，就是将数据写入到外部数据源。上述示例配置的是一个SFTP数据源连接器。配置SFTP和FTP的数据源连接器需要设置密码并进行加密。密码加密方法如下：

查看更多 →

使用BulkLoad工具批量导入HBase数据 操作场景 您可以按照自定义的方式，通过命令批量导入数据到HBase中并创建索引。 您可以在“configuration.xml”文件中定义多个方式来批量导入数据。导入数据时可不创建索引。 列的名称不能包含特殊字符，只能由字母、数字和下划线组成。

查看更多 →

conf”和 “user.keytab”文件。 获取“hiveclient.properties”、“core-site.xml”，“hdfs-site.xml”，“hosts”和“version”文件。 参考更新客户端配置文件，在 MRS 控制台下载客户端配置文件，解压后： 从“MR

查看更多 →

内容对比不支持哪些数据类型 DRS提供的数据比对功能可以清晰反馈出源数据库和目标数据库的数据是否存在差异。 目前对于以下数据类型，DRS不支持内容对比，进行内容对比时会自动跳过。 表1 不支持内容对比的数据类型 源数据库类型 数据类型 MySQL TINYBLOB、BLOB、ME

查看更多 →

添加Hive数据源 Hive数据源介绍 HetuEngine服务在安装时已经将共部署（与HetuEngine在同一个Hadoop集群）的Hive数据源默认实现对接，数据源名称为“hive”，不可删除。部分默认配置不可修改，如数据源名称，数据源类型，服务端Principal，客户端

查看更多 →

# 数据操作聚合层（必填项） Abstract{biz}Repository.java # 数据操作聚合层代码。 |-- mapper # 数据原子操作层。mapper层目录，包含基本接口（必填项）

查看更多 →

，不同模板中配置项存在差异。作业模板中包含作业信息以及关联的连接器信息。 作业模板为xml文件，文件名格式为“数据原保存位置-to-数据新保存位置.xml”，例如“sftp-to-hdfs.xml”。如果此场景的作业支持转换步骤，则存在同名的转换步骤配置文件，文件类型为json，例如“sftp-to-hdfs

查看更多 →

，不同模板中配置项存在差异。作业模板中包含作业信息以及关联的连接器信息。 作业模板为xml文件，文件名格式为“数据原保存位置-to-数据新保存位置.xml”，例如“sftp-to-hdfs.xml”。如果此场景的作业支持转换步骤，则存在同名的转换步骤配置文件，文件类型为json，例如“sftp-to-hdfs

查看更多 →

json: FFF xml_to_json 将xml数据转成JSON数据。 函数格式 xml_to_json(source) 参数说明 参数 类型 是否必填 说明 source String 是 传入需要被转换的字段。 返回结果 返回转换后的JSON数据。 函数示例 测试数据 { "str":

查看更多 →

客户端类型选择“仅配置文件”，单击“确定”按钮。 将下载的文件包解压，在/Hive/config文件夹下可以获取core-site.xml、hivemetastore-site.xml、hive-site.xml三个凭证文件。 父主题： 常见问题

查看更多 →

addResource(new Path(userdir + "core-site.xml"), false); conf.addResource(new Path(userdir + "hdfs-site.xml"), false); conf.addResource(new

查看更多 →

使用BulkLoad工具批量导入HBase数据 操作场景 您可以按照自定义的方式，通过命令批量导入数据到HBase中并创建索引。 您可以在“configuration.xml”文件中定义多个方式来批量导入数据，导入数据时可不创建索引。 列的名称不能包含特殊字符，只能由字母、数字和下划线组成。

查看更多 →