中软国际数据治理专业服务解决方案实践

创建加载任务 数据加载提供了不同物理存储之间的数据迁移功能。创建数据加载任务，配置源数据源和目标源信息即可进行数据在不同存储之间的迁移。 操作步骤 在数据服务左侧导航，选择“工具箱>数据开发>数据加载”。 在“任务管理”界面，单击“创建任务”。 配置任务的基础信息，参数说明见如表1。

查看更多 →

证书加载错误 问题描述 看到此错误时，说明verifyPeer选项被设置为true，却没有配置证书，go-chassis默认为false，不会自己更改配置。 解决方案 如果本来并不打算配置证书的，说明是开发者在开发或者持续集成的某个环节中自行更改的，请仔细排查代码从提交到部署环节中，是谁打开的此选项。

查看更多 →

DELETE SEGMENT by DATE 命令功能 DELETE SEGMENT by DATE命令用于通过加载日期删除CarbonData segment，在特定日期之前创建的segment将被删除。 命令格式 DELETE FROM TABLE db_name.table_name

查看更多 →

默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中，再转储到指定的转储服务，转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中，转储完成后临时目录中的数据会被清除。 配置为空时，数据直接存储在OBS桶内。 - 源数据类型JS

查看更多 →

Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件（user.keytab、krb5.conf）。user

查看更多 →

为什么在off heap时数据加载失败？ 问题 为什么在off heap时数据加载失败？ 回答 YARN Resource Manager将（Java堆内存 + “spark.yarn.am.memoryOverhead”）作为内存限制，因此在off heap时，内存可能会超出此限制。您需配置参数“spark

查看更多 →

CarbonData表简介 简介 CarbonData表与RDBMS中的表类似，RDBMS数据存储在由行和列构成的表中。CarbonData表存储的也是结构化的数据，具有固定列和数据类型。CarbonData中的数据存储在表实体文件中。 支持的数据类型 CarbonData表支持以下数据类型：

查看更多 →

CarbonData故障处理 当在Filter中使用Big Double类型数值时，过滤结果与Hive不一致 executor内存不足导致查询性能下降 父主题： 使用CarbonData（ MRS 3.x及之后版本）

查看更多 →

index的列从SORT_COLUMNS里面移除了，该列不会再创建inverted index。但是旧的INVERTED_INDEX配置值不会变化。 父主题： CarbonData数据分析

查看更多 →

columnpage true 指定在数据加载或查询期间，是否将页面数据保留在堆内存中，以避免垃圾回收受阻。 carbon.use.local.dir false 是否使用YARN本地目录加载多个磁盘的数据。设置为true，则使用YARN本地目录加载多个磁盘的数据，以提高数据加载性能。 carbon

查看更多 →

Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件（user.keytab、krb5.conf）。user

查看更多 →

删除CarbonData表Segments 操作场景 如果用户将错误数据加载到表中，或者数据加载后出现许多错误记录，用户希望修改并重新加载数据时，可删除对应的segment。可使用segment ID来删除segment，也可以使用加载数据的时间来删除segment。 删除seg

查看更多 →

启动加载任务 操作步骤 在数据服务左侧导航，选择“工具箱>数据开发>数据加载”。 在任务管理列表中，在需要启动的任务对应的“操作”列下，单击。 在任务列表右上角，勾选自动刷新前面的复选框，刷新任务列表。 （可选）查看调度监控：在需要查看的任务对应的“任务名称”列下，单击任务名称，选择“调度监控”页签。

查看更多 →

参数预加载 参数预加载支持输入参数时请求云服务api获取预加载选项，当前支持以下六种api接口： 表1 支持的api接口说明 属性 描述 hwc:ecs:flavors E CS 的Flavor hwc:vpc:myVpcs VPC列表 hwc:vpc:mySubnets Subnet子网列表

查看更多 →

页面加载失败 问题现象 CodeArts IDE Online页面加载失败。 原因分析 页面加载失败通常是由于网络连接不稳定或被拦截导致。 处理方法 检查浏览器网络连接是否正常。若无网络连接，请修复网络连接。刷新页面重试，若仍加载失败，请参照2继续排查处理。 如果电脑使用的是无线网络环境，请确保连接的稳定。

查看更多 →

重新加载项目 如果您修改了项目的构建脚本（Gradle的build.gradle或Maven的pom.xml），例如添加了一个依赖项，您需要重新加载项目以使CodeArts IDE解析项目的结构。要执行此操作，请在资源管理器工具栏上单击Reload Project按钮()。 父主题：

查看更多 →

在网络实例页面，单击“加载网络实例”。 在“加载网络实例”页面中，网络实例的账号类型分为同账号加载和跨账号加载。 如果需要加载的网络实例来自于创建云连接的账号，则使用同账号加载。 按照表1填写对应参数后，单击“确定”。 如果网络实例来自于其他用户，则使用跨账号加载。 按照表2填写对应参数后，单击“确定”。

查看更多 →

删除CarbonData表Segments 操作场景 如果用户将错误数据加载到表中，或者数据加载后出现许多错误记录，用户希望修改并重新加载数据时，可删除对应的segment。可使用segment ID来删除segment，也可以使用加载数据的时间来删除segment。 删除seg

查看更多 →

Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 数据规划 运行样例程序前，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark

查看更多 →

custom.block.distribution 指定是否使用Spark或CarbonData的块分布功能。 enable.unsafe.sort 指定在数据加载期间是否使用不安全的排序。不安全的排序可减少数据加载操作期间的垃圾回收，从而实现更好的性能。 carbon.si.lookup

查看更多 →

Spark同步HBase数据到CarbonData样例程序 Spark同步HBase数据到CarbonData开发思路 Spark同步HBase数据到CarbonData（Java） 父主题： 开发Spark应用

查看更多 →