中软国际数据治理专业服务解决方案实践

页面加载失败 问题现象 CodeArts IDE Online页面加载失败。 原因分析 页面加载失败通常是由于网络连接不稳定或被拦截导致。 处理方法 检查浏览器网络连接是否正常。若无网络连接，请修复网络连接。刷新页面重试，若仍加载失败，请参照2继续排查处理。 如果电脑使用的是无线网络环境，请确保连接的稳定。

查看更多 →

重新加载项目 如果您修改了项目的构建脚本（Gradle的build.gradle或Maven的pom.xml），例如添加了一个依赖项，您需要重新加载项目以使CodeArts IDE解析项目的结构。要执行此操作，请在资源管理器工具栏上单击Reload Project按钮()。 父主题：

查看更多 →

单击“网络实例”页签。 单击“加载网络实例”，在弹出的对话框中可以看到支持同账号加载和跨账号加载。 如果需要加载的网络实例来自于创建云连接实例的账号，则使用同账号加载。 根据表1填写对应参数后，单击“确定”。 表1 加载同账号网络实例参数 参数 说明 账号 加载的网络实例的账号类型。 这里选择同账号。

查看更多 →

为什么在off heap时数据加载失败？ 问题 为什么在off heap时数据加载失败？ 回答 YARN Resource Manager将（Java堆内存 + “spark.yarn.am.memoryOverhead”）作为内存限制，因此在off heap时，内存可能会超出此限制。您需配置参数“spark

查看更多 →

启动加载任务 操作步骤 在数据服务左侧导航，选择“工具箱>数据开发>数据加载”。 在任务管理列表中，在需要启动的任务对应的“操作”列下，单击。 在任务列表右上角，勾选自动刷新前面的复选框，刷新任务列表。 （可选）查看调度监控：在需要查看的任务对应的“任务名称”列下，单击任务名称，选择“调度监控”页签。

查看更多 →

参数预加载 参数预加载支持输入参数时请求云服务api获取预加载选项，当前支持以下六种api接口： 表1 支持的api接口说明 属性 描述 hwc:ecs:flavors E CS 的Flavor hwc:vpc:myVpcs VPC列表 hwc:vpc:mySubnets Subnet子网列表

查看更多 →

DELETE SEGMENT by DATE 命令功能 DELETE SEGMENT by DATE命令用于通过加载日期删除CarbonData segment，在特定日期之前创建的segment将被删除。 命令格式 DELETE FROM TABLE db_name.table_name

查看更多 →

默认配置为300秒。 - 数据临时桶 用户数据先临时存储在OBS桶中，再转储到指定的转储服务，转储完成后临时桶中的数据会被清除。 - 数据临时目录 需要转储的数据临时存储在OBS桶下此配置项配置的目录中，转储完成后临时目录中的数据会被清除。 配置为空时，数据直接存储在OBS桶内。 - 源数据类型JS

查看更多 →

columnpage true 指定在数据加载或查询期间，是否将页面数据保留在堆内存中，以避免垃圾回收受阻。 carbon.use.local.dir false 是否使用YARN本地目录加载多个磁盘的数据。设置为true，则使用YARN本地目录加载多个磁盘的数据，以提高数据加载性能。 carbon

查看更多 →

custom.block.distribution 指定是否使用Spark或CarbonData的块分布功能。 enable.unsafe.sort 指定在数据加载期间是否使用不安全的排序。不安全的排序可减少数据加载操作期间的垃圾回收，从而实现更好的性能。 carbon.si.lookup

查看更多 →

Spark同步HBase数据到CarbonData（Java） 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。

查看更多 →

Spark同步HBase数据到CarbonData（Java） 以下为Spark同步HBase数据到CarbonData的Java示例。 下面代码片段仅为演示。 具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。

查看更多 →

为什么在off heap时数据加载失败？ 问题 为什么在off heap时数据加载失败？ 回答 YARN Resource Manager将（Java堆内存 + “spark.yarn.am.memoryOverhead”）作为内存限制，因此在off heap时，内存可能会超出此限制。您需配置参数“spark

查看更多 →

Spark同步HBase数据到CarbonData样例程序 Spark同步HBase数据到CarbonData开发思路 Spark同步HBase数据到CarbonData（Java） 父主题： 开发Spark应用

查看更多 →

删除CarbonData表Segments 操作场景 如果用户将错误数据加载到表中，或者数据加载后出现许多错误记录，用户希望修改并重新加载数据时，可删除对应的segment。可使用segment ID来删除segment，也可以使用加载数据的时间来删除segment。 删除seg

查看更多 →

Spark同步HBase数据到CarbonData样例程序开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 数据规划 创建HBase表，构造数据，列需要包含key，modify_time，valid

查看更多 →

ANALYZE 检查数据倾斜性。 对于Hash分表策略，如果分布列选择不当，可能导致数据倾斜，查询时出现部分DN的I/O短板，从而影响整体查询性能。因此在采用Hash分表策略之后需对表的数据进行数据倾斜性检查，以确保数据在各个DN上是均匀分布的。可以使用以下SQL检查数据倾斜性 1 SELECT

查看更多 →

Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件（user.keytab、krb5.conf）。user

查看更多 →

index的列从SORT_COLUMNS里面移除了，该列不会再创建inverted index。但是旧的INVERTED_INDEX配置值不会变化。 父主题： CarbonData数据分析

查看更多 →

CarbonData表简介 简介 CarbonData表与RDBMS中的表类似，RDBMS数据存储在由行和列构成的表中。CarbonData表存储的也是结构化的数据，具有固定列和数据类型。CarbonData中的数据存储在表实体文件中。 支持的数据类型 CarbonData表支持以下数据类型：

查看更多 →

CarbonData故障处理 当在Filter中使用Big Double类型数值时，过滤结果与Hive不一致 executor内存不足导致查询性能下降 父主题： 使用CarbonData（ MRS 3.x及之后版本）

查看更多 →