中软国际数据治理专业服务解决方案实践

columnpage true 指定在数据加载或查询期间，是否将页面数据保留在堆内存中，以避免垃圾回收受阻。 carbon.use.local.dir false 是否使用YARN本地目录加载多个磁盘的数据。设置为true，则使用YARN本地目录加载多个磁盘的数据，以提高数据加载性能。 carbon

查看更多 →

Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件（user.keytab、krb5.conf）。user

查看更多 →

DELETE SEGMENT by DATE 命令功能 DELETE SEGMENT by DATE命令用于通过加载日期删除CarbonData segment，在特定日期之前创建的segment将被删除。 命令格式 DELETE FROM TABLE db_name.table_name

查看更多 →

为什么在off heap时数据加载失败？ 问题 为什么在off heap时数据加载失败？ 回答 YARN Resource Manager将（Java堆内存 + “spark.yarn.am.memoryOverhead”）作为内存限制。 因此在off heap时，内存可能会超出此限制。

查看更多 →

页面加载失败 问题现象 CodeArts IDE Online页面加载失败。 原因分析 页面加载失败通常是由于网络连接不稳定或被拦截导致。 处理方法 检查浏览器网络连接是否正常。若无网络连接，请修复网络连接。刷新页面重试，若仍加载失败，请参照2继续排查处理。 如果电脑使用的是无线网络环境，请确保连接的稳定。

查看更多 →

重新加载项目 如果您修改了项目的构建脚本（Gradle的build.gradle或Maven的pom.xml），例如添加了一个依赖项，您需要重新加载项目以使CodeArts IDE解析项目的结构。要执行此操作，请在资源管理器工具栏上单击Reload Project按钮()。 父主题：

查看更多 →

单击“网络实例”页签。 单击“加载网络实例”，在弹出的对话框中可以看到支持同账号加载和跨账号加载。 如果需要加载的网络实例来自于创建云连接实例的账号，则使用同账号加载。 根据表1填写对应参数后，单击“确定”。 表1 加载同账号网络实例参数 参数 说明 账号 加载的网络实例的账号类型。 这里选择同账号。

查看更多 →

删除CarbonData表Segments 操作场景 如果用户将错误数据加载到表中，或者数据加载后出现许多错误记录，用户希望修改并重新加载数据时，可删除对应的segment。可使用segment ID来删除segment，也可以使用加载数据的时间来删除segment。 删除seg

查看更多 →

启动加载任务 操作步骤 在数据服务左侧导航，选择“工具箱>数据开发>数据加载”。 在任务管理列表中，在需要启动的任务对应的“操作”列下，单击。 在任务列表右上角，勾选自动刷新前面的复选框，刷新任务列表。 （可选）查看调度监控：在需要查看的任务对应的“任务名称”列下，单击任务名称，选择“调度监控”页签。

查看更多 →

参数预加载 参数预加载支持输入参数时请求云服务api获取预加载选项，当前支持以下六种api接口： 表1 支持的api接口说明 属性 描述 hwc:ecs:flavors E CS 的Flavor hwc:vpc:myVpcs VPC列表 hwc:vpc:mySubnets Subnet子网列表

查看更多 →

Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 数据规划 运行样例程序前，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark

查看更多 →

ANALYZE 检查数据倾斜性。 对于Hash分表策略，如果分布列选择不当，可能导致数据倾斜，查询时出现部分DN的I/O短板，从而影响整体查询性能。因此在采用Hash分表策略之后需对表的数据进行数据倾斜性检查，以确保数据在各个DN上是均匀分布的。可以使用以下SQL检查数据倾斜性 1 SELECT

查看更多 →

删除CarbonData表Segments 操作场景 如果用户将错误数据加载到表中，或者数据加载后出现许多错误记录，用户希望修改并重新加载数据时，可删除对应的segment。可使用segment ID来删除segment，也可以使用加载数据的时间来删除segment。 删除seg

查看更多 →

custom.block.distribution 指定是否使用Spark或CarbonData的块分布功能。 enable.unsafe.sort 指定在数据加载期间是否使用不安全的排序。不安全的排序可减少数据加载操作期间的垃圾回收，从而实现更好的性能。 carbon.si.lookup

查看更多 →

Spark同步HBase数据到CarbonData样例程序 Spark同步HBase数据到CarbonData开发思路 Spark同步HBase数据到CarbonData（Java） 父主题： 开发Spark应用

查看更多 →

Spark同步HBase数据到CarbonData样例程序开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 数据规划 创建HBase表，构造数据，列需要包含key，modify_time，valid

查看更多 →

launch.json是启动程序的配置文件，该文件中的configurations会在运行和调试下拉框展示。 在此过程中，状态栏显示加载过程，单击可以查看具体的加载日志。 父主题： Cmake工程支持

查看更多 →

Spark同步HBase数据到CarbonData样例程序 Spark同步HBase数据到CarbonData样例程序开发思路 Spark同步HBase数据到CarbonData（Java） 父主题： 开发Spark应用

查看更多 →

Spark同步HBase数据到CarbonData样例程序 Spark同步HBase数据到CarbonData开发思路 Spark同步HBase数据到CarbonData（Java） 父主题： 开发Spark应用

查看更多 →

Spark同步HBase数据到CarbonData样例程序 Spark同步HBase数据到CarbonData开发思路 Spark同步HBase数据到CarbonData（Java） 父主题： 开发Spark应用

查看更多 →

在给定database中的表名。 number_of_loads 加载数的限制。 注意事项 无。 示例 create table carbon01(a int,b string,c string) stored as carbondata; insert into table carbon01

查看更多 →