中软国际数据治理专业服务解决方案实践

Spark同步HBase数据到CarbonData（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。 public static void main(String[] args)

查看更多 →

Spark同步HBase数据到CarbonData（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。 public static void main(String[] args)

查看更多 →

Spark同步HBase数据到CarbonData（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。 public static void main(String[] args)

查看更多 →

Spark同步HBase数据到CarbonData（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。 public static void main(String[] args)

查看更多 →

新建CarbonData Table 操作场景 使用CarbonData前需先创建表，才可在其中加载数据和查询数据。可通过Create Table命令来创建表。该命令支持使用自定义列创建表。 使用自定义列创建表 可通过指定各列及其数据类型来创建表。 命令示例： CREATE TABLE

查看更多 →

index的列从SORT_COLUMNS里面移除了，该列不会再创建inverted index。但是旧的INVERTED_INDEX配置值不会变化。 父主题： CarbonData数据分析

查看更多 →

CarbonData故障处理 当在Filter中使用Big Double类型数值时，过滤结果与Hive不一致 executor内存不足导致查询性能下降 父主题： 使用CarbonData（ MRS 3.x及之后版本）

查看更多 →

index的列从SORT_COLUMNS里面移除了，该列不会再创建inverted index。但是旧的INVERTED_INDEX配置值不会变化。 父主题： CarbonData数据分析

查看更多 →

CarbonData表简介 简介 CarbonData表与RDBMS中的表类似，RDBMS数据存储在由行和列构成的表中。CarbonData表存储的也是结构化的数据，具有固定列和数据类型。CarbonData中的数据存储在表实体文件中。 支持的数据类型 CarbonData表支持以下数据类型：

查看更多 →

创建CarbonData表 操作场景 使用CarbonData前需先创建表，才可从表中加载数据和查询数据。 使用自定义列创建表 可通过指定各列及其数据类型来创建表。启用Kerberos认证的分析集群创建CarbonData表时，如果用户需要在默认数据库“default”以外的数据库

查看更多 →

删除CarbonData表 操作场景 用户根据业务使用情况，可以删除不再使用的CarbonData表。删除表后，其所有的元数据以及表中已加载的数据都会被删除。 操作步骤 运行如下命令删除表。 DROP TABLE [IF EXISTS] [db_name.]table_name;

查看更多 →

Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件（user.keytab、krb5.conf）。user

查看更多 →

Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 数据规划 运行样例程序前，需要在Spark客户端的“spark-defaults.conf”配置文件中将配置项“spark

查看更多 →

Spark同步HBase数据到CarbonData开发思路 场景说明 数据实时写入HBase，用于点查业务，数据每隔一段时间批量同步到CarbonData表中，用于分析型查询业务。 运行前置操作 安全模式下该样例代码需要读取两个文件（user.keytab、krb5.conf）。user

查看更多 →

Spark同步HBase数据到CarbonData样例程序 Spark同步HBase数据到CarbonData开发思路 Spark同步HBase数据到CarbonData（Java） 父主题： 开发Spark应用

查看更多 →

true 在数据加载过程中，从排序的临时文件中读取数据进行合并排序时，启用数据预取。 carbon.update.persist.enable true 启用此参数将考虑持久化数据，减少UPDATE操作的执行时间。 enable.unsafe.sort true 指定在数据加载期间是

查看更多 →

true 在数据加载过程中，从排序的临时文件中读取数据进行合并排序时，启用数据预取。 carbon.update.persist.enable true 启用此参数将考虑持久化数据，减少UPDATE操作的执行时间。 enable.unsafe.sort true 指定在数据加载期间是

查看更多 →

properties 适用于 数据加载 场景描述 是否使用多个临时目录存储sort临时文件。 如何调优 设置为true，则数据加载时使用多个临时目录存储sort临时文件。此配置能提高数据加载性能并避免磁盘单点故障。 用于CarbonData数据加载和数据查询的配置参数，详情请参见表6。

查看更多 →

properties 适用于 数据加载 场景描述 是否使用多个临时目录存储sort临时文件。 如何调优 设置为true，则数据加载时使用多个临时目录存储sort临时文件。此配置能提高数据加载性能并避免磁盘单点故障。 用于CarbonData数据加载和数据查询的配置参数，详情请参见表6。

查看更多 →

Spark同步HBase数据到CarbonData样例程序 Spark同步HBase数据到CarbonData样例程序开发思路 Spark同步HBase数据到CarbonData（Java） 父主题： 开发Spark应用

查看更多 →

Spark同步HBase数据到CarbonData样例程序 Spark同步HBase数据到CarbonData开发思路 Spark同步HBase数据到CarbonData（Java） 父主题： 开发Spark应用

查看更多 →