中软国际数据治理专业服务解决方案实践

CarbonData语法参考 DDL DML CarbonData表操作并发语法说明 CarbonData Segment API语法说明 CarbonData表空间索引语法说明 父主题： 使用CarbonData（ MRS 3.x及之后版本）

查看更多 →

删除CarbonData表 操作场景 可使用DROP TABLE命令删除表。删除表后，所有metadata以及表中已加载的数据都会被删除。 操作步骤 运行如下命令删除表。 命令： DROP TABLE [IF EXISTS] [db_name.]table_name; 一旦执行该

查看更多 →

INDEX CLEAN FILES SET/RESET CarbonData表操作并发语法说明 CarbonData Segment API语法说明 CarbonData表空间索引语法说明 父主题： 使用CarbonData

查看更多 →

加载评论 功能介绍 根据数据集ID查询匹配的数据集评论。 URI URI格式 GET /softcomai/datalake/v1.0/datasets/comment 参数说明 无。 请求 请求样例 GET https://ipaddr:port/dataset/softcomai/datalake/v1

查看更多 →

加载驱动 在创建数据库连接之前，需要先加载数据库驱动程序。 加载驱动有两种方法： 在代码中创建连接之前任意位置隐含装载：Class.forName("org.postgresql.Driver"); 在JVM启动时参数传递：java -Djdbc.drivers=org.postgresql

查看更多 →

PYTHONPATH 对于非数据库用户，需要将解压后的lib目录，配置在LD_LIBRARY_PATH中。 export LD_LIBRARY_PATH=path/to/lib:$LD_LIBRARY_PATH 在创建数据库连接之前，需要先加载如下数据库驱动程序： import

查看更多 →

加载驱动 在创建数据库连接之前，需要先加载数据库驱动程序。 加载驱动有两种方法： 在代码中创建连接之前任意位置隐含装载：Class.forName("com.huawei.gaussdb.jdbc.Driver");。 在JVM启动时参数传递：java -Djdbc.drivers=com

查看更多 →

加载驱动 在创建数据库连接之前，需要先加载数据库驱动程序。 加载驱动有两种方法： 在代码中创建连接之前任意位置隐含装载：Class.forName("org.postgresql.Driver"); 在JVM启动时参数传递：java -Djdbc.drivers=org.postgresql

查看更多 →

合并CarbonData表Segments 操作场景 频繁的数据获取导致在存储目录中产生许多零碎的CarbonData文件。由于数据排序只在每次加载时进行，所以，索引也只在每次加载时执行。这意味着，对于每次加载都会产生一个索引，随着数据加载数量的增加，索引的数量也随之增加。由于每

查看更多 →

合并CarbonData表Segments 操作场景 频繁的数据获取导致在存储目录中产生许多零碎的CarbonData文件。由于数据排序只在每次加载时进行，所以，索引也只在每次加载时执行。这意味着，对于每次加载都会产生一个索引，随着数据加载数量的增加，索引的数量也随之增加。由于每

查看更多 →

index_name 索引表的名称。表名称应由字母数字字符和下划线（_）特殊字符组成。 db_name 数据库的名称。数据库名称应由字母数字字符和下划线（_）特殊字符组成。 table_name 数据库中的表名称。表名称应由字母数字字符和下划线（_）特殊字符组成。 col_name 表中的列

查看更多 →

BEFORE '2017-07-01 12:07:20'; 其中，STARTTIME是不同负载的加载启动时间。 系统响应 操作成功或失败会在CarbonData日志中被记录。 父主题： CarbonData语法参考

查看更多 →

删除CarbonData表 操作场景 用户根据业务使用情况，可以删除不再使用的CarbonData表。删除表后，其所有的元数据以及表中已加载的数据都会被删除。 操作步骤 运行如下命令删除表。 DROP TABLE [IF EXISTS] [db_name.]table_name;

查看更多 →

设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常？ 问题 设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常。 回答 创建、加载、更新表或进行其他操作时，数据会被写入HDFS。若HDFS目录的磁盘空间配额不足，则操作失败并发生以下异常。

查看更多 →

设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常？ 问题 设置了HDFS存储目录的磁盘空间配额，CarbonData为什么会发生异常。 回答 创建、加载、更新表或进行其他操作时，数据会被写入HDFS。如果HDFS目录的磁盘空间配额不足，则操作失败并发生以下异常。

查看更多 →

为什么Bad Records导致数据加载性能降低？ 问题 为什么Bad Records导致数据加载性能降低？ 回答 如果数据中存在Bad Records，并且“BAD_RECORDS_ LOG GER_ENABLE”参数值为“true”或“BAD_RECORDS_ACTION”参数值

查看更多 →

为什么Bad Records导致数据加载性能降低？ 问题 为什么Bad Records导致数据加载性能降低？ 回答 如果数据中存在Bad Records，并且“BAD_RECORDS_LOGGER_ENABLE”参数值为“true”或“BAD_RECORDS_ACTION”参数值

查看更多 →

Spark同步HBase数据到CarbonData（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。 public static void main(String[] args)

查看更多 →

Spark同步HBase数据到CarbonData（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。 public static void main(String[] args)

查看更多 →

columnpage true 指定在数据加载或查询期间，是否将页面数据保留在堆内存中，以避免垃圾回收受阻。 carbon.use.local.dir false 是否使用YARN本地目录加载多个磁盘的数据。设置为true，则使用YARN本地目录加载多个磁盘的数据，以提高数据加载性能。 carbon

查看更多 →

为什么在off heap时数据加载失败？ 问题 为什么在off heap时数据加载失败？ 回答 YARN Resource Manager将（Java堆内存 + “spark.yarn.am.memoryOverhead”）作为内存限制，因此在off heap时，内存可能会超出此限制。您需配置参数“spark

查看更多 →