carbondata使用 更多内容
  • CarbonData表操作并发语法说明

    CarbonData表操作并发语法说明 DDL和DML中的操作,执行前,需要获取对应的锁,各操作需要获取锁的情况见表1 操作获取锁一览表,√表示需要获取该锁,一个操作仅在获取到所有需要获取的锁后,才能继续执行。 任意两个操作是否可以并发执行,可以通过如下方法确定:表1两行代表两个

    来自:帮助中心

    查看更多 →

  • 从OBS导入ORC、CARBONDATA数据

    从OBS导入ORC、CARBONDATA数据 OBS上的数据准备 创建外部 服务器 创建外表 通过外表查询OBS上的数据 清除资源 支持的数据类型 父主题: 从OBS并行导入数据

    来自:帮助中心

    查看更多 →

  • CarbonData Segment API语法说明

    CarbonData Segment API语法说明 本章节描述Segment的API以及使用方法,所有方法在org.apache.spark.util.CarbonSegmentUtil类中。 如下方法已废弃: /** * Returns the valid segments

    来自:帮助中心

    查看更多 →

  • CarbonData首查优化工具

    CarbonData首查优化工具 工具介绍 CarbonData的首次查询较慢,对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能: 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端,例如安装目录为“/opt/client”。进入目录“/op

    来自:帮助中心

    查看更多 →

  • CarbonData首查优化工具

    CarbonData首查优化工具 工具介绍 CarbonData 的首次查询较慢,对于实时性要求较高的节点可能会造成一定的时延。 本工具主要提供以下功能: 对查询时延要求较高的表进行首次查询预热。 工具使用 下载安装客户端,例如安装目录为“/opt/client”。进入 目录“/

    来自:帮助中心

    查看更多 →

  • CarbonData表操作并发语法说明

    CarbonData表操作并发语法说明 DDL和DML中的操作,执行前,需要获取对应的锁,各操作需要获取锁的情况见表1 操作获取锁一览表,√表示需要获取该锁,一个操作仅在获取到所有需要获取的锁后,才能继续执行。 任意两个操作是否可以并发执行,可以通过如下方法确定:表1两行代表两个

    来自:帮助中心

    查看更多 →

  • CarbonData Segment API语法说明

    CarbonData Segment API语法说明 本章节描述Segment的API以及使用方法,所有方法在org.apache.spark.util.CarbonSegmentUtil类中。 如下方法已废弃: /** * Returns the valid segments

    来自:帮助中心

    查看更多 →

  • 创建高查询性能的CarbonData表

    创建高查询性能的CarbonData表 操作场景 本章节根据超过50个测试用例总结得出建议,帮助用户创建拥有更高查询性能的CarbonData表。 表1 CarbonData表中的列 Column name Data type Cardinality Attribution msname

    来自:帮助中心

    查看更多 →

  • CREATE TABLE As SELECT

    AS 使用CarbonData数据格式存储数据。 TBLPROPERTIES CarbonData table属性列表。详细信息,见注意事项。 注意事项 NA 示例 CREATE TABLE ctas_select_parquet STORED AS carbondata as select

    来自:帮助中心

    查看更多 →

  • TABLE RENAME

    现有表名的新表名。 注意事项 并行运行的查询(需要使用表名获取路径,以读取CarbonData存储文件)可能会在此操作期间失败。 不允许二级索引表重命名。 示例 ALTER TABLE carbon RENAME TO carbondata; ALTER TABLE test_db.carbon

    来自:帮助中心

    查看更多 →

  • Spark同步HBase数据到CarbonData(Java)

    Spark同步HBase数据到CarbonData(Java) 下面代码片段仅为演示,具体代码参见:com.huawei.spark.examples.HBaseExternalHivetoCarbon。 public static void main(String[] args)

    来自:帮助中心

    查看更多 →

  • Spark同步HBase数据到CarbonData(Java)

    Spark同步HBase数据到CarbonData(Java) 下面代码片段仅为演示,具体代码参见:com.huawei.spark.examples.HBaseExternalHivetoCarbon。 public static void main(String[] args)

    来自:帮助中心

    查看更多 →

  • 为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor?

    为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 问题 为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 回答 CarbonData块分布对于数据处理进行了如下优化: 优化数据处理并行度。 优化了读取块数据的并行性。

    来自:帮助中心

    查看更多 →

  • 为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor?

    为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 问题 为什么并行度大于待处理的block数目时,CarbonData仍需要额外的executor? 回答 CarbonData块分布对于数据处理进行了如下优化: 优化数据处理并行度。 优化了读取块数据的并行性。

    来自:帮助中心

    查看更多 →

  • Spark同步HBase数据到CarbonData(Java)

    Spark同步HBase数据到CarbonData(Java) 下面代码片段仅为演示,具体代码参见:com.huawei.spark.examples.HBaseExternalHivetoCarbon。 public static void main(String[] args)

    来自:帮助中心

    查看更多 →

  • Spark同步HBase数据到CarbonData(Java)

    Spark同步HBase数据到CarbonData(Java) 下面代码片段仅为演示,具体代码参见:com.huawei.spark.examples.HBaseExternalHivetoCarbon。 public static void main(String[] args)

    来自:帮助中心

    查看更多 →

  • CarbonData性能调优常见配置参数

    properties 适用于 数据加载 场景描述 是否使用YARN本地目录进行多磁盘数据加载。 如何调优 如果将该参数值设置为“true”,CarbonData使用YARN本地目录进行多表加载磁盘负载平衡,以提高数据加载性能。 表5 加载时是否使用多路径 参数 carbon.use.multiple

    来自:帮助中心

    查看更多 →

  • Spark同步HBase数据到CarbonData开发思路

    在sparksql中创建CarbonData表: create table carbon01(key string,modify_time STRING, valid STRING) stored as carbondata; 初始化加载当前hbase表中所有数据到CarbonData表; insert

    来自:帮助中心

    查看更多 →

  • CarbonData表空间索引语法说明

    apache.carbondata.geo.GeoSOTIndex”。 使用示例: create table geosot( timevalue bigint, longitude double, latitude double) stored as carbondata TBLPROPERTIES

    来自:帮助中心

    查看更多 →

  • CREATE TABLE

    Database中的表名,由字母、数字和下划线(_)组成。 STORED AS 参数carbondata,定义和创建CarbonData table。 TBLPROPERTIES CarbonData table属性列表。 注意事项 以下是表格属性的使用。 Block大小 单个表的数据文件block大小可以通

    来自:帮助中心

    查看更多 →

  • CREATE TABLE

    Database中的表名,由字母、数字和下划线(_)组成。 STORED AS 参数carbondata,定义和创建CarbonData table。 TBLPROPERTIES CarbonData table属性列表。 注意事项 以下是表格属性的使用。 Block大小 单个表的数据文件block大小可以通

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了