华为云

面向未来的智能世界,数字化是企业发展的必由之路。数字化成功的关键是以云原生的思维践行云原生,全数字化、全云化、AI驱动,一切皆服务。

华为云将持续创新,携手客户、合作伙伴和开发者,致力于让云无处不在,让智能无所不及,共建智能世界云底座。

 
 

    华为云 orc 更多内容
  • 使用Hive语法创建OBS表

    true:开启 DLI 数据多版本功能。 false:关闭DLI数据多版本功能。 comment 表描述信息。 orc.compress orc存储格式表的一个属性,用来指定orc存储的压缩方式。支持取值为: ZLIB SNAPPY NONE auto.purge 当设置为true时,

    来自:帮助中心

    查看更多 →

  • 导出数据到OBS

    导出数据到OBS 关于OBS并行导出 导出 CS V、TXT数据到OBS 导出ORC数据到OBS 父主题: 导出数据

    来自:帮助中心

    查看更多 →

  • 使用Spark BulkLoad工具同步数据到HBase表中

    Spark/spark/bin 例如,执行以下命令同步test.orc_table表的所有数据到HBase的test:orc_table表中,使用id+uuid组合作为rowkey列,输出路径指定为“/tmp/orc_table”: spark-submit --master yarn

    来自:帮助中心

    查看更多 →

  • 使用Spark小文件合并工具说明

    小。 对表文件提供合并功能,用户可设置合并后的平均文件大小。 支持的表类型 Spark:Parquet、ORC、CSV、Text、Json。 Hive:Parquet、ORC、CSV、Text、RCFile、Sequence、Bucket。 数据有压缩的表在执行合并后会采用Spa

    来自:帮助中心

    查看更多 →

  • 导出查询结果

    导出查询结果 功能描述 INSERT OVERWRITE DIRECTORY用于将查询结果直接写入到指定的目录,支持按CSV、Parquet、ORC、JSON、Avro格式进行存储。 语法格式 1 2 3 4 INSERT OVERWRITE DIRECTORY path USING

    来自:帮助中心

    查看更多 →

  • 导出查询结果

    导出查询结果 功能描述 INSERT OVERWRITE DIRECTORY用于将查询结果直接写入到指定的目录,支持按CSV、Parquet、ORC、JSON、Avro格式进行存储。 语法格式 1 2 3 4 INSERT OVERWRITE DIRECTORY path USING

    来自:帮助中心

    查看更多 →

  • Hive性能调优

    Hive性能调优 建立Hive表分区提升查询效率 Hive Join数据优化 Hive Group By语句优化 Hive ORC数据存储优化 Hive SQL逻辑优化 使用Hive CBO功能优化多表查询效率 父主题: 使用Hive

    来自:帮助中心

    查看更多 →

  • 从OBS并行导入数据

    从OBS并行导入数据 关于OBS并行导入 从OBS导入CSV、TXT数据 从OBS导入ORC、CARBONDATA数据 父主题: 导入数据

    来自:帮助中心

    查看更多 →

  • GAUSS-04751 -- GAUSS-04760

    解决办法:检查下盘临时文件是否已经损坏——读写不一致。 GAUSS-04755: "Only ORC is supported for now." SQLSTATE: 0A000 错误原因:系统内部错误。HDFS表仅支持ORC格式。 解决办法:请联系技术支持工程师提供技术支持。 GAUSS-04756:

    来自:帮助中心

    查看更多 →

  • 配置Hive目的端参数

    选择存储格式。 行式存储格式:TEXTFILE。 列式存储格式:ORC、RCFILE、PARQUET。 TEXTFILE使用明文存储,当数据存在特殊字符的场景下可能会导致数据写入错乱,请谨慎使用。建议优先使用ORC存储格式。 ORC hive表清理数据模式 “导入前清空数据”设置为“是”时,呈现此参数。

    来自:帮助中心

    查看更多 →

  • 不同版本的Hive之间是否可以兼容?

    1版本UDF内的Date类型改为Hive内置。 索引功能废弃。 驱动不兼容:Hive 3.1和Hive 1.2版本的JDBC驱动不兼容。 Hive 3.1对ORC文件列名大小写,下划线敏感。 Hive 3.1版本列中不能有名为time的列。 父主题: 产品咨询类

    来自:帮助中心

    查看更多 →

  • 贸易数据上云场景介绍

    DLI创建OBS外表,对OBS表数据存储格式有所要求: 使用DataSource语法创建OBS表时,支持orc,parquet,json,csv,carbon,avro类型。 使用Hive语法创建OBS表时,支持TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET, CARBON类型。

    来自:帮助中心

    查看更多 →

  • Hive数据存储及加密配置

    Colocation存储Hive表 配置Hive分区元数据冷热存储 Hive支持ZSTD压缩格式 使用ZSTD_JNI压缩算法压缩Hive ORC表 配置Hive列加密功能 父主题: 使用Hive

    来自:帮助中心

    查看更多 →

  • Spark SQL企业级能力增强

    Spark SQL企业级能力增强 配置矢量化读取ORC数据 配置过滤掉分区表中路径不存在的分区 配置Drop Partition命令支持批量删除 配置Hive表分区动态覆盖 配置Spark SQL开启Adaptive Execution特性 配置Spark SQL语法支持关联子查询不带聚合函数

    来自:帮助中心

    查看更多 →

  • REFRESH MATERIALIZED VIEW

    materialized_view_name 描述 用于更新物化视图的数据。 需提前获取物化视图名称。 如下为示例。 示例 hetuengine:tpcds_orc_hive_2> refresh materialized view mv.tpcds.test; REFRESH MATERIALIZED

    来自:帮助中心

    查看更多 →

  • 贸易数据上云场景介绍

    DLI创建OBS外表,对OBS表数据存储格式有所要求: 使用DataSource语法创建OBS表时,支持orc,parquet,json,csv,carbon,avro类型。 使用Hive语法创建OBS表时,支持TEXTFILE, AVRO, ORC, SEQUENCEFILE, RCFILE, PARQUET, CARBON类型。

    来自:帮助中心

    查看更多 →

  • 规划导出数据

    规划导出数据 MRS 导出支持的数据类型请参见表2。 表1 ORC格式的只写外表与HIVE数据类型匹配关系 类型名称 GaussDB (DWS)内表支持类型(数据源表) GaussDB(DWS)只写外表对应的类型 HIVE建表类型 1字节整数 TINYINT TINYINT(不推荐)

    来自:帮助中心

    查看更多 →

  • 数据源为Hive时支持哪些数据格式?

    云数据迁移 服务,数据源为Hive时支持的数据格式有哪些? 解决方案 云数据迁移服务支持从Hive数据源读写的数据格式包括SequenceFile、TextFile、ORC、Parquet。 父主题: 功能类

    来自:帮助中心

    查看更多 →

  • 预留参数

    enable_constraint_optimization enable_hadoop_env enable_hdfs_predicate_pushdown enable_orc_cache schedule_splits_threshold backend_version undo_zone_count version_retention_age

    来自:帮助中心

    查看更多 →

  • 预留参数

    dfs_partition_directory_length enable_fstream enable_hdfs_predicate_pushdown enable_orc_cache schedule_splits_threshold enable_constraint_optimization enable_hadoop_env

    来自:帮助中心

    查看更多 →

  • 导入导出

    从DLI导入表数据到GaussDB(DWS)集群 使用外表功能实现GaussDB(DWS)集群间数据迁移 从GaussDB(DWS)集群导出ORC数据到MRS集群

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了