执行此条命令需要：将user.keytab或jaas.conf（二选一），krb5.conf（必须）放入conf目录中。 此工具暂时只支持Carbon表。 此工具会初始化Carbon环境和预读取表的元数据到JD BCS erver，所以更适合在多主实例、静态分配模式下使用。 父主题： Spark运维管理

查看更多 →

"modify_time=info.modify_time,valid=info.valid"); 在sparksql中创建CarbonData表： create table carbon01(key string,modify_time STRING, valid STRING) stored

查看更多 →

I完成贸易统计分析。 图1 场景方案 DLI 创建OBS外表，对OBS表数据存储格式有所要求： 使用DataSource语法创建OBS表时，支持orc，parquet，json，csv，carbon，avro类型。 使用Hive语法创建OBS表时，支持TEXTFILE, AVRO,

查看更多 →

执行此条命令需要：将user.keytab或jaas.conf（二选一），krb5.conf（必须）放入conf目录中。 此工具暂时只支持Carbon表。 此工具会初始化Carbon环境和预读取表的元数据到JDB CS erver，所以更适合在多主实例、静态分配模式下使用。 父主题： Spark运维管理

查看更多 →

过增加扫描仪线程数，可增加并行处理的数据块的数量，从而提高性能。可使用“carbon.properties”文件中的“carbon.number.of.cores”属性来配置扫描仪线程数。例如，“carbon.number.of.cores = 4”。 B-Tree缓存：为了获得更好的查询特性，可以通过B-tree

查看更多 →

Spark SQL在不同DB都可以显示临时表 问题 切换数据库之后，为什么还能看到之前数据库的临时表？ 创建一个DataSource的临时表，例如以下建表语句。 create temporary table ds_parquet using org.apache.spark.sql

查看更多 →

过增加扫描仪线程数，可增加并行处理的数据块的数量，从而提高性能。可使用“carbon.properties”文件中的“carbon.number.of.cores”属性来配置扫描仪线程数。例如，“carbon.number.of.cores = 4”。 B-Tree缓存：为了获得更好的查询特性，可以通过B-tree

查看更多 →

schema, 将通道内上传的JSON或CSV数据转换为CarbonData格式。 - CarbonData检索属性 carbon表属性，用于创建carbon writer。 支持的Key如下： table_blocksize：表的block大小，取值范围是1~2048MB，默认值是1024MB。

查看更多 →

setTransferTaskName(taskName); // 转储至 对象存储服务 (简称OBS)：OBS桶名和子文件夹名，通过OBS控制台或客户端创建桶和文件夹 descriptor.setObsBucketPath("obs-dis1"); descriptor.setFilePrefix("transfertask");

查看更多 →

"modify_time=info.modify_time,valid=info.valid"); 在sparksql中创建CarbonData表： create table carbon01(key string,modify_time STRING, valid STRING) stored

查看更多 →

Spark SQL在不同DB都可以显示临时表 问题 切换数据库之后，为什么还能看到之前数据库的临时表？ 创建一个DataSource的临时表，例如以下建表语句。 create temporary table ds_parquet using org.apache.spark.sql

查看更多 →

Major合并，详见合并Segments。 SEGMENT_INDEX 这会将一个segment内的所有Carbon索引文件（.carbonindex）合并为一个Carbon索引合并文件（.carbonindexmerge）。 这增强了首次查询性能。详见表1。 CUSTOM Cu

查看更多 →

Records Logger 配置项 默认值 描述 BAD_RECORDS_ LOG GER_ENABLE false 如果设置为true，则将创建Bad Records日志文件，其中包含Bad Records的详细信息。 BAD_RECORDS_ACTION FAIL 以下为Bad Records的四种操作类型：

查看更多 →

Major合并，详见合并Segments。 SEGMENT_INDEX 这会将一个segment内的所有Carbon索引文件（.carbonindex）合并为一个Carbon索引合并文件（.carbonindexmerge）。 这增强了首次查询性能。详见表1。 CUSTOM Cu

查看更多 →

约束限制 表生命周期处于公测阶段，如果有需要请联系客服申请开通白名单。 表生命周期功能支持Hive、DataSource语法创建表、多版本表，暂不支持跨源表、Carbon表。 生命周期单位为天，取值为正整数。 生命周期只能在表级别设置，不能在分区级设置。为分区表指定的生命周期，适用于该表所有的分区。

查看更多 →

truncate表超时失败问题 解决Hive增量任务失败后表数据文件不存在问题 解决Hive sql运行异常问题 解决安全集群创建carbon表后生成的目录hive组没权限，其他用户不能创建carbon表的问题 解决spark jdbcserver进程异常问题 MRS 2.1.0.10 修复问题列表： MRS

查看更多 →

"modify_time=info.modify_time,valid=info.valid"); 在sparksql中创建CarbonData表： create table carbon01(key string,modify_time STRING, valid STRING) stored

查看更多 →

Records Logger 配置项 默认值 描述 BAD_RECORDS_LOGGER_ENABLE false 若设置为true，则将创建Bad Records日志文件，其中包含Bad Records的详细信息。 BAD_RECORDS_ACTION FAIL 以下为Bad Records的四种操作类型：

查看更多 →

创建 根据指定的模板在当前工作目录下创建新服务。 在当前工作目录中创建服务： serverless create --template-url https://github.com/zy-linn/examples/tree/v3/legacy/huawei-nodejs 使用自定义模板在新文件夹中创建服务：

查看更多 →

CarbonScanRDD[InternalRow]): Array[String]; 使用方法 使用如下方法从查询语句中获得CarbonScanRDD： val df=carbon.sql("select * from table where age='12'") val myscan=df.queryExecution

查看更多 →

用户将所有历史数据加载到CarbonData，此数据的一个segment的大小假定为500GB。 用户设置major compaction参数的阈值：“carbon.major.compaction.size” = “491520（480gb * 1024）”。其中，491520可配置。 运行major

查看更多 →