取值范围：字符串，‘table’、‘file’、‘all’。 默认值：‘table’ asp_flush_rate 参数说明：当内存中样本个数达到asp_sample_num时，会按一定比例把内存中样本刷新到磁盘上，asp_flush_rate为刷新比例。该参数为10时表示按10：1进行刷新。

查看更多 →

写入更新数据时报错UnsupportedOperationException 问题 数据写入时报错： java.lang.UnsupportedOperationException: org.apache.parquet.avro.AvroConverters$FieldIntegerConverter

查看更多 →

SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入Hbase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在HB

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

从HBase读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

从Hive读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

优化向量检索写入与查询性能 写入性能优化 关闭副本，待数据导入完成后再开启副本，减少副本构建的开销。 调整“refresh_interval”为120s或者更大，避免频繁刷新索引生成大量小的segments，同时减少merge带来的向量索引构建开销。 适当调大“native.vector

查看更多 →

enable_asp_standby 参数说明：设置是否开启ASP支持备机功能。开启该功能后，ASP报告进行采样时，会同步获取备机的采集数据。 参数类型：布尔型 参数单位：无 取值范围： on：开启ASP支持备机功能，ASP获取所有备机上的采集数据。 off：关闭ASP支持备机功能。

查看更多 →

enable_asp_standby 参数说明：设置是否开启ASP支持备机功能。开启该功能后，ASP报告进行采样时，会同步获取备机的采集数据。 参数类型：布尔型 参数单位：无 取值范围： on：开启ASP支持备机功能，ASP获取所有备机上的采集数据。 off：关闭ASP支持备机功能。

查看更多 →

附录 WDR报告和ASP报告导出 WDR报告信息介绍 ASP报告信息

查看更多 →

时间、日期处理函数和操作符 时间/日期操作符 时间/日期函数 EXTRACT date_part date_format time_format 父主题： 函数和操作符

查看更多 →

FlinkSQL写入JDBC数据支持ignoreDelete 本章节适用于 MRS 3.3.0及以后版本。 使用场景 FlinkSQL写入JDBC数据时可以过滤掉DELETE和UPDATE_BEFORE状态的数据。 使用方法 在创建的JDBC Connector Sink流表中添加“filter

查看更多 →

优化向量检索写入与查询性能 写入性能优化 关闭副本，待数据导入完成后再开启副本，减少副本构建的开销。 调整“refresh_interval”为120s或者更大，避免频繁刷新索引生成大量小的segments，同时减少merge带来的向量索引构建开销。 适当调大“native.vector

查看更多 →

SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该数据流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入HBase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在hb

查看更多 →

从Kafka读取数据写入到RDS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为根据商品的实时点击量，获取每小时内点击量最高的3个商品及其相关信息。商品的实时点击量数据为输入源发送到Kafka中，再将Kafka数据的分析结果输出到RDS中。 例如，输入如下样例数据：

查看更多 →

从Kafka读取数据写入到DWS 本指导仅适用于Flink 1.12版本。 场景描述 该场景为对汽车驾驶的实时数据信息进行分析，将满足特定条件的数据结果进行汇总。汽车驾驶的实时数据信息为数据源发送到Kafka中，再将Kafka数据的分析结果输出到DWS中。 例如，输入如下样例数据：

查看更多 →

提升处理性能，这类表要结合一定的业务场景来进行优化，无法从单纯的日期分区进行优化。事实表读取方式都会按照时间段切分，近一年、近一个月或者近一天，读取的文件数相对稳定可控，所以事实表优先考虑日期分区表。 分区采用日期字段，分区表粒度，要基于数据更新范围确定，不要过大也不要过小。 分

查看更多 →

外呼活动的特殊日期管理接口 查询外呼活动的特殊日期列表 新增外呼活动的特殊日期 修改外呼活动的特殊日期 删除外呼活动的特殊日期 删除外呼活动的所有特殊日期 父主题： 电销外呼

查看更多 →

时间、日期处理函数和操作符 时间/日期操作符 时间/日期函数 EXTRACT date_part date_format time_format 父主题： 函数和操作符

查看更多 →