MapReduce性能调优 多CPU内核下的调优配置 确定Job基线 Shuffle调优 大任务的AM调优 推测执行 通过“Slow Start”调优 MR job commit阶段优化 父主题： 使用Mapreduce

查看更多 →

MapReduce性能调优 多CPU内核下的调优配置 确定Job基线 Shuffle调优 大任务的AM调优 推测执行 通过“Slow Start”调优 MR job commit阶段优化 父主题： 使用Mapreduce

查看更多 →

Shuffle调优 操作场景 Shuffle阶段是MapReduce性能的关键部分，包括了从Map task将中间数据写到磁盘一直到Reduce task拷贝数据并最终放到reduce函数的全部过程。这一块Hadoop提供了大量的调优参数。 图1 Shuffle过程 操作步骤 Map阶段的调优

查看更多 →

Shuffle调优 操作场景 Shuffle阶段是MapReduce性能的关键部分，包括了从Map task将中间数据写到磁盘一直到Reduce task复制数据并最终放到reduce函数的全部过程。这一块Hadoop提供了大量的调优参数。 图1 Shuffle过程 操作步骤 Map阶段的调优

查看更多 →

每个节点资源占用都比较高 如果集群所有节点资源占用都比较高，说明集群整体比较忙，需要单独确认需要调优的SQL语句，单独调优。如果SQL也无调优余地，集群资源达到瓶颈，需要通过扩容来提升查询性能，达到调优目标。 父主题： 数据库调优

查看更多 →

参数调优 数据库参数是数据库系统运行的关键配置信息，设置不合适的参数值可能会影响业务。本文列举了一些重要参数说明。更多参数的详细说明请参见MongoDB官网。 如需通过控制台界面修改参数值，请参见修改DDS实例参数。 enableMajorityReadConcern 该参数表示

查看更多 →

代码示例（Java） ISV Server验证所有的通知请求 ISV Server验证所有的post body通知请求 ISV Server对响应消息体进行签名 ISV Server对资源开通后的用户名和密码加密 ISV Server解密手机号和邮箱 Java代码示例（总） 父主题：

查看更多 →

Java代码样例 样例 隐私保护通话代码样例（JAVA） 环境要求 基于JDK 1.8版本，要求JDK 1.6及以上版本。 引用库 commons-io、commons-lang3、fastjson、log4j、sun.misc.base64decoder 下载链接 点此下载 本

查看更多 →

Java样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类： //创建一个配置类Sp

查看更多 →

Java样例代码 功能介绍 实时统计连续网购时间超过半个小时的女性网民信息，将统计结果直接打印或者输出写入到Kafka中。 Spark Streaming Write To Print代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples

查看更多 →

Java样例代码 功能简介 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句，注意其中不能包含“;”。示例： ArrayList<String> sqlList = new ArrayList<String>(); sqlList

查看更多 →

Java样例代码 功能简介 统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.flink.example.stream.FlinkStreamJavaExample： 1 2 3 4

查看更多 →

Java样例代码 功能介绍 统计连续网购时间超过2个小时的女性网民信息，将统计结果直接打印。 代码样例 下面代码片段仅为演示，完整代码参见FlinkStreamJavaExample样例工程下的com.huawei.bigdata.flink.examples.FlinkStreamJavaExample：

查看更多 →

Java样例代码 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar，该jar包可在Kafka的客户端目录下获取。

查看更多 →

= udfState.getState(); } } 应用代码 该段代码是流图定义代码，具体实现业务流程，另外，代码中窗口的触发时间使用了processing time。 下面代码片段仅为演示，完整代码参见FlinkCheckpointJavaExample样例工程下的com

查看更多 →

Java样例代码 功能介绍 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 代码样例 用户在开发前需要使用对接安全模式的Kafka，则需要引入FusionInsight的kafka-clients-*.jar，该jar包可在Kafk

查看更多 →

Java样例代码 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples.SparkHivetoHbase

查看更多 →

Java样例代码 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示，具体代码参见：com.huawei

查看更多 →

Java样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类： //创建一个配置类Sp

查看更多 →

Java样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： public static void

查看更多 →

Java样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection类： //创建一个配置类Sp

查看更多 →