spark-shell执行SQL跨文件系统load数据到Hive表失败 用户问题 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令，并且原数据和目标表存储位置不是同一套文件系统，上述两种方式MapReduce任务启动时会报错。

查看更多 →

支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前 MRS 提供以下Oozie相关样例工程： 表1 Oozie相关样例工程 样例工程位置 描述 oozie-examples/oozienormal-examples/OozieMapReduceExample O

查看更多 →

，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 当前MRS提供以下Oozie相关样例工程： 表1 Oozie相关样例工程 样例工程位置 描述 oozie-examples/ooziesecurity-examples/OozieMapReduceExample

查看更多 →

Spark同步HBase数据到CarbonData（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。 public static void main(String[] args)

查看更多 →

Spark同步HBase数据到CarbonData（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。 public static void main(String[] args)

查看更多 →

MRS的Storm与HBase组件实现交互的示例程序。实现提交Storm拓扑将数据存储到HBase的WordCount表中。 storm-hdfs-examples MRS的Storm与HDFS组件实现交互的示例程序。实现提交Storm拓扑数据存储到HDFS的功能。 storm-jdbc-examples 使用JDBC访问MRS

查看更多 →

tore访问时间，访问次数，连接并发数。 MapReduce/Spark：以该组件进行执行时，MapReduce/Spark执行的情况直接引影响到Hive的性能，如每个任务的大小，任务与资源分配均匀度，任务拆分合理度等。 HDFS：最底层的IO读也是性能的关键，主要考虑的指标是读

查看更多 →

Spark同步HBase数据到CarbonData（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。 public static void main(String[] args)

查看更多 →

Spark同步HBase数据到CarbonData（Java） 下面代码片段仅为演示，具体代码参见：com.huawei.spark.examples.HBaseExternalHivetoCarbon。 public static void main(String[] args)

查看更多 →

Spark性能优化 概述 Spark是基于内存的分布式计算框架。在迭代计算的场景下，数据处理过程中的数据可以存储在内存中，提供了比MapReduce高10到100倍的计算能力。Spark可以使用HDFS作为底层存储，使用户能够快速地从MapReduce切换到Spark计算平台上去

查看更多 →

导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户，例如developuser，并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限，HDFS访问

查看更多 →

导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户，例如developuser，并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限，HDFS访问

查看更多 →

未开启Kerberos认证集群的样例工程目录为“spark-examples/sparknormal-examples”。 SparkHbasetoCarbonJavaExample Spark同步HBase数据到CarbonData的Java示例程序。 本示例工程中，应用将数据实时写入HBase，用于点查

查看更多 →

MRS Spark读写HBase样例 21:23 Spark读写HBase样例 MapReduce服务 MRS Spark读取Hive写入HBase样例 23:41 Spark读取Hive写入HBase样例 MapReduce服务 MRS Spark读写ElasticSearch样例 33:20

查看更多 →

writeToKafkaBySingle() 支持将DStream中的数据逐条写入到Kafka。 表5 Spark Streaming增强特性接口 方法 说明 DStreamKafkaWriter.writeToKafka() 支持将DStream中的数据批量写入到Kafka。 DStreamKafkaWriter

查看更多 →

writeToKafkaBySingle() 支持将DStream中的数据逐条写入到Kafka。 表5 Spark Streaming增强特性接口 方法 说明 DStreamKafkaWriter.writeToKafka() 支持将DStream中的数据批量写入到Kafka。 DStreamKafkaWriter

查看更多 →

join是指同步多个并行任务的barrier）：把计算fork到每个分区，算完后join，然后fork/join下一个RDD的算子。如果直接翻译到物理实现，是很不经济的：一是每一个RDD（即使是中间结果）都需要物化到内存或存储中，费时费空间；二是join作为全局的barrier，

查看更多 →

writeToKafkaBySingle() 支持将DStream中的数据逐条写入到Kafka。 表4 Streaming增强特性接口 方法 说明 DStreamKafkaWriter.writeToKafka() 支持将DStream中的数据批量写入到Kafka。 DStreamKafkaWriter.w

查看更多 →

结果：单击“结果”，查看SparkSql和SparkScript类型的“状态”为“已完成”且“执行结果”为“成功”的作业执行结果。 删除：单击“删除”，删除一个作业。操作方法，请参见删除作业。 说明： 作业删除后不可恢复，请谨慎操作。 当选择保留作业日志到OBS或HDFS时，系统

查看更多 →

writeToKafkaBySingle() 支持将DStream中的数据逐条写入到Kafka。 表5 Spark Streaming增强特性接口 方法 说明 DStreamKafkaWriter.writeToKafka() 支持将DStream中的数据批量写入到Kafka。 DStreamKafkaWriter

查看更多 →

writeToKafkaBySingle() 支持将DStream中的数据逐条写入到Kafka。 表5 Spark Streaming增强特性接口 方法 说明 DStreamKafkaWriter.writeToKafka() 支持将DStream中的数据批量写入到Kafka。 DStreamKafkaWriter

查看更多 →