Spark Structured Streaming状态操作样例程序（Scala） 功能介绍 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。 代码样例

查看更多 →

for the new Scala SDK”页面单击“Browse...”。 图22 Select JAR's for the new Scala SDK 在“Scala SDK files”页面选择scala sdk目录，单击“OK”。 图23 Scala SDK files 设置成功，单击“OK”保存设置。

查看更多 →

at scala.sys.package$.error(package.scala:27) at org.apache.spark.sql.catalyst.SqlParserTrait$class.parseTableIdentifier(SqlParser.scala:56)

查看更多 →

AS identifier [LANGUAGE JAVA|SCALA] 功能描述 创建一个用户自定义函数 语法说明 IF NOT EXISTS 若该函数已经存在，则不会进行任何操作。 LANGUAGE JAVA|SCALA Language tag 用于指定 Flink runtime

查看更多 →

Example 使用Spark Launcher提交作业的Java/Scala示例程序。 本工程应用程序通过org.apache.spark.launcher.SparkLauncher类采用Java/Scala命令方式提交Spark应用。 sparknormal-example

查看更多 →

for the new Scala SDK”页面单击“Browse...”。 图20 Select JAR's for the new Scala SDK 在“Scala SDK files”页面选择scala sdk目录，单击“OK”。 图21 Scala SDK files 设置成功，单击“OK”保存设置。

查看更多 →

除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具，选择“Create New Project”。 图1 创建工程 在“New Project”页面，选择“Scala”开发环境，并选择“IDEA”，然后单击“Next”。

查看更多 →

除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具，选择“Create New Project”。 图1 创建工程 在“New Project”页面，选择“Scala”开发环境，并选择“IDEA”，然后单击“Next”。

查看更多 →

除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具，选择“Create New Project”。 图1 创建工程 在“New Project”页面，选择“Scala”开发环境，并选择“IDEA”，然后单击“Next”。

查看更多 →

next(ShuffleBlockFetcherIterator.scala:51) at scala.collection.Iterator$$anon$11.next(Iterator.scala:328) at scala.collection.Iterator$$anon$13

查看更多 →

tData.scala:125) at org.apache.spark.streaming.dstream.DStreamCheckpointData$$anonfun$writeObject$1.apply(DStreamCheckpointData.scala:123) at

查看更多 →

for the new Scala SDK”页面单击“Browse...”。 图20 Select JAR's for the new Scala SDK 在“Scala SDK files”页面选择scala sdk目录，单击“OK”。 图21 Scala SDK files 设置成功，单击“OK”保存设置。

查看更多 →

Spark从Hive读取数据再写入HBase样例程序（Scala） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata

查看更多 →

Spark从Hive读取数据再写入HBase样例程序（Scala） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata

查看更多 →

for the new Scala SDK”页面单击“Browse...”。 图20 Select JAR's for the new Scala SDK 在“Scala SDK files”页面选择scala sdk目录，单击“OK”。 图21 Scala SDK files 设置成功，单击“OK”保存设置。

查看更多 →

for the new Scala SDK”页面单击“Browse...”。 图20 Select JAR's for the new Scala SDK 在“Scala SDK files”页面选择scala sdk目录，单击“OK”。 图21 Scala SDK files 设置成功，单击“OK”保存设置。

查看更多 →

bytes at scala.Predef$.require(Predef.scala:233) at kafka.server.KafkaConfig.validateValues(KafkaConfig.scala:959) at

查看更多 →

tificationListener.scala:112) at scala.collection.mutable.ResizableArray$class.foreach(ResizableArray.scala:59) at scala.collection.mutable.ArrayBuffer

查看更多 →

with old generation 118 | kafka.coordinator.GroupCoordinator (Logging.scala:68) 2018-05-12 10:58:43,245 | INFO | [kafka-request-handler-5] | [GroupCoordinator

查看更多 →

RDD$$anonfun$partitions$2.apply(RDD.scala:237) at scala.Option.getOrElse(Option.scala:120) at org.apache.spark.rdd.RDD.partitions(RDD.scala:237) at org.apache

查看更多 →

Flink向Kafka生产并消费数据Scala样例代码 功能简介 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka，则需要引入 MRS 的kafka-client-xx.x.x.jar，该jar包可在MRS

查看更多 →