使用Spark执行Hudi样例程序（Scala） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据： def insertData(spark: SparkSession

查看更多 →

通过JDBC访问Spark SQL样例程序（Scala） 功能简介 使用自定义客户端的JDBC接口提交数据分析任务，并返回结果。 样例代码 定义SQL语句。SQL语句必须为单条语句，注意其中不能包含“;”。示例： val sqlList = new ArrayBuffer[String]

查看更多 →

Spark Structured Streaming样例程序（Scala） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com

查看更多 →

Spark Structured Streaming样例程序（Scala） 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com

查看更多 →

使用Spark执行Hudi样例程序（Scala） 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.hudi.examples.HoodieDataSourceExample。 插入数据： def insertData(spark: SparkSession

查看更多 →

图1 Spark架构 Spark开发接口简介 Spark支持使用Scala、Java和Python语言进行程序开发，由于Spark本身是由Scala语言开发出来的，且Scala语言具有简洁易懂的特性，推荐用户使用Scala语言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。

查看更多 →

apply(KafkaCluster.scala:366) org.apache.spark.streaming.kafka.KafkaCluster$$anonfun$checkErrors$1.apply(KafkaCluster.scala:366) scala.util.Either.fold(Either

查看更多 →

readObject(JavaSerializer.scala:71) at org.apache.spark.serializer.JavaSerializerInstance.deserialize(JavaSerializer.scala:91) at org.apache.spark

查看更多 →

设备集成指导 业务使用介绍 创建产品 注册设备 接入设备 产品管理 设备管理 规则引擎 订阅管理

查看更多 →

for the new Scala SDK”页面单击“Browse...”。 图22 Select JAR's for the new Scala SDK 在“Scala SDK files”页面选择scala sdk目录，单击“OK”。 图23 Scala SDK files 设置成功，单击“OK”保存设置。

查看更多 →

getChildren(ZkUtils.scala:541) at kafka.utils.ZkUtils.getSortedBrokerList(ZkUtils.scala:176) at kafka.admin.AdminUtils$.createTopic(AdminUtils.scala:235)

查看更多 →

数据转发至第三方应用 转发方式概述 使用HTTP/HTTPS转发 使用AMQP转发 使用MQTT转发 设备间通信 父主题： 规则引擎

查看更多 →

Spark Structured Streaming状态操作样例程序（Scala） 功能介绍 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。 代码样例

查看更多 →

Spark Structured Streaming对接Kafka样例程序（Scala） 功能介绍 使用Structured Streaming，从Kafka中读取广告请求数据、广告展示数据、广告点击数据，实时获取广告有效展示统计数据和广告有效点击统计数据，将统计结果写入kafka中。

查看更多 →

Spark Structured Streaming状态操作样例程序（Scala） 功能介绍 在Spark结构流应用中，跨批次统计每个session期间发生了多少次event以及本session的开始和结束timestamp；同时输出本批次被更新状态的session。 代码样例

查看更多 →

设备接入服务 如何获取设备数据？ 全新升级后的设备接入服务获取设备数据，需要通过规则引擎，将数据转发至其他服务获取。例如转发至OBS存储，转发至DIS或DMS后再发送至应用 服务器 。 父主题： 方案咨询

查看更多 →

next(ShuffleBlockFetcherIterator.scala:51) at scala.collection.Iterator$$anon$11.next(Iterator.scala:328) at scala.collection.Iterator$$anon$13

查看更多 →

数据转发至FunctionGraph 函数工作流 数据转发至MySQL存储 数据转发至OBS长期存储 数据转发至 BCS 可信上链 数据转发至MongoDB存储 父主题： 规则引擎

查看更多 →

for the new Scala SDK”页面单击“Browse...”。 图22 Select JAR's for the new Scala SDK 在“Scala SDK files”页面选择scala sdk目录，单击“OK”。 图23 Scala SDK files 设置成功，单击“OK”保存设置。

查看更多 →

at scala.sys.package$.error(package.scala:27) at org.apache.spark.sql.catalyst.SqlParserTrait$class.parseTableIdentifier(SqlParser.scala:56)

查看更多 →

for the new Scala SDK”页面单击“Browse...”。 图20 Select JAR's for the new Scala SDK 在“Scala SDK files”页面选择scala sdk目录，单击“OK”。 图21 Scala SDK files 设置成功，单击“OK”保存设置。

查看更多 →