Scala样例代码 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples

查看更多 →

Python样例代码 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。 下面代码片段仅为演示，

查看更多 →

Scala样例代码 功能介绍 在Spark应用中，通过使用Streaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数，或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码样例 下面代码片段仅为演示，具体代码参见：com

查看更多 →

Scala样例代码 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples

查看更多 →

Java样例代码 代码样例 假定用户需要每隔1秒钟需要统计4秒中窗口中数据的量，并做到状态严格一致性。 快照数据 该数据在算子制作快照时，用于保存到目前为止算子记录的数据条数。 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 import

查看更多 →

client目录下获取。 代码样例 下面列出producer和consumer，以及Flink Stream SQL Join使用主要逻辑代码作为演示。 完整代码参见com.huawei.bigdata.flink.examples.WriteIntoKafka和com.huawei.bigdata.flink

查看更多 →

的“增强型跨源连接”，相关API信息请参考创建增强型跨源连接。 RowKey 指定作为rowkey的dli关联表字段，支持单rowkey与组合rowkey。单rowkey支持数值与String类型，不需要指定长度。组合rowkey仅支持String类型定长数据，格式为：属性名1:长度

查看更多 →

scala样例代码 开发说明 支持对接CloudTable的OpenTSDB和 MRS 的OpenTSDB。 前提条件 在 DLI 管理控制台上已完成创建跨源连接。具体操作请参考《 数据湖探索 用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险，建议在配置文件

查看更多 →

java样例代码 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《 数据湖 探索用户指南》。 CSS 非安全集群 开发说明 代码实现 构造依赖信息，创建SparkSession 导入依赖 涉及到的mvn依赖库 <dependency> <groupId>org

查看更多 →

修改FilePath为当前算子文件所在绝对路径+算子py文件名称。FilePath = "project_path/operator/reduction";FilePath = "project_path/operator/reduction";修改FuncName为reduction.py文件中算子实现的函数名称。FuncNam

查看更多 →

PHP代码样例 AXB模式 AX模式 AXE模式 AXYB模式 父主题： 代码样例

查看更多 →

Scala样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： 样例：类CollectMapper

查看更多 →

Python样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见collectFemaleInfo.py： def contains(str, substr): if substr in str:

查看更多 →

Java样例代码 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples

查看更多 →

Java样例代码 功能介绍 在Spark应用中，通过使用StructuredStreaming调用Kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples

查看更多 →

Java样例代码 发布Job自定义Source算子产生数据 下面代码片段仅为演示，完整代码参见FlinkPipelineJavaExample样例工程下的com.huawei.bigdata.flink.examples.UserSource： package com.huawei

查看更多 →

Java样例代码 通过HSFabric方式访问Hive数据源 通过HSBroker方式访问Hive数据源 通过JDBC方式实现查询SQL任务执行进度和状态 父主题： 开发程序

查看更多 →

job，并提交MapReduce作业到hadoop集群。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector类： 样例1：类CollectionMapper定义Mapper抽

查看更多 →

Python样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见collectFemaleInfo.py： def contains(str, substr): if substr in str:

查看更多 →

Java样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： public static void

查看更多 →

Scala样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： object FemaleInfoCollection

查看更多 →