scala样例代码 前提条件 在 DLI 管理控制台上已完成创建跨源连接。具体操作请参考《 数据湖探索 用户指南》。 CSS 非安全集群 开发说明 构造依赖信息，创建SparkSession 导入依赖 涉及到的mvn依赖库 1 2 3 4 5 <dependency> <groupId>org

查看更多 →

Scala样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： object CollectFemaleInfo

查看更多 →

e-site.xml中的配置项spark.thriftserver.zookeeper.dir（默认是/thriftserver），在此znode子节点（active_thriftserver）上存放了JD BCS erver主节点的IP和PORT 样例代码 from kazoo.client

查看更多 →

Scala样例代码 功能介绍 用户可以使用Spark调用HBase接口来操作HBase table1表，然后把table1表的数据经过分析后写到HBase table2表中。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples

查看更多 →

插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 Redis源表 Redis结果表 Redis维表 Flink作业样例 DDS 创建DDS关联表 插入数据 查询数据 scala样例代码 pyspark样例代码 java样例代码 - - DMS - -

查看更多 →

scala样例代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务，兼容MongoDB协议。 在DLI管理控制台上已完成创建增强跨源连接，并绑定包年/包月队列。具体操作请参考《 数据湖 探索用户指南》。 认证用的password硬编码到代码中或者

查看更多 →

下载样例工程 前提条件 确认 表格存储服务 已经安装，并正常运行。 下载样例工程 下载样例代码工程。 下载完成后，将样例代码工程安装包解压到本地，得到一个Eclipse的JAVA工程。如图1所示。 图1 样例代码工程目录结构 Maven配置 样例工程中已经包含了hbase的客户端jar包，也可以替换成开源的HBase

查看更多 →

Scala样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection： //配置Spark应用名称 val

查看更多 →

Scala样例代码 功能简介 在Spark应用中，通过使用HBase接口来实现创建表，读取表，往表中插入数据等操作。 代码样例 下面代码片段仅为演示，具体代码参见SparkOnHbaseScalaExample： 样例：创建HBase表 //建立连接hbase的配置参数，此时需要保证hbase-site

查看更多 →

Scala样例代码 功能介绍 在Spark应用中，通过使用StructuredStreaming调用kafka接口来获取单词记录，然后把单词记录分类统计，得到每个单词记录数。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples

查看更多 →

Python样例代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码样例 下面代码片段仅为演示，具体代码参见collectFemaleInfo.py： def contains(str, substr): if substr in str:

查看更多 →

Scala样例代码 功能介绍 在Spark应用中，通过使用Streaming调用kafka接口来获取数据，然后把数据经过分析后，找到对应的HBase表记录，再写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata.spark.examples

查看更多 →

API代码样例 JAVA

查看更多 →

Flink向Kafka生产并消费数据Java样例代码 功能简介 在Flink应用中，调用flink-connector-kafka模块的接口，生产并消费数据。 用户在开发前需要使用对接安全模式的Kafka，则需要引入 MRS 的kafka-client-xx.x.x.jar，该jar包可在MRS

查看更多 →

API样例代码 Java C# PHP NodeJs Python

查看更多 →

MRS各组件样例工程汇总 样例工程获取地址参见获取MRS应用开发样例工程，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用，当前版本各组件提供的样例工程汇总参见表1。 表1

查看更多 →

Spark从Hive读取数据再写入HBase样例程序（Python） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。

查看更多 →

Spark从Hive读取数据再写入HBase样例程序（Python） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 由于pyspark不提供Hbase相关api，本样例使用Python调用Java的方式实现。

查看更多 →

MRS各组件样例工程汇总 样例工程获取地址参见获取MRS应用开发样例工程，切换分支为与MRS集群相匹配的版本分支，然后下载压缩包到本地后解压，即可获取各组件对应的样例代码工程。 MRS样例代码库提供了各组件的基本功能样例工程供用户使用，当前版本各组件提供的样例工程汇总参见表1。 表1

查看更多 →

HetuEngine样例程序（Java） 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 通过JDBC方式实现查询HetuEngine SQL任务 父主题： 开发HetuEngine应用

查看更多 →

HetuEngine样例程序（Java） 通过HSFabric的KeyTab认证实现查询HetuEngine SQL任务 通过HSFabric的用户名密码认证实现查询HetuEngine SQL任务 通过HSBroker的用户名密码认证实现查询HetuEngine SQL任务 通

查看更多 →