MapReduce服务 MRS

 

MapReduce服务(MapReduce Service)提供租户完全可控的企业级大数据集群云服务,轻松运行Hadoop、Spark、HBase、Kafka、Storm等大数据组件。包年更优惠,买1年只需付10个月费用

 
 

    hdfs 开发样例 更多内容
  • 样例代码说明

    代码说明 设置属性 建立连接 创建库 创建表 插入数据 查询数据 删除表 父主题: 开发程序

    来自:帮助中心

    查看更多 →

  • 样例代码说明

    代码说明 配置参数 创建Configuration 创建数据表开启标签索引 写入数据 普通查询 抽样查询 分页查询 统计查询 父主题: 开发标签索引应用

    来自:帮助中心

    查看更多 →

  • Python样例代码

    Python代码 功能简介 通过连接zookeeper上的对应znode获取到当前主JD BCS erver的IP和PORT,然后使用pyhive连接到这个JDB CS erver,从而实现在JDBCServer-ha模式下,出现主备倒换后不需要修改代码依旧就能直接访问新的主JDBCServer服务。

    来自:帮助中心

    查看更多 →

  • Java样例代码

    huawei.bigdata.spark.examples.SecurityKafkaWordCount。代码下载地址请参见获取 MRS 应用开发工程。 普通集群需要将代码中com.huawei.bigdata.spark.examples.SecurityKafkaWordCount类中第78行代码

    来自:帮助中心

    查看更多 →

  • Java样例代码

    executeSql(url, sqlList); 工程中的data文件需要放到HDFS上的home目录下 保证data文件和创建的表的所属的用户和用户组保持一致 拼接JDBC URL。 HA模式下url的host和port必须为“ha-cluster”。 普通集群需要将代码中com.huawei

    来自:帮助中心

    查看更多 →

  • Scala样例代码

    SparkHivetoHbase。 代码获取方式请参考获取MRS应用开发工程。 代码: /** * 从hive表读取数据,根据key值去hbase表获取相应记录,把两者数据做操作后,更新到hbase表 */ object SparkHivetoHbase { case

    来自:帮助中心

    查看更多 →

  • java样例代码

    java代码 前提条件 在 DLI 管理控制台上已完成创建跨源连接。具体操作请参考《 数据湖探索 用户指南》。 CSS 非安全集群 开发说明 代码实现 构造依赖信息,创建SparkSession 导入依赖 涉及到的mvn依赖库 <dependency> <groupId>org

    来自:帮助中心

    查看更多 →

  • Scala样例代码

    Scala代码 功能介绍 实时统计连续网购时间超过半个小时的女性网民信息,将统计结果直接打印或者输出写入到Kafka中。 Spark Streaming Write To Print代码 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples

    来自:帮助中心

    查看更多 →

  • Java样例代码

    examples.SparkHbasetoHbase。 代码获取方式请参考获取MRS应用开发工程。 代码: /** * 从table1表读取数据,根据key值去table2表获取相应记录,把两者数据后,更新到table2表 */ public class SparkHbasetoHbase

    来自:帮助中心

    查看更多 →

  • Scala样例代码

    Scala代码 功能介绍 在Spark应用中,通过使用Streaming调用kafka接口来获取单词记录,然后把单词记录分类统计,得到每个单词记录数,或将数据写入Kafka0-10。 Streaming读取Kafka0-10代码 下面代码片段仅为演示,具体代码参见:com

    来自:帮助中心

    查看更多 →

  • java样例代码

    java代码 开发说明 本只适用于MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《 数据湖 探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。

    来自:帮助中心

    查看更多 →

  • Java样例代码

    SparkHivetoHbase。 代码获取方式请参考获取MRS应用开发工程。 代码: /** * 从hive表读取数据,根据key值去hbase表获取相应记录,把两者数据做操作后,更新到hbase表 */ public class SparkHivetoHbase { public

    来自:帮助中心

    查看更多 →

  • Java样例代码

    examples.SparkOnStreamingToHbase。 代码获取方式请参考获取MRS应用开发工程。 代码: /** * 运行streaming任务,根据value值从hbase table1表读取数据,把两者数据做操作后,更新到hbase table1表 */

    来自:帮助中心

    查看更多 →

  • scala样例代码

    scala代码 开发说明 支持对接CloudTable的OpenTSDB和MRS的OpenTSDB。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件

    来自:帮助中心

    查看更多 →

  • Scala样例代码

    examples.SparkHbasetoHbase。 代码获取方式请参考获取MRS应用开发工程。 代码: /** * 从table1表读取数据,根据key值去table2表获取相应记录,把两者数据后,更新到table2表 */ object SparkHbasetoHbase

    来自:帮助中心

    查看更多 →

  • java样例代码

    java代码 开发说明 mongo只支持增强型跨源。只能使用包年包月队列。 DDS即文档数据库服务,兼容MongoDB协议。 前提条件 在DLI管理控制台上已完成创建增强跨源连接,并绑定包年/包月队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代

    来自:帮助中心

    查看更多 →

  • 样例代码说明

    代码说明 配置参数 创建Configuration 创建Connection 创建表 删除表 修改表 插入数据 删除数据 使用Get读取数据 使用Scan读取数据 使用过滤器Filter 父主题: 开发HBase应用

    来自:帮助中心

    查看更多 →

  • java样例代码

    java代码 开发说明 本只适用于MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接并绑定队列。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。

    来自:帮助中心

    查看更多 →

  • scala样例代码

    scala代码 开发说明 支持对接CloudTable的HBase和MRS的HBase。 前提条件 在DLI管理控制台上已完成创建跨源连接。具体操作请参考《数据湖探索用户指南》。 认证用的password硬编码到代码中或者明文存储都有很大的安全风险,建议在配置文件或者环境变量中密文存放,使用时解密,确保安全。

    来自:帮助中心

    查看更多 →

  • Java代码样例

    Java代码 隐私保护通话 代码(JAVA) 环境要求 基于JDK 1.8版本,要求JDK 1.6及以上版本。 引用库 commons-io、commons-lang3、fastjson、log4j、sun.misc.base64decoder 下载链接 点此下载 本

    来自:帮助中心

    查看更多 →

  • Scala样例代码

    Scala代码 功能简介 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 代码 下面代码片段仅为演示,具体代码参见com.huawei.bigdata.spark.examples.FemaleInfoCollection。 代码获取方式请参考获取MRS应用开发样例工程。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了