SparkHivetoHbaseJavaExample 从Hive读取数据再写入HBase Java SparkHivetoHbaseScalaExample 从Hive读取数据再写入HBase Scala SparkHivetoHbasePythonExample 从Hive读取数据再写入HBase

查看更多 →

SparkHivetoHbaseJavaExample 从Hive读取数据再写入HBase Java SparkHivetoHbaseScalaExample 从Hive读取数据再写入HBase Scala SparkHivetoHbasePythonExample 从Hive读取数据再写入HBase

查看更多 →

本地运行Spark程序连接 MRS 集群的Hive、HDFS 问题 本地运行Spark程序时，如何连接MRS集群的Hive和HDFS？ 回答 为每一个Master节点申请并绑定弹性公网IP。 在本地Windows上配置集群的ip与主机名映射关系。登录集群后台，执行命令cat /etc

查看更多 →

导入并配置MapReduce样例工程 操作场景 MapReduce针对多个场景提供样例工程，帮助客户快速学习MapReduce工程。 以下操作步骤以导入MapReduce样例代码为例。操作流程如图1所示。 图1 导入样例工程流程 操作步骤 参考获取MRS应用开发样例工程，获取样例

查看更多 →

释器。 这里以IDEA为例介绍IntelliJ平台插件的安装流程，其他IntelliJ系列的IDE请参考IDEA。 开始安装 您可以在直接在IDE插件市场或者直接在JetBrains插件市场下载离线包安装。 IDE安装 在IntelliJ IDEA顶部菜单栏中选择File > S

查看更多 →

在本地Windows环境中编包并运行Spark程序 操作场景 在程序代码完成开发后，您可以在Windows环境中运行应用。使用Scala或Java语言开发的应用程序在IDEA端的运行步骤是一样的。 Windows环境中目前只提供通过JDBC访问Spark SQL的程序样例代码的运行，其他样例代码暂不提供。

查看更多 →

导入并配置Oozie样例工程 操作场景 将下载的样例工程导入到Windows开发环境IDEA中即可开始样例学习。 前提条件 已按照准备本地应用开发环境章节准备好开发用户，例如developuser，并下载用户的认证凭据文件到本地。 用户需要具备Oozie的普通用户权限，HDFS访问权限，Hive表读写权

查看更多 →

tree/mrs-3.1.5/src/hive-examples/hive-jdbc-example。 本地使用IDEA工具导入样例工程，等待Maven工程下载相关依赖包，具体操作可参考配置并导入样例工程。 图1 Hive样例工程示例 本地配置好Maven及SDK相关参数后，样例工程会自动加载相关依赖包。

查看更多 →

息。 准备连接Hive集群配置文件 配置并导入样例工程 Hive提供了不同场景下的多种样例程序，用户可获取样例工程并导入本地开发环境中进行程序学习。 导入并配置Hive样例工程 根据业务场景开发程序 根据实际业务场景开发程序，调用组件接口实现对应功能。 开发Hive应用 编译并运行程序

查看更多 →

进行安全认证。 配置Hive JDBC接口访问Hive安全认证 根据业务场景开发程序 根据实际业务场景开发程序，调用组件接口实现对应功能。 开发Hive应用 编译并运行程序 指导用户将开发好的程序编译提交运行并查看结果。 调测Hive应用 父主题： Hive应用开发概述

查看更多 →

IntelliJ IDEA等平台 示例代码参考 打开插件左侧主面板：点击IDEA左侧工具框中的"Huawei Cloud Toolkit"工具按钮、点击插件主面板中的API主页，则可打开华为云API插件主面板 。 在搜索框中搜索示例代码。同时下面的热门推荐会为您展示最近有哪些常用的示例代码。

查看更多 →

IntelliJ IDEA等平台 点击左侧菜单中的Huawei Cloud Toolkit图标，打开插件主面板，选择右上角的用户头像按钮，在弹出的页面选择华为云AK/SK登录、华为账号登录或者 CS DN账号登录。 图1 选择AK/SK登录，会进入Setting面板，填入AK、SK后点击apply进行登录操作。

查看更多 →

准备本地应用开发环境 在进行应用开发时，要准备的开发和运行环境如表1所示。 表1 开发环境 准备项 说明 操作系统 开发环境：Windows系统，支持Windows 7以上版本。 运行环境：Windows系统或Linux系统。 如需在本地调测程序，运行环境需要和集群业务平面网络互通。

查看更多 →

如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试。 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的“+”

查看更多 →

使用Hue WebUI操作Hive表 Hue汇聚了与大多数Apache Hadoop组件交互的接口，致力让用户通过界面图形化的方式轻松使用Hadoop组件。目前Hue支持HDFS、Hive、HBase、Yarn、MapReduce、Oozie和SparkSQL等组件的可视化操作。 前提条件

查看更多 →

安装和配置IntelliJ IDEA 用于开发Spark应用程序的工具，建议使用2019.1或其他兼容版本。 说明： 若使用IBM JDK，请确保IntelliJ IDEA中的JDK配置为IBM JDK。 若使用Oracle JDK，请确保IntelliJ IDEA中的JDK配置为Oracle

查看更多 →

如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在

查看更多 →

如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在

查看更多 →

如何使用IDEA远程调试 问题 在Spark二次开发中如何使用IDEA远程调试？ 回答 以调试SparkPi程序为例，演示如何进行IDEA的远程调试： 打开工程，在菜单栏中选择“Run > Edit Configurations”。 在弹出的配置窗口中用鼠标左键单击左上角的号，在

查看更多 →

使用Hue WebUI操作Hive表 Hue提供了文件浏览器功能，使用户可以通过界面图形化的方式查看Hive上文件及目录功能。 前提条件 已安装Hive以及Hue组件，且状态为运行中的Kerberos认证的集群。 操作步骤 访问Hue WebUI，请参考访问Hue WebUI界面。

查看更多 →

/mrs-3.1.5/src/hive-examples/hcatalog-example。 本地使用IDEA工具导入样例工程，等待Maven工程下载相关依赖包，具体操作可参考配置并导入样例工程。 图1 Hive HCatalog样例工程示例 本地配置好Maven及SDK相关参数后，样例工程会自动加载相关依赖包。

查看更多 →