新建Spark样例工程（可选） 操作场景 除了导入Spark样例工程，您还可以使用IDEA新建一个Spark工程。如下步骤以创建一个Scala工程为例进行说明。 操作步骤 打开IDEA工具，选择“Create New Project”。 图1 创建工程 在“New Project

查看更多 →

Request topic中。 请求一个广告后，可能用于多次展示，每次展示，会生成广告展示事件，保存到kafka的adShow topic中。 每个广告展示，可能会产生多次点击，每次点击，会生成广告点击事件，保存到kafka的adClick topic中。 广告有效展示的定义如下：

查看更多 →

Request topic中。 请求一个广告后，可能用于多次展示，每次展示，会生成广告展示事件，保存到kafka的adShow topic中。 每个广告展示，可能会产生多次点击，每次点击，会生成广告点击事件，保存到kafka的adClick topic中。 广告有效展示的定义如下：

查看更多 →

问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下： 在IDEA工具中，选择“File

查看更多 →

问题 在使用IDEA导入工程前，如果IDEA工具中已经进行过Maven配置时，会导致工具自动加载Maven配置中的依赖包。当自动加载的依赖包与应用程序不配套时，导致工程Build失败。如何处理自动加载的依赖包？ 回答 建议在导入工程后，手动删除自动加载的依赖。步骤如下： 在IDEA工具中，选择“File

查看更多 →

如需在本地调测程序，运行环境需要和集群业务平面网络互通。 安装JDK Java/Scala开发和运行环境的基本配置。版本要求如下： 服务端和客户端仅支持自带的OpenJDK，版本为1.8.0_272，不允许替换。 对于客户应用需引用SDK类的Jar包运行在客户应用进程中的。 X86客户端：Oracle

查看更多 →

spark-env.sh Spark环境变量配置文件。 在应用开发过程中，如需在本地Windows系统中调测应用程序，需要复制解压目录下的“hosts”文件中的内容到客户端所在节点的hosts文件中，确保本地机器能与解压目录下“hosts”文件中所列出的各主机在网络上互通。 当客户

查看更多 →

LogLevel结构体 枚举值 对应值 描述 IDEA_LEVEL_ERROR 0 错误级别 IDEA_LEVEL_WARNING 1 警告级别 IDEA_LEVEL_INFO 2 信息级别 IDEA_LEVEL_DEBUG 3 调试级别 父主题： 结构体描述

查看更多 →

单击“配置”，在搜索框中搜索“OOZIE_HTTPS_PORT”，即可查看使用的端口号。 操作步骤 参考获取 MRS 应用开发样例工程，获取样例代码解压目录中“src\oozie-examples”目录下的样例工程文件夹“ooziesecurity-examples”中的OozieM

查看更多 →

如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。

查看更多 →

如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。

查看更多 →

程序包管理”页面，选择对应的UDF Jar包，单击“操作”列中的“权限管理”，进入权限管理页面，单击右上角“授权”，勾选对应权限。 自定义函数中引用static类或接口时，必须要加上“try catch”异常捕获，否则可能会造成包冲突，导致函数功能异常。 环境准备 在进行UDF开发前，请准备以下开发环境。

查看更多 →

环境Notebook中，可以直接使用。 登录ModelArts控制台，在“开发空间 > Notebook”中创建Notebook实例，打开Terminal，使用ma-cli命令。 ma-cli在本地Windows/Linux环境中需要安装后在本地Terminal中使用。安装步骤具体可参考（可选）本地安装ma-cli。

查看更多 →

SQL程序，需要先在客户端启动Spark SQL或Beeline以输入SQL语句。 操作步骤 获取样例工程并将其导入IDEA，导入样例工程依赖jar包。通过IDEA配置并生成jar包。 准备样例工程所需数据。 将场景说明中的原日志文件放置在HDFS系统中。 本地新建两个文本文件，分别将log1.txt及log2

查看更多 →

Storm”，选择“配置”选项卡，在搜索框中搜索并调大nimbus.task.timeout.secs和supervisor.worker.start.timeout.secs的值，建议调整为最大值。然后在WORKER_GC_OPTS的现有值后追加-Xdebug -Xrunjdwp

查看更多 →

码解压目录中“src\oozie-examples\oozienormal-examples”目录下的“OozieMapReduceExample、OozieSparkHBaseExample和OozieSparkHiveExample三个样例工程。 在应用开发环境中，导入样例工程到IDEA开发环境。

查看更多 →

spark-env.sh Spark环境变量配置文件。 user.keytab 对于Kerberos安全认证提供用户信息。 krb5.conf Kerberos Server配置信息。 在应用开发过程中，如需在本地Windows系统中调测应用程序，需要复制解压目录下的“hosts”文件中的内容到客

查看更多 →

如何添加自定义代码的依赖包 问题 用户在开发Spark程序时，会添加样例程序外的自定义依赖包。针对自定义代码的依赖包，如何使用IDEA添加到工程中？ 回答 在IDEA主页面，选择“File > Project Structures...”进入“Project Structure”页面。

查看更多 →

LogInfo logInfo = { LOG _PATH,IDEA_LEVEL_DEBUG,true}; mShareServiceController->SetLog(logInfo); 自定义事件回调类，继承自Huawei::Idea::IEventHandler, 其中构造函数INotifyUI

查看更多 →

SQL程序，需要先在客户端启动Spark SQL或Beeline以输入SQL语句。 操作步骤 获取样例工程并将其导入IDEA，导入样例工程依赖jar包。通过IDEA配置并生成jar包。 准备样例工程所需数据。 将场景说明中的原日志文件放置在HDFS系统中。 本地新建两个文本文件，分别将log1.txt及log2

查看更多 →

键（CodeArts IDE键盘映射） 键（IDEA键盘映射） 命令ID 切换断点 F9 Ctrl+F8 editor.debug.action.toggleBreakpoint 开始 F5 Shift+F9 workbench.action.debug.start 继续 F5 F9 workbench

查看更多 →