样例代码中使用的用户为：sparkuser，需要修改为准备好的开发用户。 打包项目 将krb5.conf和user.keytab文件上传到客户端所在 服务器 上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user

查看更多 →

配置WebUI上查看Container日志 配置场景 当Yarn配置“yarn.log-aggregation-enable”为“true”时，就开启了container日志聚合功能。日志聚合功能是指：当应用在Yarn上执行完成后，NodeManager将本节点中所有contai

查看更多 →

据加载、查询和删除。 数据规划 确保以多主实例模式启动了JD BCS erver服务，并至少有一个实例可连接客户端。在JDB CS erver节点上分别创建“/home/data”文件，内容如下： Miranda,32 Karlie,23 Candice,27 确保其对启动JDBCServer的用户有读写权限。

查看更多 →

配置WebUI上查看Container日志 配置场景 当Yarn配置“yarn.log-aggregation-enable”为“true”时，就开启了container日志聚合功能。日志聚合功能是指：当应用在Yarn上执行完成后，NodeManager将本节点中所有contai

查看更多 →

<batchTime>，其中<checkPointDir>指应用程序结果备份到HDFS的路径，<brokers>指获取元数据的Kafka地址，<topic>指读取Kafka上的topic名称，<batchTime>指Streaming分批的处理间隔。 由于Spark Streaming Kafka的依赖包在客户端

查看更多 →

例代码中使用的用户为：sparkuser，需要修改为准备好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前，样例代码中的user

查看更多 →

发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。 用户需保证worker和driver的Python版本一致，否则将报错："Python in worker has different

查看更多 →

<batchTime>，其中<checkPointDir>指应用程序结果备份到HDFS的路径，<brokers>指获取元数据的Kafka地址，<topic>指读取Kafka上的topic名称，<batchTime>指Streaming分批的处理间隔。 由于Spark Streaming Kafka的依赖包在客户端

查看更多 →

* 1、命令行方式提交，这种需要将应用程序jar包复制到客户端机器上执行客户端命令提交 * 2、远程方式提交，这种需要将应用程序的jar包打包好之后在IntelliJ IDEA中运行main方法提交 * 3、本地提交 ，在本地执行应用程序，一般用来测试

查看更多 →

详细代码请参考样例代码。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 运行Python样例代码无需通过Maven打包。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/example/”

查看更多 →

数据产生作用，通常与groupBy联合使用；等同于SQL中常用的SUM()，AVG()，也是聚合函数。 约束限制 在 DLI Console上执行UDAF相关操作时，需要使用自建的SQL队列。 跨账号使用UDAF时，除了创建UDAF函数的用户，其他用户如果需要使用时，需要先进行授权才可使用对应的UDAF函数。

查看更多 →

upload后，数据将上传到哪里？ 针对这个问题，有两种情况： 如果您创建的Notebook使用OBS存储实例时 单击“upload”后，数据将直接上传到该Notebook实例对应的OBS路径下，即创建Notebook时指定的OBS路径。 如果您创建的Notebook使用EVS存储实例时

查看更多 →

发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。 用户需保证worker和driver的Python版本一致，否则将报错："Python in worker has different

查看更多 →

存功能。第三方白板服务器需要实现鉴权、获取文件码、上传文件、上报文件信息、获取二维码5个接口，接口定义协议均默认为Https，响应成功约定状态码均返回200。例如，开发者需要将白板扫码带走的内容上传到自己的服务器，可以使用该能力。 https://gitee.com/ideahu

查看更多 →

详细代码请参考样例代码。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 运行Python样例代码无需通过Maven打包。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/example/”

查看更多 →

调试参数Host和Port，如下图所示。 其中Host为获取的Worker运行的主机IP地址，Port为调试的端口号（确保该端口在运行机器上没被占用）。 图3 配置参数 当改变Port端口号时，在WORKER_GC_OPTS中追加的调试参数也要跟着改变，比如Port设置为8011，对应的调试参数则变更为-Xdebug

查看更多 →

业务部署 配置项目后单击右上角的“运行”按钮进行运行。 图1 项目运行 在项目的target目录下，获取到打包好的war包。 图2 获取war包 通过工具连接ECS服务器（本实践使用Mobal Xterm），分别执行如下命令安装JRE及JDK。 #安装JRE： sudo yum

查看更多 →

Eclipse普通Java项目上云 问题现象 在Eclipse上开发的Java web项目无法在CodeArts Build上构建出包，需要转换项目。本文档将指导您如何将项目改造成Ant项目，在CodeArts Build上使用Ant工具进行构建出包。 处理方法 在项目中创建一个build

查看更多 →

调试参数Host和Port，如下图所示。 其中Host为获取的Worker运行的主机IP地址，Port为调试的端口号（确保该端口在运行机器上没被占用）。 图3 配置参数 当改变Port端口号时，在WORKER_GC_OPTS中追加的调试参数也要跟着改变，比如Port设置为8011，对应的调试参数则变更为-Xdebug

查看更多 →

Functions）自定义表值函数，UDTF用于解决一进多出业务场景，即其输入与输出是一对多的关系，读入一行数据，输出多个值。 约束限制 在DLI Console上执行UDTF相关操作时，需要使用自建的SQL队列。 不同的IAM用户使用UDTF时，除了创建UDTF函数的用户，其他用户如果需要使用时，需要

查看更多 →

例代码中使用的用户为：sparkuser，需要修改为准备好的开发用户。 打包项目 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user

查看更多 →