Spark SQL样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“

查看更多 →

性能弹性文件服务。 已开通高性能弹性文件服务。 配置参考 登录高性能弹性文件服务管理控制台。 在左侧导航栏，选择“SFS Turbo > 文件系统列表”。在页面右上角单击“创建文件系统”。 在创建文件系统页面，根据界面提示配置参数。 配置完成后，单击“立即创建”，完成文件系统创建。

查看更多 →

0.jar”到Linux客户端上。例如“/opt”目录。 如果集群开启Kerberos，参考5.2.2-准备开发用户获得的“user.keytab”、“krb5.conf”文件需要在Linux环境上创建文件夹保存这些配置文件，例如“/opt/conf”。并在linux环境上，在客户

查看更多 →

获取Map输出中的最后一条数据。 将数据输出到HBase。 将数据保存到HDFS。 数据规划 创建HDFS数据文件。 在Linux系统上新建文本文件，将log1.txt中的内容复制保存到data.txt。 在HDFS上创建一个文件夹“/tmp/examples/multi-components/map

查看更多 →

在Liunx中新建文本文件data，将如下数据内容保存到data文件中。 Miranda,32 Karlie,23 Candice,27 在Linux系统HDFS客户端使用命令hadoop fs -mkdir /data（hdfs dfs命令有同样的作用），创建对应目录。 在Linux系统HDFS客户端使用命令hadoop

查看更多 →

Linux文件系统提示：Read-only file system 问题现象 Linux操作系统 云服务器 删除或者修改文件时提示文件系统只读：Read-only file system，导致操作失败。 根因分析 文件系统只读的原因可能有： 文件系统错误导致文件系统进入只读模式。 文件系统是以只读方式进行的挂载。

查看更多 →

准备依赖的Jar包和配置文件。 在Linux环境新建目录，例如“/opt/test”，并创建子目录“lib”和“src/main/resources/”。将样例工程中“lib”文件夹下的Jar包上传Linux环境的“lib”目录。将样例工程中“src/main/resources”文件夹下的配置

查看更多 →

已开通弹性文件服务。 配置参考 登录弹性文件服务管理控制台。 在左侧导航栏，选择“SFS容量型”。在页面右上角单击“创建文件系统”。 在创建文件系统页面，根据界面提示配置参数。 配置完成后，单击“立即创建”，完成文件系统创建。 Linux系统E CS 挂载操作请参见挂载NFS文件系统到云服

查看更多 →

在Linux环境中调测HetuEngine应用 操作场景 在程序代码完成开发后，可以把代码编译成jar包，上传到Linux环境进行程序功能调试。 在Linux环境上调测程序前，需在Linux节点预安装客户端。 操作步骤 在Windows环境的开发环境IntelliJ IDEA中，在“Maven

查看更多 →

在Linux环境中调测MapReduce应用 操作场景 在程序代码完成开发后，您可以在Linux环境中运行应用。 MapReduce应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果查看程序运行情况。 登录MapReduce WebUI查看应用程序运行情况。

查看更多 →

在Linux环境中调测MapReduce应用 操作场景 在程序代码完成开发后，您可以在Linux环境中运行应用。 MapReduce应用程序运行完成后，可通过如下方式查看应用程序的运行情况。 通过运行结果查看程序运行情况。 登录MapReduce WebUI查看应用程序运行情况。

查看更多 →

获取Map输出中的最后一条数据。 将数据输出到HBase。 将数据保存到HDFS。 数据规划 创建HDFS数据文件。 在Linux系统上新建文本文件，将log1.txt中的内容复制保存到data.txt。 在HDFS上创建一个文件夹“/tmp/examples/multi-components/map

查看更多 →

获取Map输出中的最后一条数据。 将数据输出到HBase。 将数据保存到HDFS。 数据规划 创建HDFS数据文件。 在Linux系统上新建文本文件，将log1.txt中的内容复制保存到data.txt。 在HDFS上创建一个文件夹“/tmp/examples/multi-components/map

查看更多 →

在Linux中调测Hive JDBC应用 执行mvn package生成jar包，在工程目录target目录下获取，比如:hive-examples-1.0.jar。 在运行调测环境上创建一个目录作为运行目录，如“/opt/hive_examples”(Linux环境)，并在该目录下创建子目录“conf”。

查看更多 →

a2.txt /tmp/input 规划MapReduce访问多组件样例程序数据 创建HDFS数据文件。 在Linux系统中新建文本文件，将待处理的数据复制到文件中。例如将MapReduce访问多组件样例程序开发思路中log1.txt中的内容复制保存到data.txt。 执行以下命令进入HDFS客户端目录并认证用户。

查看更多 →

应用程序开发或运行过程中，需通过集群相关配置文件信息连接 MRS 集群，配置文件通常包括集群组件信息文件以及用于安全认证的用户文件，可从已创建好的MRS集群中获取相关内容。 准备Spark连接集群配置文件 配置并导入样例工程 Spark提供了不同场景下的多种样例程序，用户可以可获取样例工程并导入本地开

查看更多 →

Spark SQL样例程序开发思路 场景说明 假定用户有某个周末网民网购停留时间的日志文本，基于某些业务要求，要求开发Spark应用程序实现如下功能： 统计日志文件中本周末网购停留总时间超过2个小时的女性网民信息。 周末两天的日志文件第一列为姓名，第二列为性别，第三列为本次停留时间，单位为分钟，分隔符为“

查看更多 →

子程序 存储在数据库中的存储过程、函数、操作符和高级包等。当在数据库上建立好后，可以在其他程序中调用它们。 父主题： 声明语法

查看更多 →

Linux版本 问题描述 Linux版本的Edge安装完成后，无法启动。 问题分析 出现该问题通常是因为安装Edge的主机后台进程过多或可用CPU太小，导致Edge在安装时，进程无法自动启动。 解决方法 请按照以下步骤，手动启动Edge进程： 执行如下命令，进入Edge安装目录中的scripts目录。

查看更多 →

子程序 存储在数据库中的存储过程、函数和操作符及高级包等。当在数据库上建立好后，可以在其他程序中调用它们。 父主题： 声明语法

查看更多 →

构建程序 创建函数 登录 函数工作流 控制台，在左侧导航栏选择“函数 > 函数列表”，右上角单击“创建函数”。 进入创建函数页面，选择“创建空白函数”，填写函数信息，完成后单击“创建函数”。 函数类型：选择“HTTP函数”。 区域：选择“华东-上海一”。 函数名称：输入您自定义的函数

查看更多 →