conf 两个文件上传客户端所在 服务器 上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user

查看更多 →

ar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。

查看更多 →

读取数据 概述 读取格式化的数据，支持csv、json、parquet等。 输入 无 输出 数据集 参数说明 参数 参数说明 input_file_path 数据文件的绝对路径、相对路径、目录路径或者文件路径均可 format 文件格式，支持csv等 has_header 是否包含表头

查看更多 →

如何读取“__consumer_offsets”内部topic的内容 用户问题 Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户

查看更多 →

成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。

查看更多 →

将ISO文件注册为镜像（Linux） 操作场景 通过注册镜像操作，将外部镜像ISO文件注册为云平台的私有镜像，即ISO镜像。注册镜像前，需先将ISO文件上传到OBS桶中。 使用ISO文件注册的ISO镜像不支持复制、导出和加密。 前提条件 待注册文件需为iso格式。 已上传ISO镜

查看更多 →

任务启动之后使用，则文件以及文件的父目录（NFS上的文件所在的父目录，非集群节点上的软连接），必须允许yarn_user可以访问，否则程序中无法获取文件内容。当集群为启用Kerberos认证的集群时，则文件的权限必须允许提交程序的用户访问。 处理步骤 以root用户登录集群的Master节点。

查看更多 →

在Linux系统上安装KooCLI KooCLI支持Linux AMD 64位 和 ARM 64位操作系统，您可以根据需要选择一键式安装或分步安装。分步安装时请根据您的操作系统选择相应的安装命令。执行如下命令可查看您主机的操作系统： echo $HOSTTYPE 若执行如上命令的输出值是“x86_64”，请使用AMD

查看更多 →

在Linux上安装配置Grafana 前提条件 一台可访问外网的Ubuntu服务器。如果没有请具备以下条件： 准备一台E CS 服务器（建议规格选8U或者以上，镜像选择Ubuntu，建议选择22.04版本，本地存储100G），具体操作请参考《弹性云服务器快速入门》。 购买弹性公网IP

查看更多 →

ar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。

查看更多 →

把前两步相应的数据记录做相加操作。 把上一步骤的结果写到table2表。 打包项目 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“ /opt/female/”

查看更多 →

成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。

查看更多 →

keytab、krb5.conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中调测Spark应用。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user

查看更多 →

conf 两个文件上传客户端所在服务器上。 通过IDEA自带的Maven工具，打包项目，生成jar包。具体操作请参考在Linux环境中编包并运行Spark程序。 编译打包前，样例代码中的user.keytab、krb5.conf文件路径需要修改为该文件所在客户端服务器的实际路径。例如：“/opt/female/user

查看更多 →

ar包。具体操作请参考在Linux环境中编包并运行Spark程序。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。

查看更多 →

Linux如何创建swap分区/swap文件 适用场景 本节操作以CentOS 6.8操作系统云服务器为例，指导用户创建swap分区。 约束与限制 操作过程中涉及创建指定大小的文件，请确认系统磁盘空间有足够的空余空间。 场景一：使用块设备创建swap 执行以下命令，新建一个分区（以2G为例）。

查看更多 →

x是数字或字母。 由于挂载地址名称较长，需要拉宽该栏以便完整显示。 将鼠标悬停在挂载地址上可显示完整的挂载命令。 本地路径 云服务器上用于挂载文件系统的本地路径，例如“/local_path”。 图1 挂载地址 挂载文件系统时，更多性能调优的挂载参数，可参考表2配置，各参数之间以逗号进行分隔。例如：

查看更多 →

成jar包。具体操作请参考在Linux环境中调测Spark应用。 将打包生成的jar包上传到Spark客户端所在服务器的任意目录（例如“$SPARK_HOME” ）下。 将user.keytab、krb5.conf 两个文件上传客户端所在服务器上（文件上传的路径需要和生成的jar包路径一致）。

查看更多 →

Linux服务器登录方式概述 根据裸金属服务器的网络设置，以及您本地设备的操作系统，您可以选择合适的方法登录Linux服务器。 表1 Linux服务器登录方式说明 能访问公网 本地设备操作系统 登录方法 是/否 Windows或者Linux 远程登录方式 是 Windows 使用PuTTY等远程连接工具：

查看更多 →

登录待部署iDME的云服务器，具体操作请参见Linux弹性云服务器登录方式概述。 步骤2：挂载文件系统 执行如下命令，在云服务器上挂载SFS Turbo文件系统。 mount -t nfs -o vers=3,nolock 云服务器弹性公网IP地址:/ /mnt/sfs_turbo 执行如下命令，赋予执行权限。 chmod

查看更多 →

Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata

查看更多 →