数。 约束限制 在 DLI Console上执行UDAF相关操作时，需要使用自建的SQL队列。 跨账号使用UDAF时，除了创建UDAF函数的用户，其他用户如果需要使用时，需要先进行授权才可使用对应的UDAF函数。 授权操作参考如下：登录DLI管理控制台，选择“ 数据管理 > 程序包管理”页面，选择对应的UDAF

查看更多 →

约束限制 在DLI Console上执行UDTF相关操作时，需要使用自建的SQL队列。 不同的IAM用户使用UDTF时，除了创建UDTF函数的用户，其他用户如果需要使用时，需要先进行授权才可使用对应的UDTF函数。授权操作参考如下： 登录DLI管理控制台，选择“ 数据管理 > 程序包管理”页面，选择对应的UDTF

查看更多 →

在Spark SQL作业中使用UDF 操作场景 DLI支持用户使用Hive UDF（User Defined Function，用户定义函数）进行数据查询等操作，UDF只对单行数据产生作用，适用于一进一出的场景。 约束限制 在DLI Console上执行UDF相关操作时，需要使用自建的SQL队列。

查看更多 →

HBase数据迁移到华为云 MRS 服务 本实践使用华为云 CDM 服务将HBase集群中的数据（支持数据量在几十TB级别或以下的数据量级）迁移到华为云MRS服务。HBase会把数据存储在HDFS上，主要包括HFile文件和WAL文件，由配置项“hbase.rootdir”指定在HDFS上的路径，华

查看更多 →

机名称。 配置集群安全组规则。 在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”窗口配置Windows的IP和21730TCP、21731TCP/UDP、21732TCP/UDP端口。 在Manager界面选择“集群

查看更多 →

IP。 配置集群安全组规则。 在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”窗口配置Windows的IP和8020、9866端口。 在Manager界面选择“集群 > 服务 > Spark2x > 更多

查看更多 →

名称。 配置集群安全组规则。 在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”窗口配置Windows的IP和21730TCP、21731TCP/UDP、21732TCP/UDP端口。 。 在Manager界面选择“集群

查看更多 →

对应的公网IP。 配置集群安全组规则。 在集群“概览”界面，选择“添加安全组规则 > 管理安全组规则”。 在“入方向规则”页签，选择“添加规则”，在“添加入方向规则”窗口配置Windows的IP和8020、9866端口。 。 在Manager界面选择“集群 > 服务 > HDFS

查看更多 →

alived用来实现LVS集群的高可用。详细说明如下： 将虚拟IP同时绑定至E CS -01和ECS-02。在ECS-01和ECS-02上配置Keepalived和LVS（DR模式），构建主备LVS 服务器 ，可以将来自客户端的请求均衡的分发到不同的后端服务器上。 配置ECS-03和EC

查看更多 →

最佳实践 华为云最佳实践，是基于华为云众多客户上云的成功案例提炼而成的典型场景实践指导，可以帮助您轻松搭配多个云服务完成业务上云。最佳实践覆盖20+热门分类，200+典型场景案例，每个最佳实践包括使用场景、部署架构及操作指导，手把手教您轻松上云。 华为云最佳实践，是基于华为云众多客户

查看更多 →

使用MRS Spark SQL访问DWS表 华为云提供 MapReduce服务 （MRS），可在云上快速构建和运营全栈云原生大数据平台。它包含HDFS、Hive、HBase、Spark等大数据组件，专为分析海量企业数据而量身定制。 Spark提供了类似SQL的Spark SQL语言，

查看更多 →

像栅格数据、矢量数据，非结构化的空间位置数据、三维建模数据；在大体量的地理大数据中，通过高效的挖掘工具或者挖掘方法实现价值提炼，是用户非常关注的话题。 优势 提供地理专业算子：支持全栈Spark能力，具备丰富的Spark空间数据分析算法算子，全面支持结构化的遥感影像数据、非结构化

查看更多 →

该解决方案能帮您快速在华为云CCE容器集群上快速部署Volcano批量调度系统，在原生 K8s 的基础上，补齐了Job调度和设备管理等多方面的短板，为客户提供通用、可扩展、高性能、稳定的原生批量计算平台，方便以 Kubeflow 、 KubeGene 、 Spark 为代表的上层业务组件集成和使用。通过与

查看更多 →

在Linux环境中调测Spark应用 在Linux环境中编包并运行Spark程序 在Linux环境中查看Spark程序调测结果 父主题： 调测Spark应用

查看更多 →

在Linux环境中调测Spark应用 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。

查看更多 →

在CDM集群中创建连接 创建CDM与数据源之间的连接 配置连接参数 上传CDM连接驱动 新建Hadoop集群配置 父主题： 数据集成

查看更多 →

应用场景 该方案采用开源的专业级图形图像软件Blender，结合华为云上极致算力，通过一键自动部署模式，为用户提供专业、强大、高效的云端渲染服务。该方案适用于如下场景： 效果图制作。效果图行业的客户对出图速度要求高，华为云面向海报设计、装修装饰、工业设计等提供高性价比的渲染专享资源，助力企业降本增效。

查看更多 →

在Linux环境中调测Spark应用 在Linux环境中编包并运行Spark程序 在Linux环境中查看Spark程序调测结果 父主题： 调测Spark应用

查看更多 →

在Linux环境中调测Spark应用 在程序代码完成开发后，您可以上传至Linux客户端环境中运行应用。使用Scala或Java语言开发的应用程序在Spark客户端的运行步骤是一样的。 使用Python开发的Spark应用程序无需打包成jar，只需将样例工程复制到编译机器上即可。

查看更多 →

“604”： chmod 604 /etc/krb5.conf 以root用户继续在连接会话中执行以下命令为“人机”用户添加对应的操作系统用户，并指定用户主组为“root”。 此操作系统用户密码与在Manager创建“人机”用户时设置的初始密码相同。 useradd 用户名 -m

查看更多 →

在CCE集群恢复Kubernetes对象 创建StorageClass 本示例WordPress应用使用阿里云SSD类型持久化数据卷，相应的在CCE中需要适配成华为云SSD。 本示例中使用的StorageClass是alicloud-disk-ssd，需要创建一个同名的SC，但后

查看更多 →