华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

。 Hive与Spark的关系 Hive支持使用Spark作为执行引擎，当执行引擎切换为Spark后，客户端下发的Hive SQL在Hive端进行逻辑层处理和生成物理执行计划，并将执行计划转换成RDD语义下的DAG，最后将DAG作为Spark的任务提交到Spark集群上进行计算，

查看更多 →

配置底层存储系统 用户想要通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离时，可以在 MRS Manager页面中配置Alluxio的底层存储系统来实现。集群创建后，默认的底层存储地址是hdfs://hacluster/

查看更多 →

云端推理框架 推理服务 异步推理 模型仓库 模板管理 父主题： 用户指南

查看更多 →

o位于计算和存储之间，为包括Apache Spark、Presto、Mapreduce和Apache Hive的计算框架提供了数据抽象层，使上层的计算应用可以通过统一的客户端API和全局命名空间访问包括HDFS和OBS在内的持久化存储系统，从而实现了对计算和存储的分离。 图1 Alluxio架构

查看更多 →

Sqoop对接外部存储系统 使用本章节前已参考配置存算分离集群（委托方式）完成HDFS客户端对接OBS文件系统的配置。还需在MySQL官网https://downloads.mysql.com/archives/c-j/下载MySQL对应版本的驱动包，解压后上传至安装了Sqoop

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

华为云帮助中心，为用户提供产品简介、价格说明、购买指南、用户指南、API参考、最佳实践、常见问题、视频帮助等技术文档，帮助您快速上手使用华为云服务。

查看更多 →

提供Python语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Python API接口介绍。 按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JD

查看更多 →

言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 功能 说明 Scala API 提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Scala

查看更多 →

提供Python语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Python API接口介绍。 按不同的模块分，Spark Core和Spark Streaming使用上表中的API接口进行程序开发。而SparkSQL模块，支持CLI或者JD

查看更多 →

配置&编译框架简介 Huawei LiteOS使用Kconfig文件配置系统，基于GCC/Makefile实现组件化编译。 不论是Linux下使用make menuconfig命令配置系统，还是Windows下使用Huawei LiteOS Studio进行图形化配置，Huawei

查看更多 →

GoCloud合作框架 鼓励合作伙伴调用华为云能力，把产品、方案和服务构建在华为云之上，通过向合作伙伴提供针对性的培训支持、技术支持、市场支持及商业支持权益，培育与发展伙伴能力以及伙伴解决方案。 父主题： 其他

查看更多 →

分布式存储：使用分布式存储系统，如Hadoop HDFS、Apache Cassandra等，将数据分散存储在多个节点上，以提高数据的可靠性和可扩展性。 数据压缩：对于大量的数据，可以采用压缩算法进行压缩，以减少数据的存储空间和传输带宽。 并行计算：使用并行计算框架，如Apache Spark、Apache

查看更多 →

CMF 云迁移框架 云迁移框架（Cloud Migration Framework，以下简称CMF）是站在客户视角的上云迁移方法论，它来源于华为云的经验和大型企业上云的优秀实践，为企业上云提供完整的上云指导。企业上云的整体思路是，先整体规划，然后小范围试点，最后再大规模上云。按照

查看更多 →

数据治理 框架 数据治理框架 数据治理模块域 数据治理各模块域之间的关系

查看更多 →

数据治理框架 数据治理框架制定如下： 图1 数据治理框架 父主题： 数据治理框架

查看更多 →

语言和框架支持 CodeArts IDE内置了强大的Java语言支持和编码辅助功能。此外，它还为JavaScript和TypeScript的Web开发提供了丰富的内置支持，为HTML、 CSS 、S CS S和JSON等Web技术也提供了出色的工具支持。

查看更多 →

使用预置框架简介 如果订阅算法不能满足需求或者用户希望迁移本地算法至ModelArts上训练，可以考虑使用ModelArts支持的预置框架实现算法构建。这种方式在创建算法时被称为“使用预置框架”模式。 以下章节介绍了如何使用预置框架创建算法。 如果需要了解ModelArts模型训

查看更多 →

服务开发框架详解 整体结构介绍 单Module base/service DDD 父主题： AstroPro学堂

查看更多 →

言进行Spark应用程序开发。 按不同的语言分，Spark的API接口如表1所示。 表1 Spark API接口 功能 说明 Scala API 提供Scala语言的API，Spark Core、SparkSQL和Spark Streaming模块的常用接口请参见Spark Scala

查看更多 →