常用概念 Hadoop shell命令 Hadoop基本shell命令，包括提交MapReduce作业，kill MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat，OutputFormat) MapReduce框架根据用户

查看更多 →

框架单独提供了一套内存分配和释放接口，包括HIAI_DMalloc/HIAI_DFree、 HIAI_DVPP_DMalloc/HIAI_DVPP_DFree，支持C/C++语言。其中，HIAI_DMalloc/HIAI_DFree接口主要用于申请内存，再配合SendData接口从Host侧搬运数据到Device侧；HIAI_DVPP_D

查看更多 →

使用预置框架（自定义脚本） 使用预置框架简介 开发自定义脚本 创建算法 父主题： 准备算法

查看更多 →

什么是 数据仓库 服务 数据仓库服务 GaussDB (DWS)是一种基于华为云基础架构和平台的在线数据分析处理数据库，提供即开即用、可扩展且完全托管的分析型数据库服务，兼容ANSI/ISO标准的SQL92、SQL99和SQL 2003语法，同时兼容PostgreSQL/Oracle/T

查看更多 →

数据仓库自定义属性 获取数据仓库自定义属性列表 父主题： API

查看更多 →

管理控制台错误码 用户通过管理控制台执行数据仓库服务的相关操作后，如果操作请求在执行过程中出现异常，将在管理控制台提示异常信息，异常信息包括返回的错误码及其说明。 错误码说明 您可以通过表1中的处理建议进行下一步操作，处理相应的异常。 表1 错误码 错误码 错误信息 处理建议 DWS

查看更多 →

热门案例 数据库、数据仓库、 数据湖 、湖仓一体分别是什么？ 无法成功创建数据仓库集群时怎么处理？ 数据仓库和Hadoop大数据平台有什么差别？ 无法连接数据仓库集群时怎么处理？ 可以通过SSH访问DWS集群的节点吗？ 如何选择公有云DWS或者公有云RDS？ 数据在数据仓库服务中是否安全？

查看更多 →

。 解决方案 数据仓库主要适用于企业数据的关联和聚合等分析场景， 并从中发掘出数据背后的商业信息供决策者参考。这里的数据发掘主要指涉及多张表的大范围数据聚合和关联的复杂查询。 使用数据仓库，通过某个数据转换（ETL）的过程，业务运营数据库的数据可以被拷贝到数据仓库中供分析计算使用

查看更多 →

MapReduce应用开发常用概念 Hadoop shell命令 Hadoop基本shell命令，包括提交MapReduce作业，kill MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat，OutputFormat) MapReduce框架根据用户

查看更多 →

framework/hadoop/share/hadoop/mapreduce/lib/*:$PWD/mr-framework/hadoop/share/hadoop/common/*:$PWD/mr-framework/hadoop/share/hadoop/common/li

查看更多 →

使用Cloud Map SDK（Spring Cloud框架） 引入Cloud Map SDK 引入STS Cloud Map依赖STS认证能力，接入Cloud Map必须接入STS，具体请参考引入STS SDK。 引入Cloud Map 在pom.xml中添加Cloud Map

查看更多 →

拷贝。 配置指南 参考Hadoop对接OBS中hadoop-huaweicloud的安装和配置方法，完成OBS相关配置。 使用示例 以迁移HDFS上的“/data/sample”目录为例，执行以下命令查看HDFS文件系统上此目录下的文件与目录。 hadoop fs -ls hdfs:///data/sample

查看更多 →

framework/hadoop/share/hadoop/mapreduce/lib/*:$PWD/mr-framework/hadoop/share/hadoop/common/*:$PWD/mr-framework/hadoop/share/hadoop/common/li

查看更多 →

与其他云服务的关系 与统一身份认证服务的关系 数据仓库服务使用统一身份认证服务（Identity and Access Management，简称IAM）实现认证和鉴权功能。 需要拥有DWS Administrator权限的用户才能完整使用数据仓库服务。如需开通该权限，请联系拥有Security

查看更多 →

获取数据仓库列表信息 功能介绍 获取数据仓库列表 URI GET /v1.0/{project_id}/common/warehouses 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是 String 项目id，获取方法请参见获取项目ID 表2 Query参数

查看更多 →

快速开发Hive HCatalog应用 Hive是一个开源的，建立在Hadoop上的数据仓库框架，提供类似SQL的HQL语言操作结构化数据，其基本原理是将HQL语言自动转换成Mapreduce任务或Spark任务，从而完成对Hadoop集群中存储的海量数据进行查询和分析。 Hive主要特点如下：

查看更多 →

分钟，便可完成海量数据查询数据仓库的搭建，简单轻松地完成对数据的实时查询分析，提升数据价值挖掘的整体效率。云数据仓库ClickHouse是一种基于MPP（大规模并行处理）架构的数仓服务，基于ClickHouse优异的查询性能，查询效率数倍于传统数据仓库。 ClickHouse集群管理功能

查看更多 →

以PyTorch框架创建训练作业（新版训练） 本节通过调用一系列API，以训练模型为例介绍ModelArts API的使用流程。 概述 使用PyTorch框架创建训练作业的流程如下： 调用认证鉴权接口获取用户Token，在后续的请求中需要将Token放到请求消息头中作为认证。 调

查看更多 →

SDK（Spring Cloud框架） 引入Rainbow SDK 在引入Rainbow SDK之前，要先引入STS SDK和Cloud Map SDK，并完成STS和Cloud Map的初始化，具体请参见使用STS SDK（Spring Cloud框架）和使用Cloud Map SDK（Spring

查看更多 →

配置数据仓库服务（DWS）连接 连接数据仓库服务（DWS）时，相关参数如表1所示。 作业运行中禁止修改密码或者更换用户。在作业运行过程中修改密码或者更换用户，密码不会立即生效且作业会运行失败。 表1 数据仓库服务（DWS）连接参数 参数名 说明 取值样例 名称 连接的名称，根据连

查看更多 →

数据仓库可以存储多少业务数据？ 数据仓库集群每个节点默认能够支持1.49TB、2.98TB、4.47TB、160GB、1.68TB、13.41TB六种规格的存储容量，一个集群支持的节点数范围为3～256，集群总的存储容量随集群规模等比例扩充。 为增强可靠性，每个节点都有一个副本，

查看更多 →