duce构建的批处理框架，例如Hive。基于MapReduce构建的Hive和其他框架最适合长时间运行的批处理作业。 MapReduce服务 （ MRS Ranger） Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hi

查看更多 →

数据仓库 服务 DWS DWS集群启用KMS加密 DWS集群启用日志转储 DWS集群启用自动快照 DWS集群启用SSL加密连接 DWS集群未绑定公网IP 父主题： 系统内置预设策略

查看更多 →

Hive对接OBS 概述 Hive是一个数据仓库工具，可以对存储在分布式存储中的大规模数据进行数据提取、转化和加载，它提供了丰富的SQL查询方式来进行数据分析。 前提条件 已安装Hadoop，具体请参见Hadoop对接OBS。 对接步骤 以Hive 2.3.3为例。 下载apache-hive-2

查看更多 →

skip=true 安装datax。 解压datax.tar.gz到/opt/datax目录。 在Github下载hadoop-huaweicloud：下载地址。（建议使用hadoop 2.8.3版本下最新版本的hadoop-huaweicloud版本，例如hadoop-huaweicloud-2

查看更多 →

创建数据仓库 GaussDB (DWS) 参见“创建集群”章节创建GaussDB(DWS)数据仓库。创建成功后，记录集群的内网IP。 为确保E CS 与GaussDB(DWS)网络互通，GaussDB(DWS)数据仓库需要与ECS在同一个区域，同一个虚拟私有云和子网下。 表1 DWS规格

查看更多 →

数据仓库错误码 SQL标准错误码说明 第三方库错误码说明 GAUSS-00001 -- GAUSS-00100 GAUSS-00101 -- GAUSS-00200 GAUSS-00201 -- GAUSS-00300 GAUSS-00301 -- GAUSS-00400 GAUSS-00401

查看更多 →

tar 执行以下命令进入安装包所在目录，安装客户端： cd FusionInsight _Cluster_1_Services_ClientConfig 执行如下命令安装客户端到指定目录（绝对路径），例如安装到“/opt/client”目录，等待客户端安装完成。 ./install

查看更多 →

Hive常用配置参数 Hive是建立在Hadoop上的数据仓库框架，提供大数据平台批处理计算能力，能够对结构化/半结构化数据进行批量分析汇总完成数据计算。 本章节主要介绍Hive常用参数。 操作步骤 登录FusionInsight Manager，选择“集群 > 服务 > Hive

查看更多 →

板进行部署集群的进程，无法满足用户自定义部署管理角色和控制角色在集群节点中的需求。如需自定义集群部署方式，可在创建集群时的“集群类型”选择“自定义”，实现用户自主定义集群的进程实例在集群节点中的部署方式。自定义集群可实现以下功能： 管控分离部署，管理角色和控制角色分别部署在不同的Master节点中。

查看更多 →

使用NUWA框架实现应用开发 开发概述 总体开发思路 准备工作 快速开始 开发指导 打包目录 注意事项

查看更多 →

jar包引入到工程的lib目录下，还需要添加间接依赖： sts-key-sdk、sts-sdk-base、cloudsoa-security。 配置STS 在微服务的ClassPath下增加添加配置文件sts/sts.properties（该文件路径可以通过环境变量sts.properties进行修改），内容为：

查看更多 →

使用Spring Cloud框架实现应用开发 Spring Cloud概述 准备工作 开发指导 实践案例

查看更多 →

将测试框架集成到项目中 在您的项目中启动测试框架集成： 单击CodeArts IDE底部的“测试“（）按钮来打开测试视图。 在测试视图中，单击“Configure Python Tests“按钮。 在弹出的窗口中选择测试框架来启动对应集成。 如果您选择“pytest“，Codea

查看更多 →

将测试框架集成到项目中 CodeArts IDE提供了与JUnit和TestNG测试框架的集成，让您轻松运行和调试Java测试用例。在开始之前，请确保为项目定义了JDK，如使用Java项目中所述。 您可以通过在pom.xml（对于Maven）或build.gradle（对于Gra

查看更多 →

hdfscfgpath '/opt/hadoop_client/HDFS/hadoop/etc/hadoop',type'HDFS'); 在可选项options里面写入了HDFS集群对应的NameNode的IP地址及端口号。具体端口号请在MRS-HDFS服务配置中搜索参数“dfs.namenode

查看更多 →

hdfscfgpath '/opt/hadoop_client/HDFS/hadoop/etc/hadoop',type'HDFS'); 在可选项options里面写入了HDFS集群对应的NameNode的IP地址及端口号。具体端口号请在MRS-HDFS服务配置中搜索参数“dfs.namenode

查看更多 →

操作指导 数据仓库服务 GaussDB(DWS) 快照管理 04:01 数据仓库服务快照管理 数据仓库服务 GaussDB(DWS) 集群管理 02:27 数据仓库服务集群管理 数据仓库服务 GaussDB(DWS) 快速入门 03:19 数据仓库服务快速入门 数据仓库服务 GaussDB(DWS)

查看更多 →

框架单独提供了一套内存分配和释放接口，包括HIAI_DMalloc/HIAI_DFree、 HIAI_DVPP_DMalloc/HIAI_DVPP_DFree，支持C/C++语言。其中，HIAI_DMalloc/HIAI_DFree接口主要用于申请内存，再配合SendData接口从Host侧搬运数据到Device侧；HIAI_DVPP_D

查看更多 →

<scope>provided</scope> </dependency> 配置Rainbow 修改Rainbow SDK配置，切换SDK数据源，新增Cloud Map配置、STS配置，配置如下： nuwa: sts: serverDomain: 10.33.102

查看更多 →

块，否则部署时不会加载Cloud Map。 nuwa.system.module.loadingList=...,nuwa-gpaas-cloudmap,… 初始化Cloud Map 使用NUWA框架，只要增加对应配置，框架即会完成Cloud Map的初始化。 这些配置需要写到n

查看更多 →

合理的资源调度 Hadoop shell命令 Hadoop基本shell命令，包括提交MapReduce作业，kill MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat，OutputFormat) MapReduce框架根据用户

查看更多 →