spark-shell执行SQL跨文件系统load数据到Hive表失败 用户问题 使用spark-shell命令执行SQL或者spark-submit提交的Spark任务里面有SQL的load命令，并且原数据和目标表存储位置不是同一套文件系统，上述两种方式MapReduce任务启动时会报错。 原因分析

查看更多 →

与其它服务的关系 若您需要使用直播服务的消息通知功能、直播录制和截图功能，您还需要开通其它依赖服务，如表1所示。 表1 与其它服务的关系 交互功能 相关服务 位置 使用消息通知服务（SMN）发布直播推流开始、推流结束及录制相关的消息。 消息通知服务（Simple Message Notification，SMN）

查看更多 →

其它各个接口地址获取方式 上述各个地址通过如下方式获取。 可用方法返回接口 查询接口 保存接口 返回账套接口 父主题： 配置接口地址到条码系统

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用MapReduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

下： Flink对接OBS文件系统 Flume对接OBS文件系统 HDFS客户端对接OBS文件系统 Hive对接OBS文件系统 MapReduce对接OBS文件系统 Spark2x对接OBS文件系统 Sqoop对接外部存储系统 Hudi对接OBS文件系统 父主题： 实施步骤

查看更多 →

shell命令 Hadoop基本shell命令，包括提交MapReduce作业，终止MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat，OutputFormat) MapReduce框架根据用户指定的InputFormat切割数据

查看更多 →

与其它云服务的关系 DevStar与周边服务的依赖关系 服务名称 DevStar服务与其他服务的关系 主要交互功能 CodeArts Req 新建代码仓、流水线所依赖的CodeArts项目 查询当前用户名下的项目 新建一个项目 CodeArts Repo 按模板生成的代码可以在CodeArts

查看更多 →

与其它云服务的关系 基因容器服务与华为云其它服务的关系如图1所示。 图1 基因容器与华为云服务的关系 云容器引擎（CCE） 基因容器使用的底层资源均由CCE服务创建。云容器引擎（Cloud Container Engine）提供高可靠高性能的企业级容器应用管理服务，支持Kuber

查看更多 →

与其它服务之间的关系 开天 集成工作台 预集成了供租户使用的资源，如APIG等服务，即开即用。 API网关 开天集成工作台集成应用中间件如API网关（API Gateway），实现API生命周期管理。 Astro轻应用 开天集成工作台集成Astro轻应用（AstroZero），实现低码应用/卡片的开发和部署。

查看更多 →

与其它云服务的关系 云容器引擎需要与其他云服务协同工作，云容器引擎需要获取如下云服务资源的权限。 图1 云容器引擎与其他服务的关系示意图 云容器引擎与其他服务的关系 表1 云容器引擎与其他服务的关系 服务名称 云容器引擎与其他服务的关系 主要交互功能 弹性云服务器 E CS 在云容

查看更多 →

shell命令 Hadoop基本shell命令，包括提交MapReduce作业，终止MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat，OutputFormat) MapReduce框架根据用户指定的InputFormat切割数据

查看更多 →

MapReduce Action 功能描述 MapReduce任务节点，负责执行一个map-reduce任务。 参数解释 MapReduce Action节点中包含的各参数及其含义，请参见表1。 表1 参数含义 参数 含义 name map-reduce action的名称 resourceManager

查看更多 →

使用Mapreduce 配置使用分布式缓存执行MapReduce任务 配置MapReduce shuffle address 配置MapReduce集群管理员列表 通过Windows系统提交MapReduce任务 配置MapReduce任务日志归档和清理机制 MapReduce性能调优

查看更多 →

putPath>指HDFS文件系统中input的路径，<outputPath>指HDFS文件系统中output的路径。 在执行yarn jar mapreduce-examples-1.0.jar com.huawei.bigdata.mapreduce.examples.FemaleInfoCollector

查看更多 →

shell命令 Hadoop基本shell命令，包括提交MapReduce作业，终止MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出(InputFormat，OutputFormat) MapReduce框架根据用户指定的InputFormat切割数据

查看更多 →

Shell命令 Hadoop基本shell命令，包括提交MapReduce作业，终止MapReduce作业，进行HDFS文件系统各项操作等。 MapReduce输入输出（InputFormat、OutputFormat） MapReduce框架根据用户指定的InputFormat切割数据

查看更多 →

ging Table）中。 在MapReduce作业的提交阶段，将数据从临时表迁移到正式表中。 数据导出到文件系统 在MapReduce作业的Map阶段，从HDFS或者HBase中抽取数据，然后将数据写入到文件 服务器 临时目录中。 在MapReduce作业的提交阶段，将文件从临时目录迁移到正式目录。

查看更多 →

OBS操作权限委托给弹性 云服务器 ECS。 使用MapReduce服务 MRS 的集群作为数据计算处理。 方案优势 计算存储分离 MapReduce服务 MRS集群作数据计算处理，而数据存储在 对象存储服务 OBS中。 灵活弹性伸缩 MapReduce服务 MRS资源灵活配比，可以选择多种计

查看更多 →

MRS MapReduce 功能 通过MRS MapReduce节点实现在MRS中执行预先定义的MapReduce程序。 参数 用户可参考表1和表2配置MRS MapReduce节点的参数。 表1 属性参数 参数 是否必选 说明 节点名称 是 节点名称，可以包含中文、英文字母、数

查看更多 →

，可靠性更高。 单AZ存储：数据仅存储在单个可用区（AZ），成本更低。 单AZ存储 文件系统名称 文件系统的名称，需全局唯一，不能与已有的任何文件系统名称重复。 mrs-hive 策略 文件系统的读写权限控制。 私有 归档数据直读 通过归档数据直读，您可以直接下载存储类别为归档存储的对象，而无需提前恢复。

查看更多 →