会给数据密集型的工作流带来大量的IO开销。而对于RDD来说，它只有一套受限制的接口，仅支持粗粒度的更新，例如map，join等等。通过这种方式，Spark只需要简单的记录建立数据的转换操作的日志，而不是完整的数据集，就能够提供容错性。这种数据的转换链记录就是数据集的溯源。由于并行

查看更多 →

通过Metastore对数据库及表和视图进行增删改查等操作。 如果使用IE浏览器访问Hue界面来执行HQL，由于浏览器存在的功能问题，将导致执行失败。建议使用兼容的浏览器，例如Google Chrome浏览器。 MapReduce：查看集群中正在执行和已经完成的MR任务，包括它们的状态、起始结束时间、运行日志等。

查看更多 →

益复杂的业务场景，用户可以自定义输入、输出、序列化、反序列化等功能来满足特定的业务场景 易于调试：CQL提供了详细的异常码说明，降低了用户对各种错误的处理难度。 关于Storm的架构和详细原理介绍，请参见：https://storm.apache.org/。 Storm原理 基本概念

查看更多 →

精确一次语义：Flink的Checkpoint和故障恢复能力保证了任务在故障发生前后的应用状态一致性，为某些特定的存储支持了事务型输出的功能，即使在发生故障的情况下，也能够保证精确一次的输出。 丰富的时间语义 时间是流处理应用的重要组成部分，对于实时流处理应用来说，基于时间语义的窗口聚合、检

查看更多 →

Master负责协调来自ResourceManager的资源，并通过NodeManager监视容器的执行和资源使用（CPU、内存等的资源分配）。 NodeManager管理一个YARN集群中的每个节点。NodeManager提供针对集群中每个节点的服务，从监督对一个容器的终生管理到监视资源和跟踪节点健康。MRv1

查看更多 →

最佳实践 示例：从 0 到 1 制作 自定义镜像 并用于训练（Pytorch+CPU/GPU）：本案例介绍如何从0到1制作镜像，并使用该镜像在ModelArts平台上进行训练。镜像中使用的AI引擎是Pytorch，训练使用的资源是CPU或GPU。 示例：从 0 到 1 制作自定义镜像

查看更多 →

入门实践 当您熟悉了构建实景三维建模等基本操作后，可以根据自身的业务需求使用实景三维建模服务提供的一系列常用实践。 表1 常用最佳实践 实践 描述 城市园区室外三维模型生产 城市园区室外三维模型生产，主要适用于1万张照片以内的小规模数据及人工刺点处理等。数据处理方式采用常规流程。

查看更多 →

跨系统业务数据集成与转换 介绍如何通过ROMA Connect的数据集成，把业务系统A中的数据进行格式转换后，集成到业务系统B的数据库中使用。后续根据制定的同步计划，定时把业务系统A中新增的数据同步到业务系统B中，保证了两个系统间的数据同步。

查看更多 →

场景实践 概述 库表采集 数据质检 构建人口库模型、分析来源并接入 落标与清洗 融合与发布 挂载资源目录 父主题： 实施步骤

查看更多 →

以显示所有实践项目，包括所有分类和难易程度的内容。 沙箱实践分类模块为用户提供了方便的分类和难易程度筛选功能，帮助用户快速找到适合自己学习需求的实践项目。 沙箱实践列表 沙箱实践列表由导航部分和列表部分组成。如下图所示。 图5 沙箱实践列表 导航部分 显示当前所选择的实验分类模块

查看更多 →

入门实践 表1 常用最佳实践 实践 描述 基于二代测序的基因组突变检测 本最佳实践提供了通过命令行工具上传数据、上传镜像后，在 医疗智能体 平台搭建NGS流程，执行分析作业及批量执行NGS分析。 新型冠状病毒（COVID-19）虚拟药物筛选 本最佳实践介绍如何使用EIhealth平台

查看更多 →

入门实践 当您参考开通DIS、从DIS获取数据等一系列操作后，可以根据自身的业务需求使用DIS提供的一系列常用实践。 表1 常用最佳实践 实践 描述 案例 使用DIS实时分析车辆位置 数据接入服务 （Data Ingestion Service，简称DIS）实时采集车辆位置数据并上

查看更多 →

入门实践 当您购买了 弹性云服务器 后，可以根据业务需要搭建为不同的环境、网站或应用。 本文介绍弹性 云服务器 常见的搭建实践，帮助您更好的使用弹性云 服务器 。 环境搭建 实践 描述 手工搭建Java Web环境 以CentOS 7.4 64bit操作系统云服务器为例，介绍如何搭建Java

查看更多 →

API，给出了不同RPC开发方式的统一描述，让微服务接口管理更加规范，同时保留了灵活的开发者使用习惯。Java Chassis基于Reactive，实现了高效的REST、Highway等通信协议，同时保留了传统Servlet等通信协议的兼容。 丰富的服务治理能力和统一的治理职责链。负载均衡、

查看更多 →

四种类型发票的识别与验真。 网络货运 该实践基于华为云 文字识别 OCR和 人证核身 服务 IVS AI技术构建，提供了一个开箱即用的网络货运认证解决方案，支持以下六种场景：身份证、行驶证、驾驶证、道路运输证、道路运输从业资格证的审查和人证核身。 快递电子面单识别 该实践基于华为云文字识别

查看更多 →

已有可用的测试用例，如果没有，请参见新建接口自动化用例。 表1 常用最佳实践 实践 描述 接口自动化用例实践 基于接口自动化用例和关键字驱动的电商平台测试 本最佳实践基于接口自动化用例，展示如何在接口测试用例中添加不同类型的测试步骤，而在设计测试用例时，经常会遇到有一些相同的前置步骤或

查看更多 →

进阶实践 增量迁移原理介绍 时间宏变量使用解析 事务模式迁移 迁移文件时加解密 MD5校验文件一致性 字段转换器配置指导 指定文件名迁移 正则表达式分隔半结构化文本 记录数据迁移入库时间 文件格式介绍

查看更多 →

查看等运维操作。为确保数据库敏感信息的安全，避免关键信息的丢失和泄露，本文针对运维用户访问和运维数据库关键信息，详细介绍了如何设置数据库高危操作的复核审批，以及如何实现关键信息的重点监控。 等保合规 云 堡垒机 等保合规相关项 为客户提供一站式的安全解决方案，帮助客户快速、低成本完成安全整改，轻松满足等保合规要求。

查看更多 →

该解决方案介绍如何通过微服务变更流水线模拟修复项目下的一个BUG并快速发布。 基于Kubernetes原生Service的场景完成微服务蓝绿发布 灰度发布是在生产环境中创建与当前线上服务完全一致的工作负载（灰度负载），仅对其中的包版本（业务代码和配置）进行更新，但是新创建的工作负载不承接任何现网流量，对

查看更多 →

入门实践 当您开通了多活高可用服务后，可根据业务需要提供从流量入口、数据到应用层的端到端的业务故障切换及容灾演练能力，保障故障场景下的业务快速恢复，提升业务连续性。 本文介绍多活高可用服务入门实践，帮助您更好的使用多活高可用服务。 表1 入门实践 实践 描述 商城应用改造 介绍如

查看更多 →

读请求路由到主实例的场景 如果查询语句被放在事务中，事务请求都会路由到主实例。如果在查询语句前设置set autocommit=0时也当做事务处理路由到主实例。 如果所有只读节点都均异常或只读节点权重为0时，则查询会路由到主实例。对于成功开启读写分离功能的实例，您可以设置其主实例和只读实例的权重。具体操作请参见读写分离权重。

查看更多 →