这种方式，Spark只需要简单的记录建立数据的转换操作的日志，而不是完整的数据集，就能够提供容错性。这种数据的转换链记录就是数据集的溯源。由于并行程序，通常是对一个大数据集应用相同的计算过程，因此之前提到的粗粒度的更新限制并没有想象中的大。事实上，Spark论文中阐述了RDD完全

查看更多 →

周期内的所有工作。包括： 与RM调度器协商以获取资源。 将得到的资源进一步分配给内部的任务（资源的二次分配）。 与NM通信以启动/停止任务。 监控所有任务运行状态，并在任务运行失败时重新为任务申请资源以重启任务。 开源容量调度器Capacity Scheduler原理 Capacity

查看更多 →

背景及原理（服务编排） 华为云Astro轻应用的服务编排，支持对逻辑判断组件、数据处理组件，以及脚本、子服务编排、商业对象等进行可视化组合编排，实现丰富的业务功能。 了解服务编排 在传统的开发中程序员一般是基于代码进行开发，程序员需要学习内容较多，开发效率相对低一些，开发门槛也高

查看更多 →

只读落后自愈技术原理 TaurusDB是存储计算分离架构的云原生数据库，只读节点和主节点共享底层的存储数据。为了保证内存中的缓存数据的一致性，主节点与只读节点通信后，只读节点需要从Log Stores中读取主节点产生的redo来更新内存中的缓存数据。 图1 只读落后自愈技术原理图 主节点与只读节点的通信

查看更多 →

自动建表原理介绍 CDM 将根据源端的字段类型进行默认规则转换成目的端字段类型，并在目的端建数据表。 自动建表时的字段类型映射 CDM在数据仓库服务（Data Warehouse Service，简称DWS）中自动建表时，DWS的表与源表的字段类型映射关系如图1所示。例如使用CDM

查看更多 →

单击右上角右“保存”，输入大屏的名称，单击“确定”，大屏保存成功。 步骤5：管理大屏 切换大屏发布状态 单击“数据分析 > 大屏”，进入大屏页面。 单击大屏名称，进入大屏编辑页面。 发布大屏：单击页面右上角“保存并发布”，大屏发布成功。 下线大屏：单击页面右上角后，单击“下线”，大屏下线成功。

查看更多 →

产品介绍 在正式使用数据复制服务之前，您需要对数据复制服务有一个大概的了解，比如数据复制服务是什么、适用于哪些场景、有哪些功能、有哪些限制等。 图解数据复制服务 什么是数据复制服务 支持的数据库 产品优势 功能特性 规格说明 产品架构和功能原理 数据类型映射关系 安全 权限管理 委托管理

查看更多 →

置参数、分析Redis实例大Key和热Key、查询实例慢日志。除此之外，你还可以实时查看监控指标及审计日志，以便及时了解D CS 实例的状态。 日常操作 变更缓存实例规格 切换实例主备节点 清空实例数据 实例管理 修改实例配置参数 实例诊断 分析Redis大Key和热Key 查询Redis实例慢日志

查看更多 →

ZooKeeper基本原理 ZooKeeper简介 ZooKeeper是一个分布式、高可用性的协调服务。在大数据产品中主要提供两个功能： 帮助系统避免单点故障，建立可靠的应用程序。 提供分布式协作服务和维护配置信息。 更多关于ZooKeeper组件操作指导，请参考使用ZooKeeper。

查看更多 →

Ranger基本原理 Apache Ranger提供一个集中式安全管理框架，提供统一授权和统一审计能力。它可以对整个Hadoop生态中如HDFS、Hive、HBase、Kafka、Storm等进行细粒度的数据访问控制。用户可以利用Ranger提供的前端WebUI控制台通过配置相关策略来控制用户对这些组件的访问权限

查看更多 →

在ModelArts的Notebook中JupyterLab默认工作路径是什么？ 带OBS存储的Notebook实例 JupyterLab文件默认存储路径，为创建Notebook时指定的OBS路径。 在文件列表的所有文件读写操作都是基于所选择的OBS路径下的内容操作的，跟当前实例

查看更多 →

跟踪号是什么，能跟踪到数据吗？ 跟踪号为后台跟踪任务状态使用，不能跟踪到数据。 父主题： 数据集成普通任务

查看更多 →

析平台。能够检测出8大类的云上安全风险，包括DDoS攻击、暴力破解、Web攻击、后门木马、僵尸主机、异常行为、漏洞攻击、命令与控制等。利用大数据分析技术，态势感知可以对攻击事件、威胁告警和攻击源头进行分类统计和综合分析，为用户呈现出全局安全攻击态势。 工作原理 态势感知通过采集全

查看更多 →

OMS 的迁移工作原理图，如图1所示。 图1 迁移工作原理图 迁移工作流程说明： OMS服务请求获取一定数量的源端对象列表。 源端响应对象列表。 OMS服务请求获取源端对象元数据。 源端响应对象元数据。 OMS服务请求获取目的端对象元数据。 目的端响应对象元数据。 根据对象元数据判断对象是否需要迁移。

查看更多 →

二进制成分分析类 成分分析的扫描对象是什么？ 成分分析的主要扫描规格有哪些？ 成分分析的扫描原理是什么，主要识别哪些风险？ 成分分析的开源软件风险如何分析？ 成分分析的安全配置类问题如何分析？ 成分分析的信息泄露问题如何分析？ 组件版本为什么没有被识别出来或识别错误？ 成分分析如何购买？

查看更多 →

性能监控模块，搜集每一个OMA上的性能监控数据并提供查询。 CEP 汇聚功能模块。比如将所有OMA上的磁盘已用空间汇总成一个性能指标。 FMS 告警模块，收集每一个OMA上的告警并提供查询。 OMM Agent OMA上面性能监控和告警的Agent，负责收集该Agent Node上的性能监控数据和告警数据。 CAS

查看更多 →

，其中Source负责接收数据，Channel负责数据的传输，Sink则负责数据向下一端的发送。 表1 模块说明 名称 说明 Source Source负责接收数据或通过特殊机制产生数据，并将数据批量放到一个或多个Channel。Source的类型有数据驱动和轮询两种。 典型的Source类型如下：

查看更多 →

问答准确率高：对自有的全面的行业知识，在盘古大模型的加持下，将问答的准确率提升25% 预测和分析更准确：结合盘古大模型，通过对现有数据的分析，可以提供更准确的预测结果。助于企业做出更明智的决策，改进业务流程，并提高效率。 员工满意度高：基于盘古大模型的能力提供个性化建议和改进措施，以提高员工满意度和工作场所幸福感

查看更多 →

时间序列数据库组件。 图1 IoTDB结构 用户可以通过JDBC/Session将来自设备传感器上采集的时序数据和 服务器 负载、CPU内存等系统状态数据、消息队列中的时序数据、应用程序的时序数据或者其他数据库中的时序数据导入到本地或者远程的IoTDB中。用户还可以将上述数据直接写成

查看更多 →

ClickHouse基本原理 ClickHouse简介 ClickHouse是一款开源的面向联机分析处理的列式数据库，其独立于Hadoop大数据体系，最核心的特点是压缩率和极速查询性能。同时，ClickHouse支持SQL查询，且查询性能好，特别是基于大宽表的聚合分析查询性能非常

查看更多 →

Agent访问Linux主机，将Shell脚本传输至/root/rda目录并执行，以自动化采集系统信息。 数据库采集 权限要求：需要使用具有最高权限的账号进行数据库采集，以确保能够访问所有必要的数据。对于不同的数据库系统，应使用以下账号： MySQL：使用root账号。 PostgreSQL：使用postgres账号。

查看更多 →