大数据 数据湖探索 DLI 数据治理中心 DataArts Studio 数据仓库 服务 GaussDB (DWS) MapReduce服务 MRS 云搜索服务 CSS 父主题： SCP授权参考

查看更多 →

大数据血缘 部署迁移工具Edge 采集元数据 血缘采集

查看更多 →

大数据校验 Hive校验结果中的源端数据和目的端数据显示为“0”或“-1” Hive校验的sum统计结果显示未达标 DLI校验任务出现大量失败表 Delta 数据量较大时，如何优化校验任务？

查看更多 →

大数据校验 大数据校验概述 准备工作 创建源端连接 创建表组并添加数据表 创建目的端连接 创建统计任务并执行校验 查看并导出校验结果 自定义参数说明

查看更多 →

开源软件声明 具体请参见开源软件声明。 父主题： 产品介绍

查看更多 →

对接大数据组件 支持的大数据组件简介 Hadoop对接OBS Hive对接OBS Spark对接OBS Presto对接OBS Flume对接OBS DataX对接OBS Druid对接OBS Flink对接OBS Logstash对接OBS 父主题： 大数据场景下使用OBS实现存算分离

查看更多 →

大数据数据迁移 数据迁移失败，提示超过DLI网管流控上限 部分表迁移失败，报错：CRC Check failed 部分表迁移失败，报错：no more field nodes for for field %s and vector %s

查看更多 →

大数据校验概述 迁移中心 MgC为多种大数据计算/存储引擎，如Hive、Hbase、Doris和MaxCompute等，提供了一致性校验方法。通过一致性校验，您可以更加放心地进行大数据迁移操作，确保数据的准确性和可靠性，从而避免了数据丢失或不一致的风险。 校验方式说明 全量校验：

查看更多 →

大数据数据迁移 使用须知 准备工作 创建源端连接 创建目的端连接 迁移实施 查看并导出执行结果 自定义参数说明

查看更多 →

对接大数据平台 支持的大数据平台简介 华为云MRS对接OBS Cloudera CDH对接OBS Hortonworks HDP对接OBS 父主题： 大数据场景下使用OBS实现存算分离

查看更多 →

使用CodeArts Governance进行二进制成分分析 应用场景 据《2024年中国软件行业全景图谱》统计，2023年国内软件市场规模超12万亿，我国软件行业正处于成长期，市场规模增长较快，预计2029年整体行业的市场规模将超21万亿。据《2023年软件供应链状况报告》指出，过去三年针对软件

查看更多 →

开源服务包规范 OSC服务规范同时支持当前业界使用较为广泛的两种开发服务规范：Helm服务规范和Operator-Framework服务规范。 OSC服务平台支持部署上述两种开源的服务包，但是如需同时使用OSC对外提供的运维和表单控件能力，则需要将部署包转换为符合OSC规范格式的

查看更多 →

开源知识库 开源知识库提供已治理的开源软件数据资产信息，包含元数据信息、漏洞信息、依赖信息等内容。 操作步骤 登录开源治理服务控制台。 在左侧导航栏，单击“开源知识库”。 单击“开源知识库”页面搜索框左侧，在下拉框中选择“软件”或“组件”，在搜索框中输入对应名称，支持模糊搜索，单

查看更多 →

开源Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kaf

查看更多 →

开源模型怎么部署？ 开源模型的部署需要购买推理单元，具体操作如下： 在AI原生应用引擎的左侧导航栏选择“资产中心”，选择“大模型”页签。 将鼠标光标移至待部署的开源模型卡片上，单击“部署”。 在“创建部署服务”页面，可以查看到需要几个推理单元，单击“购买推理单元资源”。 图1 创建部署服务

查看更多 →

能 Hive开源社区版本创建临时函数需要用户具备ADMIN权限。MRS Hive提供配置开关，默认为创建临时函数需要ADMIN权限，与开源社区版本保持一致。 用户可修改配置开关，实现创建临时函数不需要ADMIN权限。 Hive开源增强特性：支持数据库授权 Hive开源社区版本只支

查看更多 →

Hue开源增强特性 Hue开源增强特性 存储策略定义。HDFS文件存储在多种等级的存储介质中，有不同的副本数。本特性可以手工设置HDFS目录的存储策略，或者根据HDSF文件最近访问时间和最近修改时间，自动调整文件存储策略、修改文件副本数、移动文件所在目录、自动删除文件，以便充分利用存储的性能和容量。

查看更多 →

开源Kafka输入流 功能描述 创建source流从Kafka获取数据，作为作业的输入数据。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kaf

查看更多 →

开源Kafka输出流 功能描述 DLI将Flink作业的输出数据输出到Kafka中。 Apache Kafka是一个快速、可扩展的、高吞吐、可容错的分布式发布订阅消息系统，具有高吞吐量、内置分区、支持数据副本和容错的特性，适合在大规模消息处理场景中使用。 前提条件 Kafka服务

查看更多 →

HBase开源增强特性 HBase开源增强特性：HIndex HBase是一个Key-Value类型的分布式存储数据库。每张表的数据按照RowKey的字典顺序排序，因此，如果按照某个指定的RowKey去查询数据，或者指定某一个RowKey范围去扫描数据时，HBase可以快速定位到

查看更多 →

Kafka开源增强特性 Kafka开源增强特性 支持监控如下Topic级别的指标： Topic输入的字节流量 Topic输出的字节流量 Topic拒绝的字节流量 Topic每秒失败的fetch请求数 Topic每秒失败的Produce请求数 Topic每秒输入的消息条数 Topic每秒的fetch请求数

查看更多 →