中软国际数据治理专业服务解决方案实践

开发Spark应用程序时，优化RDD的数据结构。 使用原始类型数组替代集合类，如可使用fastutil库。 避免嵌套结构。 Key尽量不要使用String。 开发Spark应用程序时，建议序列化RDD。 RDD做cache时默认是不序列化数据的，可以通过设置存储级别来序列化RDD减小内存。例如：

查看更多 →

什么是云数据迁移 产品定义 云数据迁移（Cloud Data Migration, 简称 CDM ），是一种高效、易用的数据集成服务。 CDM围绕大数据迁移上云和智能数据湖解决方案，提供了简单易用的迁移能力和多种数据源到数据湖的集成能力，降低了客户数据源迁移和集成的复杂性，有效的提高您数据迁移和集成的效率。

查看更多 →

什么是Astro大屏应用 Astro大屏应用（Astro Canvas，简称AstroCanvas）以数据可视技术为核心，以屏幕轻松编排，多屏适配可视为基础，帮助非专业开发者通过图形化界面轻松搭建专业水准的数据可视化大屏应用，满足项目运营管理、业务监控、风险预警等多种业务场景下的一站式数据实时可视化大屏展示需求。

查看更多 →

大屏全局参数配置 大屏编辑页面简介 图1 大屏编辑页面 表1 大屏区域简介 名称 说明 工具栏 在工具栏，您可以将组件可以左对齐、左右居中、右对齐、上对齐、上下居中对齐、下对齐、置顶、置低操作。 页面配置区域 图层：支持多图层；可配置图层组、图层轮播、锁定和隐藏图层等。 组件：为

查看更多 →

数据倾斜导致SQL执行慢，大表SQL执行无结果 问题现象 某场景下SQL执行慢，涉及大表的SQL执行不出来结果。 原因分析 GaussDB (DWS)支持Hash、REPLICATION和ROUNDROBIN（8.1.2集群及以上版本支持ROUNDROBIN）分布方式。如果创建了H

查看更多 →

DRS五大功能 父主题： 图解数据复制服务

查看更多 →

切换大屏和触屏 接口名称 WEB_ExchangeLayoutInExDualScreenAPI(后续废弃) 功能描述 双屏扩展模式，切换大屏和触屏 应用场景 双屏扩展模式，切换大屏和触屏 URL https://ip/action.cgi?ActionID=WEB_Exchan

查看更多 →

可视化运营大屏 所有可进行模糊查询的可视化应用都支持“%”和“_”通配查询，若需要指定查询，请加上“\”进行转义。 操作步骤 单击主菜单的“可视化”，默认进入“运营大屏”页面。 大屏详细说明可参见表1。 选择进入需要查看的大屏。 单击“导出”按钮可将大屏的数据导出至本地查看。 表1

查看更多 →

大Bitmap初始化 Bitmap，即位图类型，开源Redis直接使⽤STRING类型表达，因此可能会产⽣超⼤的STRING数据，进⽽在某些场景下出现⼤KEY的性能问题。GeminiDB Redis的Bitmap类型采⽤的是特殊编码的格式，内部采⽤分片算法，可以规避产⽣⼀个超⼤的

查看更多 →

DevOps的3大核心基础架构 由于近年DevOps概念的火热，加之DevOps的涵盖面非常广，因此有很多文章和技术都在和DevOps强行关联，使很多想要了解学习DevOps的开发者迷惑不解。 其实，DevOps的知识体系如果从顶层上来分解，可大分为2部分：方法论和工具链。 方法

查看更多 →

Astro大屏应用计费概述 通过阅读本文，您可以快速了解AstroCanvas的计费模式、计费项、续费、欠费等主要计费信息。 计费模式 AstroCanvas提供了“Astro大屏应用基础版”、“Astro大屏应用专业版”和“Astro大屏应用企业版”三种实例套餐，以满足不同场景

查看更多 →

参数 参数类型 描述 id String 大屏ID。 最小长度：0 最大长度：128 name String 大屏名称。 最小长度：0 最大长度：32 pages Array of ScreenPageOpenApiVO objects 大屏Page列表。 数组长度：0 - 100

查看更多 →

ation相关信息，恢复数据。 Yarn和Tez的关系 Hive on Tez作业信息需要Yarn提供TimeLine Server能力，以支持Hive任务展示应用程序的当前和历史状态，便于存储和检索。 TimelineServer会将数据保存到内存数据库LevelDB中，占用大

查看更多 →

赖华为云盘古大模型、向量检索引擎、容器引擎以及各种数据服务。3D模型管理服务为用户提供模型索引库创建、更新、删除和模型数据的入库、更新、查询、删除接口，支持用户构建和管理3D模型索引库。3D模型搜索服务为用户提供库内数据的各种搜索接口，用户可利用该接口对库中模型数据进行多种不同模

查看更多 →

Storm与其他组件的关系 Storm，提供实时的分布式计算框架，它可以从数据源（如Kafka、TCP连接等）中获得实时消息数据，在实时平台上完成高吞吐、低延迟的实时计算，并将结果输出到消息队列或者进行持久化。Storm与其他组件的关系如图1所示： 图1 组件关系图 Storm和Streaming的关系

查看更多 →

情况。 客户端执行命令的时延变大。 对大Key进行的慢操作会导致后续的命令被阻塞，从而导致一系列慢查询。 导致实例流控。 对大Key高频率的读会使得实例出方向带宽被打满，导致流控，产生大量命令超时或者慢查询，业务受损。 导致主备倒换。 对大Key执行危险的DEL操作可能会导致主节点长时间阻塞，从而导致主备倒换。

查看更多 →

delete大表数据后，再次查询同一张表时出现慢SQL 场景描述 一次性删除多条宽列数据（每条记录数据长度在1GB左右），再次对同一张表进行增删改查时均执行缓慢，20分钟左右后恢复正常。 场景案例 假定max_allowed_packet参数大小为1073741824。 创建表。

查看更多 →

delete大表数据后，再查询同一张表时出现慢SQL 场景描述 一次性删除多条宽列数据（每条记录数据长度在1GB左右），再次对同一张表进行增删改查时均执行缓慢，20分钟左右后恢复正常。 场景案例 假定max_allowed_packet参数大小为1073741824。 创建表。 CREATE

查看更多 →

索引位置偏移量，表示从查询到的大Key列表偏移offset条数据后查询对应的大Key信息。 取值大于或等于0。不传该参数时，查询偏移量默认为0，表示从第一条大Key开始查询。 limit 否 Integer 查询个数上限值。取值范围：1~100。不传该参数时，默认查询前100条大Key。 key_types

查看更多 →

发现和处理Redis大Key热Key 大Key和热Key的定义 大Key和热Key场景较多，没有非常明确的边界，需要根据实际业务判断。 名词 定义 大Key 大Key可以分为两种情况： Key的Value占用存储空间较大。一般单个String类型的Key大小达到10KB，或者集合

查看更多 →

Flink是一个批处理和流处理结合的统一计算框架，其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理，是业界最顶级的开源流处理引擎。Flink最适合的应用场景是低时延的数据处理（Data Processing）场景：高并发pipeline处理数据，时延毫秒级，且兼具可靠性。

查看更多 →