中软国际数据治理专业服务解决方案实践

Storm开源增强特性 CQL CQL（Continuous Query Language），持续查询语言，是一种用于实时数据流上的查询语言，它是一种SQL-like的语言，相对于SQL，CQL中增加了（时序）窗口的概念，将待处理的数据保存在内存中，进行快速的内存计算，CQL的输

查看更多 →

[115, 120)。 图2 窗口重构示例 当某个数据到来时，并不分配到具体的窗口中，而是根据自己的时间戳计算出该数据所属的pane，并将其保存到对应的pane中。 一个数据仅保存在一个pane中，内存中只有一份。 图3 窗口保存数据示例 当需要触发某个窗口时，计算该窗口包含的所有

查看更多 →

Hive开源增强特性：支持数据库授权 Hive开源社区版本只支持数据库的拥有者在数据库中创建表。 MRS Hive支持授予用户在数据库中创建表“CREATE”和查询表“SELECT”权限。当授予用户在数据库中查询的权限之后，系统会自动关联数据库中所有表的查询权限。 Hive开源增强特性：支持列授权

查看更多 →

用存储的性能和容量。 MR引擎。用户执行Hive SQL可以选择使用MR引擎执行。 可靠性增强。Hue自身主备部署。Hue与HDFS、Oozie、Hive、Yarn等对接时，支持Failover或负载均衡工作模式。 父主题： Hue

查看更多 →

Flink CEP in SQL增强 SQL中的Flink CEP CloudStream扩展为允许用户在SQL中表示CEP查询结果以用于模式匹配，并在Flink引擎上对事件流进行评估。 SQL查询语法 通过MATCH_RECOGNIZE的SQL语法实现。MATCH_RECOGNIZE子句自Oracle

查看更多 →

磁盘增强型 磁盘增强型实例类型总览 磁盘增强型 弹性云服务器 自带高存储带宽和IOPS的本地盘，具有高存储IOPS以及读写带宽的优势。同时，本地盘的价格更加低廉，在海量数据存储场景下，具备更高的性价比。磁盘增强型弹性 云服务器 具备如下特点： 本地磁盘提供更高顺序读写性能和更低时延，提升文件读写性能。

查看更多 →

分区表增强 二级分区 LIST DEFAULT HASH INTERVAL RANGE 分区级MDL锁 父主题： 常见内核功能

查看更多 →

标天数后的日期。 参数说明 指定日期：数据类型为TIMESTAMP或者STRING（格式为：yyyy-MM-dd HH:mm:ss），支持参数为NULL的特殊情况。 目标天数：数据类型为INT。 返回日期：指定日期减去目标天数后的日期，数据类型为STRING。 SQL示例 CREATE

查看更多 →

name FROM t1; FlinkSQL窗口函数支持迟到数据 FlinkSQL新增窗口函数支持迟到数据特性，解决迟到数据需要处理的场景。目前支持TUMBLE、HOP、OVER、CUMULATE窗口函数的迟到数据，示例如下： CREATE TABLE T1 ( `int` INT

查看更多 →

HBase开源增强特性：容灾增强 主备集群之间的容灾能力可以增强HBase数据的高可用性，主集群提供数据服务，备用集群提供数据备份，当主集群出现故障时，备集群可以提供数据服务。相比开源Replication功能，做了如下增强： 备集群白名单功能，只接受指定集群IP的数据推送。 开源版本中replicatio

查看更多 →

Kafka开源增强特性 Kafka开源增强特性 支持监控如下Topic级别的指标： Topic输入的字节流量 Topic输出的字节流量 Topic拒绝的字节流量 Topic每秒失败的fetch请求数 Topic每秒失败的Produce请求数 Topic每秒输入的消息条数 Topic每秒的fetch请求数

查看更多 →

给定节点中尝试匹配适当的作业。 Container调度时动态资源预留 在异构和多样化的计算环境中，一些container需要更多的资源或多种资源，例如Spark作业可能需要更大的内存。当这些container与其他需要较少资源的container竞争时，可能没有机会在合理的时间内

查看更多 →

配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题： Spark Core企业级能力增强

查看更多 →

分布式Tensorflow无法使用“tf.variable” 问题现象 多机或多卡使用“tf.variable”会造成以下错误： WARNING:tensorflow:Gradient is None for variable:v0/tower_0/UNET_v7/sub_pixel/Variable:0

查看更多 →

配置Spark HA增强高可用 配置多主实例模式 配置Spark多租户模式 配置多主实例与多租户模式切换 父主题： Spark Core企业级能力增强

查看更多 →

增强OpenSearch集群搜索能力 OpenSearch集群搜索增强特性介绍 配置OpenSearch集群向量检索 配置OpenSearch集群存算分离 切换OpenSearch集群冷热数据 父主题： 使用OpenSearch搜索数据

查看更多 →

配置阶段安全增强 安全地设置环境变量 环境变量HUAWEI_KMS_INFO中包含敏感信息，建议使用如下设置方式： 设置临时环境变量：使用密态数据库时，通过export命令设置环境变量；使用完，即通过unset命令清理环境变量。该方法中操作系统日志可能会记录敏感信息，建议使用进程

查看更多 →

个流图。 拆分成多个作业目前还存在问题。 通常情况下，作业之间可以通过Kafka实现数据传输，如作业A可以将数据发送到Kafka的Topic A下，然后作业B和作业C可以从Topic A下读取数据。该方案简单易行，但是延迟一般大于100ms。 采用TCP直接相连的方式，算子在分布

查看更多 →

自动处理网络故障，自动恢复受影响的业务。 数据备份与恢复 为应对数据丢失或损坏对用户业务造成不利影响，在异常情况下快速恢复系统，MRS根据用户业务的需要提供全量备份、增量备份和恢复功能。 自动备份 MRS对集群管理系统Manager上的数据提供自动备份功能，根据制定的备份策略可自动备份集群上的数据，包括Lda

查看更多 →

uster才是通常理解的“集群”概念。 图1 ClickHouse集群 常见的数据库系统，隐藏了表级以下的数据分区、副本存储等细节，用户是无感知的，而ClickHouse则要求用户主动来规划和定义数据分片（shard）、分区（partition）、副本（replica）位置等详细

查看更多 →

代码检查安全增强 CodeArts Check提供代码安全检查增强包的能力，其安全检查能力作为深度价值特性，能深度识别代码中安全风险和漏洞，提供了套餐包内规则不覆盖的安全类场景，比如数值错误、加密问题、数据验证问题等。针对业界的安全漏洞检测项提供了更深入的分析能力，如跨函数、跨文件、污点分析、语义分析等。

查看更多 →