中软国际数据治理专业服务解决方案实践

创建和使用 GaussDB (DWS)序列 序列Sequence是用来产生唯一整数的数据库对象。序列的值是按照一定规则自增的整数。因为自增所以不重复，因此说Sequence具有唯一标识性。这也是Sequence常被用作主键的原因。 通过序列使某字段成为唯一标识符的方法有两种： 一种是声明字段的类型为序列整型，由

查看更多 →

创建和使用GaussDB(DWS)序列 序列Sequence是用来产生唯一整数的数据库对象。序列的值是按照一定规则自增的整数。因为自增所以不重复，因此说Sequence具有唯一标识性。这也是Sequence常被用作主键的原因。 通过序列使某字段成为唯一标识符的方法有两种： 一种是声明字段的类型为序列整型，由

查看更多 →

9246就是不连续的）。 如果有这种不连续的edits文件，则需要查看其它的JournalNode的数据目录或NameNode数据目录中，有没有连续的该序号相关的连续的edits文件。如果可以找到，复制一个连续的片段到该JournalNode。 如此把所有的不连续的edits文件全部都修复。

查看更多 →

开通数据库代理后有大量select请求分发到主节点 原因分析： 延时阈值参数 只读实例同步主实例数据时允许的最长延迟时间。延时阈值仅在存在只读实例时生效。为避免只读实例读取的数据长时间和主实例不一致，当一个只读实例的延迟时间超过设置的延迟阈值，则不论该只读实例的读权重是多少，读请求都不会转发至该只读实例。

查看更多 →

删除大量文件后重启NameNode耗时长 问题 删除大量文件之后立刻重启NameNode（例如删除100万个文件），NameNode启动慢。 回答 由于在删除了大量文件之后，DataNode需要时间去删除对应的Block。当立刻重启NameNode时，NameNode会去检查所有

查看更多 →

集群启动Yarn后产生大量作业占用资源 问题现象 MRS 2.x及之前版本集群，用户的MRS集群启动Yarn后产生大量作业，占用集群计算资源。 原因分析 集群安全组入口方向的Any协议源地址配置为0.0.0.0/0，导致集群可能遭受了外部网络攻击。 处理步骤 登录MRS集群页面，

查看更多 →

行背景色设置为“自定义”时，背景色序列号配置规则如下： 单行生效：直接配置对应序号。 非连续性多行生效：使用中文逗号“，”或英文逗号“,”，分隔对应序号。 连续多行生效：使用横线“-”，连接首尾序号。 序列号 显示序列号：是否显示序列号。 宽度占比(%)：设置序列号的宽度占比。 序列号样式：设置序列号的样式。

查看更多 →

、分布式、多客户端支持、实时等特性，适用于离线和在线的消息消费，如常规的消息收集、网站活性跟踪、聚合统计系统运营数据（监控数据）、日志收集等大量数据的互联网服务的数据收集场景。 Kafka结构 生产者（Producer）将消息发布到Kafka主题（Topic）上，消费者（Cons

查看更多 →

duce个数）的任务，运行日志中出现大量的消息发送失败和Executor心跳超时，从而导致任务失败。 回答 对于Hash shuffle，在shuffle的过程中写数据时不做排序操作，只是将数据根据Hash的结果，将各个reduce分区的数据写到各自的磁盘文件中。 这样带来的问题

查看更多 →

duce个数）的任务，运行日志中出现大量的消息发送失败和Executor心跳超时，从而导致任务失败。 回答 对于Hash shuffle，在shuffle的过程中写数据时不做排序操作，只是将数据根据Hash的结果，将各个reduce分区的数据写到各自的磁盘文件中。 这样带来的问题

查看更多 →

表数据按照分布列生成的hash值与DN实例的映射关系，将数据分布到各DN实例。 优点：每个DN仅包含部分数据，占用整体空间小。 缺点：数据分布的均匀程度强依赖分布列的选择；JOIN关联条件不包含各自分布列的场景存在节点间数据通信的消耗。 大表、事实表。 RoundRobin 表数据按照轮询的方式依次分布到各DN实例。

查看更多 →

表数据按照分布列生成的hash值与DN实例的映射关系，将数据分布到各DN实例。 优点：每个DN仅包含部分数据，占用整体空间小。 缺点：数据分布的均匀程度强依赖分布列的选择；JOIN关联条件不包含各自分布列的场景存在节点间数据通信的消耗。 大表、事实表。 RoundRobin 表数据按照轮询的方式依次分布到各DN实例。

查看更多 →

nextval、currval在全局序列的使用 nextval返回下一个序列值，currval返回当前序列值。其中nextval可以通过nextval(n)返回n个唯一序列值。 nextval(n)只能单独用在select sequence.nextval(n)场景下并且不支持跨库操作。

查看更多 →

Apache Dubbo反序列化漏洞 2020年02月10日，华为 云安全 团队监测到Apache Dubbo官方发布了CVE-2019-17564漏洞通告，漏洞等级中危。当用户选择http协议进行通信时，攻击者可以通过发送POST请求的时候来执行一个反序列化的操作，由于没有任何安全

查看更多 →

查询终端外设的序列号 接口名称 WEB_GetEquipmentSn(后续废弃) 功能描述 查询终端外设的序列号。 应用场景 SMC下发搜集序列号请求。 URL https://ip/action.cgi?ActionID=WEB_GetEquipmentSn 参数 无 返回值 表1

查看更多 →

HDFS故障排除 往HDFS写数据时报错“java.net.SocketException” 删除大量文件后重启NameNode耗时长 EditLog不连续导致NameNode启动失败 当备NameNode存储元数据时，断电后备NameNode启动失败 dfs.datanode.data

查看更多 →

HDFS故障排除 往HDFS写数据时报错“java.net.SocketException” 删除大量文件后重启NameNode耗时长 EditLog不连续导致NameNode启动失败 当备NameNode存储元数据时，断电后备NameNode启动失败 dfs.datanode.data

查看更多 →

Streaming提供的抽象概念。 DStream表示一个连续的数据流，是从数据源获取或者通过输入流转换生成的数据流。从本质上说，一个DStream表示一系列连续的RDD。RDD是一个只读的、可分区的分布式数据集。 DStream中的每个RDD包含了一个区间的数据。如图4所示。 图4 DStream与RDD关系

查看更多 →

for MySQ L实例 迁移中，大量binlog文件导致数据盘空间不足 RDS for MySQL实例迁移中，短时间内产生大量binlog文件，导致数据盘空间不足（91%），影响业务正常运行 。 解决方案 请及时清理过期数据。 随着业务数据的增加，原来申请的数据库磁盘容量可能会不足，建议用户扩容磁盘空间，确保磁盘空间足够。

查看更多 →

查询应用程序列表 功能介绍 查询应用程序列表（该功能目前仅支持华东-上海一、华北-北京四） 调用方法 请参见如何调用API。 URI GET /v2/{project_id}/fgs/applications 表1 路径参数 参数 是否必选 参数类型 描述 project_id 是

查看更多 →

Apache Dubbo反序列化漏洞 2020年02月10日，华为云安全团队监测到Apache Dubbo官方发布了CVE-2019-17564漏洞通告，漏洞等级中危。当用户选择http协议进行通信时，攻击者可以通过发送POST请求的时候来执行一个反序列化的操作，由于没有任何安全

查看更多 →