文档数据库服务 DDS

 

文档数据库DDS兼容MongoDB协议,在华为云高性能、高可用、高安全、可弹性伸缩的基础上,提供了一键部署,弹性扩容,容灾,备份,恢复,监控等服务能力。目前支持分片集群(Sharding)、副本集(ReplicaSet)和单节点(Single)三种部署架构

 

 

    mongodb 处理大数据 更多内容
  • 创建数据处理任务版本

    是 String 数据处理任务名称。 template 否 TemplateParam object 数据处理模板,如算法ID和参数等。 version_id 否 String 数据集版本ID。 work_path 否 WorkPath object 数据处理任务的工作目录。 workspace_id

    来自:帮助中心

    查看更多 →

  • 回传数据优化处理

    当推理计算完成后,需要将推理结果或者推理结束信号发送给Host端,如果在推理Engine内部调用SendData回传数据到Host端,将会消耗推理Engine的时间。建议单独开一个专门负责回传数据的Engine(例如:DataOptEngine),当推理结束后,推理Engine将处理数据透传给DataOptEngine,由DataOptE

    来自:帮助中心

    查看更多 →

  • 回传数据优化处理

    当推理计算完成后,需要将推理结果或者推理结束信号发送给Host端,如果在推理Engine内部调用SendData回传数据到Host端,将会消耗推理Engine的时间。建议单独开一个专门负责回传数据的Engine(例如:DataOptEngine),当推理结束后,推理Engine将处理数据透传给DataOptEngine,由DataOptE

    来自:帮助中心

    查看更多 →

  • 数据处理预置算子说明

    数据处理预置算子说明 数据校验 数据清洗 数据选择 数据增强

    来自:帮助中心

    查看更多 →

  • 个人数据处理说明

    个人数据处理说明 个人数据清单 使用目的 存留期 用户屏幕图像 投屏中屏幕镜像信息投放 IdeaShare不保存个人数据 用户音频输出口 投屏中音频信息投放 用户IP地址 投屏连接

    来自:帮助中心

    查看更多 →

  • 业务数据不均衡处理建议

    节点上的数据更多,从而导致节点间的数据不均衡。 实施步骤 业务数据不均衡的处理措施: 优化业务中Topic的设计,对于数据量特别的Topic,可对业务数据做进一步的细分,并分配到不同的Topic上。 生产者生产消息时,尽量把消息均衡发送到不同的分区上,确保分区间的数据均衡。 创

    来自:帮助中心

    查看更多 →

  • 通过Flink作业处理OBS数据

    Flink是一个批处理和流处理结合的统一计算框架,其核心是一个提供了数据分发以及并行化计算的流数据处理引擎。它的最大亮点是流处理,是业界最顶级的开源流处理引擎。 Flink最适合的应用场景是低时延的数据处理(Data Processing)场景:高并发pipeline处理数据,时延毫秒级,且兼具可靠性。

    来自:帮助中心

    查看更多 →

  • 配置MongoDB/DDS源端参数

    配置MongoDB/DDS源端参数 从MongoDB、DDS迁移数据时, CDM 会读取集合的首行数据作为字段列表样例,如果首行数据未包含该集合的所有字段,用户需要自己手工添加字段。 作业中源连接为MongoDB连接时,即从本地MongoDB或DDS导出数据时,源端作业参数如表1所示。

    来自:帮助中心

    查看更多 →

  • 本地MongoDB迁移到DDS

    CA根证书。 分片数据库 根据源库实际的集群分片个数,填写对应的分片数据库信息。 目标库信息配置 图7 目标库信息 表5 目标库信息 参数 描述 数据库实例名称 默认为创建迁移任务时选择的数据库实例,不可进行修改。 数据库用户名 目标数据库对应的数据库用户名。 数据库密码 目标数据库的登录密码。

    来自:帮助中心

    查看更多 →

  • 将DDS同步到MongoDB

    在网络无瓶颈的情况下,全量同步会对源数据库增加约50MB/s的查询压力,以及占用2~4个CPU。 同步无主键表时,会存在3s以内的单表级锁定。 DRS并发读取数据库,会占用大约6-10个session连接数,需要考虑该连接数对业务的影响。 全量阶段读取表数据时,特别是表的读取,可能会阻塞业务上对表的独占锁操作。

    来自:帮助中心

    查看更多 →

  • 将MongoDB同步到DDS

    源数据库类型选择“E CS 自建库”可见,源数据库的IP地址或 域名 数据库实例名称 源数据库类型选择“DDS实例”可见,选择作为源数据库的DDS实例。 账号认证数据库 填写的数据库账号所属的数据库名称。例如:华为云DDS实例默认的账号认证数据库为admin。 数据库用户名 源数据库的用户名。 数据库密码 源数据库的用户名所对应的密码。

    来自:帮助中心

    查看更多 →

  • 将MongoDB迁移到DDS

    全量:该模式为数据库一次性迁移,适用于可中断业务的数据库迁移场景,全量迁移将非系统数据库的全部数据库对象和数据一次性迁移至目标端数据库,包括:集合、视图、索引等。 说明: 如果用户只进行全量迁移时,建议停止对源数据库的操作,否则迁移过程中源数据库产生的新数据不会同步到目标数据库。 全量

    来自:帮助中心

    查看更多 →

  • 实例类型是否匹配迁移模式

    实例类型是否匹配迁移模式 MongoDB迁移场景 表1 实例类型是否匹配迁移模式 预检查项 实例类型是否匹配迁移模式。 描述 检查MongoDB实例类型是否匹配迁移模式,若不匹配,则会导致迁移失败。 不通过提示及处理建议 不通过原因:创建DRS任务时,源数据库实例类型选择为集群,但是源库为非集群。

    来自:帮助中心

    查看更多 →

  • 如何设置MongoDB数据库分片集群的分片键

    如何设置MongoDB数据库分片集群的分片键 MongoDB数据库中数据的分片是以集合为基本单位的,集合中的数据通过片键被分成多部分。 对集合进行分片时,您需要选择一个片键 , 片键是每条记录都必须包含的,且建立了索引的单个字段或复合字段,MongoDB数据库按照片键将数据划分到不

    来自:帮助中心

    查看更多 →

  • 大模型微调需要的数据有要求吗?

    模型微调需要的数据有要求吗? AI原生应用引擎用于模型微调的数据集任务领域为“自然语言处理”、数据集格式为“对话文本”。 文件内容要求为标准json数组,例如: [{"instruction": "aaa", "input": "aaa", "output": "aaa"},{"instruction":

    来自:帮助中心

    查看更多 →

  • 全量迁移失败报错,关键词“GC overhead limit exceeded”

    exceeded” 场景描述 MongoDB->DDS实时迁移场景,全量迁移报错,日志提示信息:service DATAMOVE failed, cause by: GC overhead limit exceeded。 可能原因 源库单条数据过大。 迁移实例规格太小。 处理方法 查看任务状态是否正常。

    来自:帮助中心

    查看更多 →

  • 关键字库

    组合关键字用于将多个步骤封装成常用的测试步骤组合,可以引入到其他的测试用例中,实现测试逻辑复用。 系统关键字涵盖认证、协议、中间件、数据库四类别,覆盖身份认证、复杂协议、数据处理数据预置、数据验证、接口集成等丰富场景。 关键字库入口 在“脚本”页签,页面右侧展示“关键字库”。 通过Swagger文件

    来自:帮助中心

    查看更多 →

  • 关键字库

    组合关键字用于将多个步骤封装成常用的测试步骤组合,可以引入到其他的测试用例中,实现测试逻辑复用。 系统关键字涵盖认证、协议、中间件、数据库四类别,覆盖身份认证、复杂协议、数据处理数据预置、数据验证、接口集成等丰富场景。 关键字库入口 在“脚本”页签,页面右侧展示“关键字库”。 通过Swagger文件

    来自:帮助中心

    查看更多 →

  • 使用MAS实现MongoDB容灾切换

    确认配置无误后单击“立即创建”,完成创建MongoDB监控。 步骤四:切换MongoDB监控 进入“监控列表”页面,单击MongoDB监控所在行右侧的“切换”。 在弹窗中单击“确认”。活跃数据库由数据中心1变为数据中心2。活跃数据库即主数据库。 待数据中心1数据库正常后(即数据库连接正常,数据表读写正常),单击监控所在行右侧的“回切”按钮。

    来自:帮助中心

    查看更多 →

  • 多活容灾MongoDB监控准备

    多活容灾MongoDB监控准备 配置多活容灾MongoDB监控,请参考MongoDB监控管理 。 父主题: 约束

    来自:帮助中心

    查看更多 →

  • 其他云MongoDB迁移到DDS

    CA根证书。 分片数据库 根据源库实际的集群分片个数,填写对应的分片数据库信息。 目标库信息配置 图7 目标库信息 表5 目标库信息 参数 描述 数据库实例名称 默认为创建迁移任务时选择的数据库实例,不可进行修改。 数据库用户名 目标数据库对应的数据库用户名。 数据库密码 目标数据库的登录密码。

    来自:帮助中心

    查看更多 →

共105条
看了本文的人还看了