数据模型 fieldlength=100, fieldcount=10 预置数据量 本次性能测试中，针对每种规格的实例，测试了如下预置数据量的性能。 预置数据具体如下表所示： 表3 预置数据量 编号 规格 预置数据量 cluster1 4U16GB 200GB cluster2 8U32GB

查看更多 →

Second，数据库每秒执行的操作数。 不同业务模型和shard节点规格下，基于3.4版本的数据库实例，根据表2预置小数据量数据，测试的OPS数据，详见表1中加粗内容。 表1 弱一致性，且预置小数据量数据下的OPS shard节点规格 业务模型编号 s1 s6 s5 s4 s3 s2 2U4GB 20546

查看更多 →

已迁移的数据块的大小，包括分区中的所有数据块 已迁移时间 开始迁移的时间，从任务开始时间计算 剩余时间 （总共数据量-已迁数据量）/ 迁移速率 迁移速率 计算最近5s内迁移数据量。如5s迁移了200MB，则迁移速率200MB*8/5s = 320Mbps；由于迁移数据经过网卡传输迁移

查看更多 →

大容量数据库背景介绍 随着处理数据量的日益增长和使用场景的多样化，数据库越来越多地面对容量大、数据多样化的场景。在过去数据库业界发展的20多年时间里，数据量从最初的MB、GB级数据量逐渐发展到现在的TB级数据量，在如此数据大规模、数据多样化的客观背景下，数据库管理系统（DBMS）

查看更多 →

postgresql：postgresql/opengauss数据源类型 hive：hive数据源类型 mssql：sqlserver数据源类型 sqlserver：sqlserver数据源类型 dws：dws数据源类型 gauss100：gauss100数据源类型 zenith：zenith数据源类型

查看更多 →

宽资源。 DES目前支持Teleport和磁盘两种数据传输方式。磁盘方式适用于30TB以下的数据量迁移，Teleport方式适用于30TB~500TB的数据量迁移，500TB以上的数据量建议通过专线迁移。另外Teleport方式由华为数据中心邮寄Teleport设备给用户使用，而

查看更多 →

DSC的扫描时长和脱敏时长？ 扫描时长 DSC服务扫描的时长将由您所扫描数据源的数据量、扫描规则数、扫描模式决定，表1中提供的扫描时长仅作参考。 表1 扫描时长 数据源 数据量 扫描模式 扫描时长 RDS（关系型数据库） 1000张表 快速扫描 5分钟 CSS （ 云搜索服务 ） 1000Wdoc

查看更多 →

postgresql：postgresql/opengauss数据源类型 hive：hive数据源类型 mssql：sqlserver数据源类型 sqlserver：sqlserver数据源类型 dws：dws数据源类型 gauss100：gauss100数据源类型 zenith：zenith数据源类型

查看更多 →

postgresql：postgresql/opengauss数据源类型 hive：hive数据源类型 mssql：sqlserver数据源类型 sqlserver：sqlserver数据源类型 dws：dws数据源类型 gauss100：gauss100数据源类型 zenith：zenith数据源类型

查看更多 →

能。 注意，当前版本PCR索引在大数据量的回滚上耗时可能较长（回滚时间随数据量增长可能呈指数型增长，数据量太大可能会导致回滚未完成），回滚时间会在下个版本进行优化。以下是当前版本回滚时间的具体规格： 表1 PCR索引回滚时间的规格 类型/数据量 100 1000 1万 10万 100万

查看更多 →

不推荐使用 主机迁移服务 迁移。 迁移中的评估（剩余时间） 剩余时间T（h）=主机数据量C（GB）*1000*8*(80%-当前传输进度P)/60%/迁移速度S（Mbit/s）/3600 主机数据量指的主机所有数据量。 当前数据传输进度P可以在 主机迁移 服务界面查看，如果进度P>80%，说明

查看更多 →

ELK：ElasticSearch 5个 4核 8GB ElasticSearch的磁盘空间需求取决于数据量、副本数： 一般场景：数据量*(1+副本数)*1.7 峰值场景：数据量*(1+副本数)*2.6 其中，数据量为存储的日志文件总大小，即200MB*日志文件数；本实践中，ElasticSearch的副本数为1。

查看更多 →

算法工程处理的时候必须要先采样吗？ 算法工程数据采样的目的是提升界面每个特征操作的速度。大数据量操作的时候建议先采样。数据采样后所有的特征操作，都只对采样后的数据进行处理，可以减少特征操作处理的数据量。 父主题： 特征工程

查看更多 →

填写要连接的数据库名。 连接字符串 仅当“连接与安全”选择“专业”时需要配置。 填写Sql Server数据库的JDBC格式连接串，例如：jdbc:sqlserver://{hostname}:{port};DatabaseName={dbname}。 用户名 连接数据库的用户名。 密码 连接数据库的用户密码。

查看更多 →

搬迁方式 适用数据量 要求 耗时 费用 OBS工具方式 不高于1TB的数据量 要求用户公网带宽空闲，需要人工操作客户端或脚本启动数据上传 家用100Mbps带宽，1TB耗时1天左右 数据传输不收取费用，仅OBS收取基本的存储费用 CDM 方式 单次小于8TB的数据量 需要用户单独购买CDM服务

查看更多 →

元数据管理 元数据采集 支持 mysql、sqlserver、oracle、postgresql、db2 等主流关系型数据库； 支持 hive、greenplum、clickhouse 等分布式分析型数据库； 支持 hbase、kudu、mongodb 等 NoSQL 数据库； 支持

查看更多 →

方案概述 应用场景 该解决方案基于DBSyncer，是一款开源的数据同步中间件，主要提供MySQL、Oracle、SqlServer、PostgreSQL、Elasticsearch(ES)等同步场景。支持上传插件自定义同步转换业务，提供监控全量和增量数据统计图、应用性能预警等。

查看更多 →

义。 否 否 POSTGRESQL错误日志 根据POSTGRESQL错误日志资料中提供的日志字段被定义。 否 否 SQLSERVER错误日志 根据SQLSERVER资料中提供的日志字段被定义。 否 否 GeminiDB Redis慢日志 根据GeminiDB Redis资料中提供的日志字段被定义。

查看更多 →

义。 否 否 POSTGRESQL错误日志 根据POSTGRESQL错误日志资料中提供的日志字段被定义。 否 否 SQLSERVER错误日志 根据SQLSERVER资料中提供的日志字段被定义。 否 否 GeminiDB Redis慢日志 根据GeminiDB Redis资料中提供的日志字段被定义。

查看更多 →

threads.per.data.dir 10 在Kafka启动过程中，数据量较大情况下，可调大此参数，可以提升启动速度。 background.threads 10 Broker后台任务处理的线程数目。数据量较大的情况下，可适当调大此参数，以提升Broker处理能力。 num.replica

查看更多 →

数据快递。 OBS Browser+对网络要求较高，上传过程中需要尽量减少网络波动，否则容易导致数据上传失败。当上传数据量超过500GB时，建议使用obsutil。如果数据量巨大且对时效性要求较高、能够接受额外的服务成本，建议使用数据快递进行数据上传。 具体使用哪个数据上传方式请参考表1。

查看更多 →