MemorySize 压缩目标文件大小，默认值为滚动文件大小。 分区文件的提交。 文件写入分区后，通常需要通知下游应用程序。如将分区添加到Hive元存储中，或在目录中写入_SUCCESS文件。分区文件的提交操作基于触发器和策略的组合方式。 表3 分区文件提交触发器相关配置 配置项 默认值

查看更多 →

导出数据库备份文件 本小节介绍了数据库全量备份文件和事务日志（增量）备份文件的导出方法。 检查本地数据库参数配置。 该操作为全量+增量迁移的必操作项，仅进行全量迁移时，可以跳过该步骤。 由于数据库存在日志截断和收缩配置，在导出全量备份文件前，需要将数据库恢复模式配置成“完整”模式

查看更多 →

流式写入Hudi表 本章节仅适用于 MRS 3.3.1-LTS及之前版本。 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能：

查看更多 →

把本地Git仓导入Repo 把本地新建的Git仓导到Repo 如果您的代码仓还没有纳入过任何的版本系统，如Git或者SVN，在源代码的根目录，执行如下操作，把本地自建的代码仓导入到CodeArts Repo。 进入CodeArts Repo首页，单击“新建仓库”，在“归属项目”下拉框中选择已有的项目或者“新建项目”。

查看更多 →

datasource接口更新Mor表，Upsert写入小数据量时可能触发更新数据的小文件合并，使在Mor表的读优化视图中能查到部分更新数据。 当update的数据对应的base文件是小文件时，insert中的数据和update中的数据会被合在一起和base文件直接做合并产生新的base文件，而不是写log。 分区设置操作

查看更多 →

流式写入Hudi表 HoodieDeltaStreamer流式写入 Hudi自带HoodieDeltaStreamer工具支持流式写入，也可以使用SparkStreaming以微批的方式写入。HoodieDeltaStreamer提供以下功能： 支持Kafka，DFS多种数据源接入

查看更多 →

innodb_flush_log_at_trx_commit 数据库默认值：1 作用：该参数控制提交操作在严格遵守ACID合规性和高性能之间的平衡。 设置为默认值1时，是为了保证完整的ACID，每次提交事务时，把log buffer中的数据从缓存区写到日志文件中，并刷新日志文件的数据到分布式存储上。 当设为0时，InnoDB每秒钟将log

查看更多 →

innodb_flush_log_at_trx_commit 数据库默认值：1 作用：该参数控制提交操作在严格遵守ACID合规性和高性能之间的平衡。 设置为默认值1时，是为了保证完整的ACID，每次提交事务时，把log buffer中的数据从缓存区写到日志文件中，并刷新日志文件的数据到分布式存储上。 当设为0时，InnoDB每秒钟将log

查看更多 →

设置这个参数是因为在操作系统崩溃过程中可能磁盘页面只写入了一部分内容，从而导致在同一个页面中包含新旧数据的混合。在崩溃后的恢复期间，由于在WAL日志中存储的行变化信息不够完整，因此无法完全恢复该页。把完整的页面影像保存下来就可以保证页面被正确还原，代价是增加了写入WAL日志的数据量。 关闭此参数，

查看更多 →

t” 云数据库默认值：“1”。 作用：该参数控制提交操作在严格遵守ACID合规性和高性能之间的平衡。设置为默认值“1”，是为了保证完整的ACID，每次提交事务时，把事务日志从缓存区写到日志文件中，并刷新日志文件的数据到磁盘上；当设为“0”时，每秒把事务日志缓存区的数据写入日志文件

查看更多 →

储配置信息。 匿名写入 匿名写入默认关闭，适用于安卓/IOS/小程序/浏览器端上报日志才能使用匿名写入，需要提交工单开通白名单。 打开匿名写入则表示该日志流打开匿名写入权限，不会经过有效鉴权，可能产生脏数据。关于SDK使用请参考SDK接入。 说明： 使用匿名写入采集日志功能仅支持

查看更多 →

控制HLog文件在写入到HDFS时的同步程度。如果为true，HDFS在把数据写入到硬盘后才返回；如果为false，HDFS在把数据写入OS的缓存后就返回。 把该值设置为false比true在写入性能上会更优。 true hbase.hfile.hsync 控制HFile文件在写入到

查看更多 →

hbase.wal.hsync 控制HLog文件在写入到HDFS时的同步程度。如果为“true”，HDFS在把数据写入到硬盘后才返回；如果为“false”，HDFS在把数据写入OS的缓存后就返回。 把该值设置为“false”比“true”在写入性能上会更优。 true hbase.hfile

查看更多 →

设置这个参数是因为在操作系统崩溃过程中可能磁盘页面只写入了一部分内容，从而导致在同一个页面中包含新旧数据的混合。在崩溃后的恢复期间，由于在WAL日志中存储的行变化信息不够完整，因此无法完全恢复该页。把完整的页面影像保存下来就可以保证页面被正确还原，代价是增加了写入WAL日志的数据量。 关闭此参数，

查看更多 →

NameNode的Active和Standby节点均部署有zkfc进程。 HDFS NameNode的ZKFC连接到ZooKeeper，把主机名等信息保存到ZooKeeper中，即“/hadoop-ha”下的znode目录里。先创建znode目录的NameNode节点为主节点，另一个为备节点。HDFS

查看更多 →

设置不当的风险与影响：无 walwriter_cpu_bind 参数说明：把walwriter线程绑定到指定CPU核上运行。 参数类型：整型 参数单位：无 取值范围：-1~核数减1。CPU核从0号开始排序。 -1：表示不进行绑核操作。 N：表示把walwriter线程绑定到第N号CPU核上。 默认值：-1

查看更多 →

RabbitMQ把路由关键字作为判断条件，符合条件的消息将转发到队列。若“是否创建新队列”选择“是”，则配置新队列的路由关键字；若“是否创建新队列”选择“否”，则配置已有目标队列一致的路由关键字。 消息参数 仅当“交换方式”选择“Headers”时需要配置。 RabbitMQ把Heade

查看更多 →

本地上传文件信息存入数据库 功能介绍 本地上传文件信息存入数据库。 URI URI格式 POST /softcomai/datalake/collection/v1.0/upload/records 参数说明 无。 请求 请求样例 { "fileName": "src95156873436249665

查看更多 →

使用Storm-JDBC插件开发Oracle写入Bolt时发现数据无法写入 现象描述 使用Storm-JDBC插件开发Oracle写入Bolt，发现能连上Oracle数据库，但是无法向Oracle数据库里面写数据。 可能原因 拓扑定义异常。 数据库表结果定义异常。 原因分析 通过Storm

查看更多 →

向Phoenix表中写入数据 功能简介 使用Phoenix实现写数据。 代码样例 以下代码片段在com.huawei.bigdata.hbase.examples包的“PhoenixSample”类的testPut方法中。 /** * Put data */ public

查看更多 →

xml文件中的标签，写入结束标签</的时候，需要自动补全标签对 可以安装如下“Auto Close Tag”插件： 然后启用下面的配置项，就可以在输入</ 的时候自动补全标签对： 父主题： CodeArts IDE for Java

查看更多 →