FlinkSQL写入JDBC数据支持ignoreDelete 本章节适用于 MRS 3.3.0及以后版本。 使用场景 FlinkSQL写入JDBC数据时可以过滤掉DELETE和UPDATE_BEFORE状态的数据。 使用方法 在创建的JDBC Connector Sink流表中添加“filter

查看更多 →

obs-connector目的连接属性 参数 说明 桶名 保存最终数据的OBS文件系统。 写入目录 最终数据在文件系统保存时的具体目录。必须指定一个目录。 文件格式 Loader支持OBS中存储数据的文件格式，默认支持以下两种： CS V_FILE：表示文本格式文件。目的连接为数据库型连接时，只支持文本格式。

查看更多 →

firstRowAsHeader 否 Boolean 是否默认首行为标题行，当文件格式为“CSV_FILE”时此参数有效。在迁移CSV文件到表时， CDM 默认是全部写入，当该参数选择“true”时，CDM会将CSV文件的第一行数据作为标题行，不写入目的端的表。 fromJobConfig.fromCompression

查看更多 →

准备工作 CSV文件准备 创建一个包含源端主机信息的CSV文件，确保文件能被访问，并且格式符合要求。格式如下： username,ip,port,password username：该字段表示登录源端主机时所使用的用户名。为了确保脚本具有足够的权限执行修改操作，通常应使用具有管理员权限的用户名，如root。

查看更多 →

firstRowAsHeader 否 Boolean 是否默认首行为标题行，当文件格式为“CSV_FILE”时此参数有效。在迁移CSV文件到表时，CDM默认是全部写入，当该参数选择“true”时，CDM会将CSV文件的第一行数据作为标题行，不写入目的端的表。 fromJobConfig.fromCompression

查看更多 →

初始入库BULK_INSET方式会使用Spark内部parquet文件的写入类进行写入，Spark对不同精度的Decimal类型处理是不同的。 UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。 解决方案： 执行BULK_INSERT时指定设置“hoodie

查看更多 →

写入更新数据时报错SchemaCompatabilityException 问题 数据写入时报错： org.apache.hudi.exception.SchemaCompatabilityException: Unable to validate the rewritten record

查看更多 →

初始入库BULK_INSET方式会使用Spark内部parquet文件的写入类进行写入，Spark对不同精度的Decimal类型处理是不同的。 UPSERT操作时，Hudi使用Avro兼容的parquet文件写入类进行写入，这个和Spark的写入方式是不兼容的。 解决方案： 执行BULK_INSERT时指定设置“hoodie

查看更多 →

数据上传到OBS 对象存储服务 中，再从OBS中导入，支持CSV，TEXT格式数据。 通过INSERT语句直接插入数据。 用户可以通过 GaussDB (DWS)提供的客户端工具（gsql）或者JDBC/ODBC驱动从上层应用向GaussDB(DWS)写入数据。GaussDB(DWS)支持完整的数据

查看更多 →

在导出数据时，执行导出操作的用户需要具备数据导出路径所在的OBS桶的写入权限。通过配置桶的ACL权限，可以将写入权限授予指定的用户账号。 具体请参见《对象存储服务控制台指南》中的配置桶ACL章节。 父主题： 导出CSV、TXT数据到OBS

查看更多 →

TO/FROM NULL 查询结果为空的字段的填充值，可自由设置。 空字符串（） - TO/FROM DATETIMEFORMAT 用于读取或写入CSV时间数据的时间格式。 时间戳使用strftime格式。如果未设置，则默认值将设置为cqlshrc文件中的time_format值。 默认格式：%Y-%m-%d

查看更多 →

ma。 “源数据类型”为“JSON”和“CSV”时，可选择创建数据Schema。 源数据Schema 支持输入和导入源数据样例，源数据样例格式为JSON或者CSV，详细操作请参见管理源数据Schema。 在左侧文本框中输入JSON或者CSV格式的源数据样例，也可单击导入源数据样例。

查看更多 →

firstRowAsHeader 否 Boolean 是否默认首行为标题行，当文件格式为“CSV_FILE”时此参数有效。在迁移CSV文件到表时，CDM默认是全部写入，当该参数选择“true”时，CDM会将CSV文件的第一行数据作为标题行，不写入目的端的表。 fromJobConfig.fromCompression

查看更多 →

格式和“csv”格式。 当schema为obs时，输出数据编码格式仅支持“parquet”格式。 当schema为hdfs时，输出数据编码格式支持“parquet”格式和“csv”格式。 format.field-delimiter 否 属性分隔符。 当编码格式为“csv”时，需

查看更多 →

ignore-retraction 否 是否忽略回撤消息，默认为false。回撤消息将以null值写入kafka update-mode 否 支持：'append', 'retract'及'upsert'三种写入模式 connector.properties.* 否 配置kafka任意原生属性 示例

查看更多 →

firstRowAsHeader 否 Boolean 是否默认首行为标题行，当文件格式为“CSV_FILE”时此参数有效。在迁移CSV文件到表时，CDM默认是全部写入，当该参数选择“true”时，CDM会将CSV文件的第一行数据作为标题行，不写入目的端的表。 fromJobConfig.fromCompression

查看更多 →

”参数值为“true”或“BAD_RECORDS_ACTION”参数值为“redirect”。 由于将失败原因写入日志文件中或将Bad Records重定向到原始CSV文件中导致的额外的I/O开销，数据加载性能就会降低 。 父主题： CarbonData常见问题

查看更多 →

ma。 “源数据类型”为“JSON”和“CSV”时，可选择创建数据Schema。 源数据Schema 支持输入和导入源数据样例，源数据样例格式为JSON或者CSV，详细操作请参见管理源数据Schema。 在左侧文本框中输入JSON或者CSV格式的源数据样例，也可单击导入源数据样例。

查看更多 →

工作负载异常：实例无法写入数据 Pod事件 Pod所在的节点文件系统损坏，新建的Pod无法成功在/var/lib/kubelet/device-plugins/.xxxxx写入数据，Pod通常会出现以下类似事件： Message： Pod Update Plugin resources

查看更多 →

写入更新数据时报错SchemaCompatabilityException 问题 数据写入时报错： org.apache.hudi.exception.SchemaCompatabilityException: Unable to validate the rewritten record

查看更多 →

firstRowAsHeader 否 Boolean 是否默认首行为标题行，当文件格式为“CSV_FILE”时此参数有效。在迁移CSV文件到表时，CDM默认是全部写入，当该参数选择“true”时，CDM会将CSV文件的第一行数据作为标题行，不写入目的端的表。 fromJobConfig.fromCompression

查看更多 →