优化向量检索写入与查询性能 写入性能优化 关闭副本，待数据导入完成后再开启副本，减少副本构建的开销。 调整“refresh_interval”为120s或者更大，避免频繁刷新索引生成大量小的segments，同时减少merge带来的向量索引构建开销。 适当调大“native.vector

查看更多 →

在IO上，查询速度也受限于源数据库IO相关的性能以及网络带宽。一般在网络无瓶颈的情况下，会对源数据库增加约50MB/s的查询压力，以及占用2~4个CPU，在并发读取源数据库时，会占用大约6-10个session连接数，其中： 有小于8个连接查询源数据库的一些系统表（如inform

查看更多 →

节点运行状态异常 NoSQLFaultyDBNode 重要 由于灾难或者物理机故障导致数据库节点故障时，会上报该事件，属于关键告警事件。 检查数据库服务是否可以正常使用，并提交工单。 可能导致数据库服务不可用。 节点运行状态异常已恢复 NoSQLDBNodeRecovered 重要

查看更多 →

节点运行状态异常 NoSQLFaultyDBNode 重要 由于灾难或者物理机故障导致数据库节点故障时，会上报该事件，属于关键告警事件。 检查数据库服务是否可以正常使用，并提交工单。 可能导致数据库服务不可用。 节点运行状态异常已恢复 NoSQLDBNodeRecovered 重要

查看更多 →

stem数据库是ClickHouse默认的系统数据库，默认数据库中的系统表记录的是系统的配置、元数据等信息数据。业务在使用ClickHouse的时候，需要指定自己业务的数据库进行连接和使用，业务相关的表创建在自己业务库中，不要将业务表创建在系统数据库中，避免对系统数据库造成不必要的影响。

查看更多 →

写入更新数据时报错UnsupportedOperationException 问题 数据写入时报错： java.lang.UnsupportedOperationException: org.apache.parquet.avro.AvroConverters$FieldIntegerConverter

查看更多 →

从HBase读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

从Hive读取数据再写入HBase 场景说明 Java样例代码 Scala样例代码 父主题： 开发Spark应用

查看更多 →

优化向量检索写入与查询性能 写入性能优化 关闭副本，待数据导入完成后再开启副本，减少副本构建的开销。 调整“refresh_interval”为120s或者更大，避免频繁刷新索引生成大量小的segments，同时减少merge带来的向量索引构建开销。 适当调大“native.vector

查看更多 →

创建HDFS文件并写入内容 功能简介 写文件过程为： 使用FileSystem实例的create方法获取写文件的输出流。 使用该输出流将内容写入到HDFS的指定文件中。 在写完文件后，需关闭所申请资源。 代码样例 如下是写文件的代码片段，详细代码请参考com.huawei.bigdata

查看更多 →

SparkStreaming批量写入HBase表 场景说明 用户可以在Spark应用程序中使用HBaseContext的方式去操作HBase，使用streamBulkPut接口将流数据写入Hbase表中。 数据规划 在客户端执行hbase shell进入HBase命令行。 在HB

查看更多 →

节点运行状态异常 NoSQLFaultyDBNode 重要 由于灾难或者物理机故障导致数据库节点故障时，会上报该事件，属于关键告警事件。 检查数据库服务是否可以正常使用，并提交工单。 可能导致数据库服务不可用。 节点运行状态异常已恢复 NoSQLDBNodeRecovered 重要

查看更多 →

节点运行状态异常 NoSQLFaultyDBNode 重要 由于灾难或者物理机故障导致数据库节点故障时，会上报该事件，属于关键告警事件。 检查数据库服务是否可以正常使用，并提交工单。 可能导致数据库服务不可用。 节点运行状态异常已恢复 NoSQLDBNodeRecovered 重要

查看更多 →

节点运行状态异常 NoSQLFaultyDBNode 重要 由于灾难或者物理机故障导致数据库节点故障时，会上报该事件，属于关键告警事件。 检查数据库服务是否可以正常使用，并提交工单。 可能导致数据库服务不可用。 节点运行状态异常已恢复 NoSQLDBNodeRecovered 重要

查看更多 →

业务挑战 广告主的RTA系统，是从核心的画像数据库读取数据并进行投放决策的，数据越新，投放效果越好。因此，大数据平台生成的最新数据，需要及时写入画像数据库。综合来看，广告RTA业务面临高并发、超低时延、超大数据量等实际特性需求。因此，对核心画像数据库有如下诉求： 海量数据快速导入，确保决策精准性

查看更多 →

工作负载异常：实例无法写入数据 Pod事件 Pod所在的节点文件系统损坏，新建的Pod无法成功在/var/lib/kubelet/device-plugins/.xxxxx写入数据，Pod通常会出现以下类似事件： Message： Pod Update Plugin resources

查看更多 →

写入更新数据时报错SchemaCompatabilityException 问题 数据写入时报错： org.apache.hudi.exception.SchemaCompatabilityException: Unable to validate the rewritten record

查看更多 →

应用性能摸底测试，以确认当前应用性能情况。 性能瓶颈定位：通过访谈、信息表等收集客户的业务应用系统基本情况，结合工具从应用软件、数据库、操作系统、硬件等多方面进行整体性能分析，定位当前性能瓶颈。 调优方案设计：通过分析当前性能瓶颈，结合业务应用系统基本情况，并与客户软件开发人员进行沟通，给出可实施的调优方案。

查看更多 →

询处理和数据库应用有广泛而深刻的理解和认识，才能在调优过程中找到关键瓶颈点，解决性能问题。 图1 调优流程 表1 调优流程说明 流程 描述 系统调优 对OS操作系统级参数和数据库的调优，充分地利用主机的CPU、内存、I/O和网络资源，提升整个系统查询的吞吐量，同时数据库参数也调整到最优状态。

查看更多 →

合理的命令重试间隔和次数，确保重要数据写入或修改成功。 4 使用正确的高可用连接地址，避免单点故障场景影响业务。 业务程序内网连接数据库时，应使用负载均衡地址，实现高可用。应避免将业务程序直连到某个单独的计算节点。 说明： 针对公网访问数据库的场景，同样应避免将业务程序直连到某个

查看更多 →

安排人员配合华为方进行性能摸底测试。 性能瓶颈定位 通过访谈、信息表等收集客户的业务应用系统基本情况，结合工具从应用软件、数据库、操作系统、硬件等多方面进行整体性能分析，定位当前性能瓶颈。 华为责任 客户责任 与客户进行访谈，收集客户业务应用系统基本情况。 结合工具对业务应用整体性能进行分析，定位性能瓶颈点。 安

查看更多 →