Flink SQL逻辑开发建议 在aggregate和join等操作前将数据过滤来减少计算的数据量 提前过滤可以减少在shuffle阶段前的数据量，减少网络IO，从而提升查询效率。 比如在表join前先过滤数据比在ON和WHERE时过滤可以有效较少join数据量。因为执行顺序从发

查看更多 →

import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException;

查看更多 →

import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException;

查看更多 →

import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException;

查看更多 →

import java.sql.Connection; import java.sql.DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException;

查看更多 →

DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; /** * * */

查看更多 →

DriverManager; import java.sql.PreparedStatement; import java.sql.ResultSet; import java.sql.SQLException; import java.sql.Statement; /** * * */

查看更多 →

N值可以在文件数量和倾斜度之间做权衡。 在Spark SQL中使用动态分区写入数据，需要同时使用distribute by和sort by才能有效减少小文件数量。 Spark SQL动态分区插入优化之sortby 如下SQL中，p1和p2是target表的分区字段，使用sort by关键字来减少小文件的产生。

查看更多 →

建议 全局使用的配置项，在mapred-site.xml中指定 如下给出接口所对应的mapred-site.xml中的配置项: setMapperClass(Class <extends Mapper> cls) ->“mapreduce.job.map.class” setRe

查看更多 →

RDS for MySQL参数调优建议 数据库参数是数据库系统运行的关键配置信息，设置不合适的参数值可能会影响业务。本文列举了一些重要参数说明，更多参数详细说明，请参见MySQL官网。 通过控制台界面修改MySQL参数值，请参见修改RDS for MySQL实例参数。 修改敏感参数

查看更多 →

单击“数据库对象统计”列表右侧的“查看对象详情”，进入数据库对象列表页面。 选择未采集的对象，单击列表上方的“重新采集”。 单击“确定”，弹窗提示成功，重新采集任务提交完成。 重新采集异步进行，刷新列表等待重新采集完成。 父主题： 数据库评估

查看更多 →

建议 APM profiler性能分析支持建议查询功能。根据用户的性能数据，识别出超过cpu使用率阈值的方法，然后给出合理的建议。 建议 登录管理控制台。 单击左侧，选择“管理与监管 > 应用性能管理 APM”，进入APM服务页面。 在左侧导航栏选择“应用监控 > 指标”。 在界

查看更多 →

建议 同一个组的消费者的数量建议与待消费的Topic下的Partition数保持一致 若同一个组的消费者数量多于Topic的Partition数时，会有多余的消费者一直无法消费该Topic的消息，若消费者数量少于Topic的Partition数时，并发消费得不到完全体现，因此建议两者相等。

查看更多 →

具体的应用需求来设定它的值，这取决于有些数据是否会被反复的查询到，如果存在较多的重复记录，将这个值设置为true可以提升效率，否则，建议关闭。 建议按默认配置，默认就是true，只要不强制设置成false就可以，例如： HColumnDescriptor fieldADesc =

查看更多 →

建议 HQL编写之隐式类型转换 查询语句使用字段的值做过滤时，不建议通过Hive自身的隐式类型转换来编写HQL。因为隐式类型转换不利于代码的阅读和移植。 建议示例： select * from default.tbl_src where id = 10001; select * from

查看更多 →

建议 HDFS的读写文件注意点 HDFS不支持随机读和写。 HDFS追加文件内容只能在文件末尾添加，不能随机添加。 只有存储在HDFS文件系统中的数据才支持append，edit.log以及数据元文件不支持Append。Append追加文件时，需要将《hdfs-site.xml》中的“dfs

查看更多 →

建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时，不支持使用Hive类似的隐式类型转换来编写Impala SQL： Impala示例： select * from default.tbl_src where id = 10001; select *

查看更多 →

> 更多 > 重新评估”。 图1 重新评估-Oracle为源 仅Oracle为源时，可选择是否需要修改动态SQL评估参数。 是：分析对象中包含的动态SQL。 否：不分析。 单击“确定”。 “项目状态”显示“进行中”并显示当前具体项目状态与百分比进度。 可“停止”重新评估，也可“恢复”，继续评估。

查看更多 →

建议 一个Topology所使用的worker数量，建议不要超过12个 虽然一个Topology所使用的worker数量越多，能够处理的数据量越大，但worker间通信的成本就越高，建议不超过12个worker。 一个Topology的层级建议不要超过6层，层级的增加会导致Spout吞吐量下降

查看更多 →

建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时，不支持使用Hive类似的隐式类型转换来编写Impala SQL： Impala示例： select * from default.tbl_src where id = 10001; select *

查看更多 →

建议 Impala SQL编写之不支持隐式类型转换 查询语句使用字段的值做过滤时，不支持使用Hive类似的隐式类型转换来编写Impala SQL： Impala示例： select * from default.tbl_src where id = 10001; select *

查看更多 →