配置nginx.conf nginx.conf是Nginx的主配置文件，本文介绍通过管理台配置nginx.conf。 前提条件 需要具备AppStage服务运维岗位权限，权限申请操作请参见申请权限。 操作步骤 进入运维中心工作台。 在顶部导航栏选择自有服务。 单击，选择“微服务开发

查看更多 →

配置nginx.conf nginx.conf是Nginx的主配置文件，本文介绍通过管理台配置nginx.conf。 前提条件 需要具备AppStage服务运维岗位权限，权限申请操作请参见申请权限。 配置nginx.conf 进入运维中心工作台。 在顶部导航栏选择自有服务。 单击，选择“微服务开发

查看更多 →

设置/etc/sysctl.conf 操作步骤 执行以下命令，修改内核参数。 vi /etc/sysctl.conf net.ipv4.ip_forward = 1 执行以下命令，参数生效。 sysctl -p 主备LVS节点均需执行。 父主题： 配置指导

查看更多 →

数据读取 单表查询 多表连接查询 WITH表达式

查看更多 →

读取模型 概述 读取spark pipeline model类型的模型文件。 输入 无 输出 spark pipeline model类型的模型对象 参数说明 参数 参数说明 input_model_path 模型文件所在的路径 样例 params = { "input_model_path":

查看更多 →

数据读取 单表查询 多表连接查询 子查询表达式 WITH表达式 UNION操作符的使用

查看更多 →

读取数据 概述 读取格式化的数据，支持csv、json、parquet等。 输入 无 输出 数据集 参数说明 参数 参数说明 input_file_path 数据文件的绝对路径、相对路径、目录路径或者文件路径均可 format 文件格式，支持csv等 has_header 是否包含表头

查看更多 →

如何读取“__consumer_offsets”内部topic的内容 用户问题 Kafka如何将consumer消费的offset保存在内部topic“ __consumer_offsets”中？ 处理步骤 以客户端安装用户，登录安装Kafka客户端的节点。 切换到Kafka客户

查看更多 →

以数据源的方式操作HBase，将上面生成的RDD写入HBase表中。 读取HBase表中的数据，并且对其进行简单的操作。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在 FusionInsight

查看更多 →

以数据源的方式操作HBase，将上面生成的RDD写入HBase表中。 读取HBase表中的数据，并且对其进行简单的操作。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全模式下的认证文件，需要在FusionInsight

查看更多 →

件。 处理方法 读取文件报错，您可以使用Moxing将数据拷贝至容器中，再直接访问容器中的数据。请参见步骤1。 您也可以根据不同的文件类型，进行读取。请参见读取“json”文件、读取“npy”文件、使用cv2库读取文件和在MXNet环境下使用torch包。 读取文件报错，您可以使

查看更多 →

当试图从启用SSL的kafka数据源采集数据时，而安装程序无法读取jars.conf文件及其属性时，可能会发生这种情况。 要解决此问题，需要将所需的属性作为通过Spark提交的命令的一部分传递。如：--files jaas.conf,failed_tables.json --conf 'spark.driver.

查看更多 →

当试图从启用SSL的kafka数据源采集数据时，而安装程序无法读取jars.conf文件及其属性时，可能会发生这种情况。 要解决此问题，需要将所需的属性作为通过Spark提交的命令的一部分传递。如：--files jaas.conf,failed_tables.json --conf 'spark.driver.

查看更多 →

Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata

查看更多 →

-*- """ 【说明】 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现 """ from py4j.java_gateway import java_import from pyspark.sql import SparkSession #

查看更多 →

-*- """ 【说明】 由于pyspark不提供Hbase相关api,本样例使用Python调用Java的方式实现 """ from py4j.java_gateway import java_import from pyspark.sql import SparkSession #

查看更多 →

使用SparkStreaming持续读取特定端口的数据。 将读取到的Dstream通过streamBulkPut接口写入HBase表中。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全

查看更多 →

使用SparkStreaming持续读取特定端口的数据。 将读取到的Dstream通过streamBulkPut接口写入HBase表中。 运行前置操作 安全模式下Spark Core样例代码需要读取两个文件（user.keytab、krb5.conf）。user.keytab和krb5.conf文件为安全

查看更多 →

安全和认证（gaussdb.conf） 介绍设置客户端和 服务器 的安全认证方式的相关参数。 authentication_timeout 参数说明：完成客户端认证的最长时间。如果一个客户端没有在这段时间里完成与服务器端的认证，则服务器自动中断与客户端的连接，这样就避免了出问题的客户端无限制地占用连接数。

查看更多 →

安全和认证（gaussdb.conf） 介绍设置客户端和服务器的安全认证方式的相关参数。 authentication_timeout 参数说明：完成客户端认证的最长时间。如果客户端没有在此时间段内完成与服务器端的认证，则服务器自动中断与客户端的连接，这样就避免了存在问题的客户端无限制地占用连接数。

查看更多 →

Spark从Hive读取数据再写入HBase样例程序（Java） 功能介绍 在Spark应用中，通过使用Spark调用Hive接口来操作hive表，然后把Hive表的数据经过分析后写到HBase表。 代码样例 下面代码片段仅为演示，具体代码参见：com.huawei.bigdata

查看更多 →