中软国际数据治理专业服务解决方案实践

配置Spark读取HBase表数据 操作场景 Spark on HBase为用户提供了在Spark SQL中查询HBase表，通过Beeline工具为HBase表进行存数据等操作。通过HBase接口可实现创建表、读取表、往表中插入数据等操作。 Spark On HBase 登录Manager界面，选择“集群

查看更多 →

打开VS Code的配置文件settings.json 在VS Code环境中执行Ctrl+Shift+P 搜Open Settings（JSON） 父主题： VS Code使用技巧

查看更多 →

配置Spark读取HBase表数据 Spark On HBase Spark on HBase为用户提供了在Spark SQL中查询HBase表，通过Beeline工具为HBase表进行存数据等操作。通过HBase接口可实现创建表、读取表、往表中插入数据等操作。 登录Manager界面，选择“集群

查看更多 →

Redis实例。 创建项目 在命令行窗口中运行以下命令创建一个新的C#控制台应用程序；或者在Visual Studio中创建一个新的C#控制台应用程序。 dotnet new console -o redisdemo 安装Redis的C#客户端 StackExchange.Redis包。Visual

查看更多 →

C# Demo使用说明 本文以C#语言为例，介绍应用通过MQ TTS 协议接入平台，接收服务端订阅消息的示例。 前提条件 熟悉.NETFramework开发环境配置，熟悉C#语言基本语法。 开发环境 本示例所使用的开发环境为.NETFramework 4.6.2版本，.Net SDK

查看更多 →

Flink业务程序无法读取NFS盘上的文件 用户问题 Flink业务程序无法读取集群节点挂载的NFS盘上的文件。 问题现象 用户开发的Flink业务程序中需要读取用户定义的配置文件，该配置文件放在NFS盘上，NFS盘是挂载在集群节点上的，集群的所有节点均可以访问该盘。用户提交Fl

查看更多 →

get_json_object get_json_object函数用于根据所给路径对json对象进行解析，当json对象非法时将返回NULL。 命令格式 get_json_object(string <json>, string <path>) 参数说明 表1 参数说明 参数 是否必选

查看更多 →

apiService = new ApiService(); // json转换成string传入 let setResult = await apiService.config(JSON.stringify(param)); if(setResult.ret

查看更多 →

骤1中下载的样例。 完成代码导入。 代码目录简述： App.config：Server地址和设备信息配置文件; C#：项目C#代码； EncryptUtil.cs：设备密钥加密辅助类； FrmMqttDemo.cs：窗体界面； Program.cs：Demo程序启动入口。 dll：项目中使用到了第三方库

查看更多 →

集成ModuleSDK(C#) 内部架构 开发指导 下载Demo 集成ModuleSDK进行数据采集 父主题： 插件侧开发

查看更多 →

C# SDK接入示例 本文介绍使AMQPNetLite客户端接入华为云物联网平台，接收服务端订阅消息的示例。 开发环境要求 本示例使用的开发环境为.NETFramework V4.6及以上版本。 获取SDK 1、在工程目录上单击鼠标右键打开"管理NuGet程序包" 2、在"NuG

查看更多 →

通过Sqoop读取MySQL数据并写parquet文件到OBS时失败 用户问题 通过Sqoop读取MySQL数据，然后直接写到OBS，指定parquet格式时写入报错，不指定parquet时不报错。 问题现象 原因分析 parquet格式不支持hive3，用Hcatalog方式写入。

查看更多 →

runtimeconfig.json文件的名称为程序集的名称。 文件内容中的version：项目属性中的目标框架的版本号，2.0则为2.0.0 ，2.1则为2.1.0。 当目标框架为.NET Core2.0时，要注意生成*.deps.json文件中是否已引入Newtonsoft.Json。如果没有引入，则需要自己手动引入，如下所示：

查看更多 →

读取redis数据报超时错误 问题描述 读取redis数据报超时错误：redis server response timeout（3000ms） occurred after 3 retry attempts。 问题排查 根据报错后的提示，将客户端超时时间改大一些。 确认问题发生

查看更多 →

使用Scan API读取HBase表数据 功能简介 要从表中读取数据，首先需要实例化该表对应的Table实例，然后创建一个Scan对象，并针对查询条件设置Scan对象的参数值，为了提高查询效率，最好指定StartRow和StopRow。查询结果的多行数据保存在ResultScan

查看更多 →

get_json_object get_json_object函数用于根据所给路径对json对象进行解析，当json对象非法时将返回NULL。 命令格式 get_json_object(string <json>, string <path>) 参数说明 表1 参数说明 参数 是否必选

查看更多 →

packageinfo.json 文件介绍 packageinfo.json是组件的元数据描述文件，用于配置组件的基本信息。 文件示例 { "widgetApi": [{ "name": "EchartsWidgetTemplate" }], "widgetDescription":

查看更多 →

gui.json规范 gui.json文件是组件的配置文件。本文介绍gui.json文件的字段详情，您可以参考本文的字段说明，根据自身需求，灵活修改gui.json文件，自定义组件的配置面板。 gui.json规范示例： 1 2 3 4 5 6 7 { "name": "newCom"

查看更多 →

default message." } JSON格式约束 满足JSON格式要求。 JSON格式中必须有Default协议。 整个JSON消息的大小不超过256KB。 JSON消息计算 选择不同的协议，生成的JSON格式消息的大小不同。JSON格式消息的字节数包含消息框中显示的花括号

查看更多 →

储，并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。

查看更多 →

储，并且文件中的数据尽可能的压缩来降低存储空间的消耗。矢量化读取ORC格式的数据能够大幅提升ORC数据读取性能。在Spark2.3版本中，SparkSQL支持矢量化读取ORC数据（这个特性在Hive的历史版本中已经得到支持）。矢量化读取ORC格式的数据能够获得比传统读取方式数倍的性能提升。

查看更多 →