# 创建数据加工 - CreateDataTransformation #### 功能介绍 创建数据加工 #### 调用方法 请参见[如何调用API](https://support.huaweicloud.com/api-secmaster/secmaster_03_0008.html)。 #### 授权信息 账号具备所有API的调用权限，如果使用账号下的IAM用户调用当前API，该IAM用户需具备调用API所需的权限，具体权限要求请参见[权限和授权项](https://support.huaweicloud.com/api-secmaster/secmaster_03_0023.html)。 #### URI POST /v2/{project_id}/workspaces/{workspace_id}/siem/data-transformations 表1路径参数 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | project_id | 是 | String | **参数解释**： 项目ID，用于明确项目归属，配置后可通过该ID查询项目下资产，可以通过调用API获取，也可以从控制台获取。[获取项目ID](https://support.huaweicloud.com/api-secmaster/secmaster_03_0014.html) **约束限制**： 不涉及 **取值范围**： 不涉及 **默认取值**： 不涉及 | | workspace_id | 是 | String | **参数解释**： 工作空间ID **约束限制**： 不涉及 **取值范围**： 不涉及 **默认取值**： 不涉及 | #### 请求参数 表2请求Header参数 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | X-Auth-Token | 是 | String | **参数解释**： 用户Token，通过调用IAM服务获取用户Token接口获取（响应消息头中X-Subject-Token的值）。[获取用户Token](https://support.huaweicloud.com/api-secmaster/secmaster_03_0010.html) **约束限制**： 不涉及 **取值范围**： 不涉及 **默认取值**： 不涉及 | 表3请求Body参数 | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | data_transformation_name | 是 | String | 数据转换名称 | | description | 是 | String | 数据转换描述 | | directory | 否 | String | directory 目录分组 | | script | 是 | String | Job Script 作业脚本 | | status | 是 | String | **参数解释**： 作业状态 - ENABLED 启用 - DISABLED 禁用 **约束限制**： 不涉及 **取值范围**： - ENABLED - DISABLED **默认取值**： 不涉及 | | job_mode | 是 | String | **参数解释**： 作业模式 - STREAMING 流式处理 - BATCH 批处理 - SEARCH 检索 **约束限制**： 不涉及 **取值范围**： - STREAMING - BATCH - SEARCH **默认取值**： 不涉及 | | job_mode_setting | 否 | [IsapJobModeSettingDto] object | 作业模式设置数据传输对象 | | environment | 是 | String | **参数解释**： 环境类型 - PROD 生产环境 - TEST 测试环境 **约束限制**： 不涉及 **取值范围**： - PROD - TEST **默认取值**： 不涉及 | | output_table_id | 否 | String | UUID | | belong | 否 | String | 归属 | | cu_quota_amount | 是 | Float | 数量 | | input_table_id | 否 | Array of strings | 输入表ID | | input_table_names | 否 | Array of strings | 输入表名称列表 | | output_table_ids | 是 | Array of strings | 输出表ID列表 | | output_table_names | 是 | Array of strings | 输出表名称列表 | 表4IsapJobModeSettingDto | 参数 | 是否必选 | 参数类型 | 描述 | |:---|:---|:---|:---| | batch_overtime_interval | 否 | Integer | 整型间隔时长 | | batch_overtime_unit | 否 | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | batch_frequency_interval | 否 | Integer | 整型间隔时长 | | batch_frequency_unit | 否 | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | streaming_state_ttl_interval | 否 | Integer | 整型间隔时长 | | streaming_state_ttl_unit | 否 | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | streaming_checkpoint_ttl_interval | 否 | Integer | 整型间隔时长 | | streaming_checkpoint_ttl_unit | 否 | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | streaming_startup_mode | 否 | String | **参数解释**： 作业启动模式 - UPGRADE 升级启动 - REFRESH_NEW 全新启动 **约束限制**： 不涉及 **取值范围**： - UPGRADE - REFRESH_NEW **默认取值**： 不涉及 | | batch_overtime_strategy_interval | 否 | Integer | 整型间隔时长 | | batch_overtime_strategy_unit | 否 | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | search_delay_interval | 否 | Integer | 整型间隔时长 | | search_delay_unit | 否 | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | search_frequency_interval | 否 | Integer | 整型间隔时长 | | search_frequency_unit | 否 | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | search_overtime_interval | 否 | Integer | 整型间隔时长 | | search_overtime_unit | 否 | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | search_period_interval | 否 | Integer | 整型间隔时长 | | search_period_unit | 否 | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | search_table_id | 否 | String | UUID | | search_table_name | 否 | String | 表名称 | | field_not_null_policy | 否 | String | **参数解释：** 作业表非空字段处理策略 LOOSE 宽松 STRICT 严格 **约束限制：** 不涉及 **取值范围：** LOOSE STRICT **默认取值：** LOOSE | | dss_id | 否 | Integer | 长整型间隔时长 | #### 响应参数 **状态码：200** 表5响应Body参数 | 参数 | 参数类型 | 描述 | |:---|:---|:---| | data_transformation_id | String | UUID | | data_transformation_name | String | 数据转换名称 | | script | String | Job Script 作业脚本 | | status | String | **参数解释**： 作业状态 - ENABLED 启用 - DISABLED 禁用 **约束限制**： 不涉及 **取值范围**： - ENABLED - DISABLED **默认取值**： 不涉及 | | directory | String | directory 目录分组 | | description | String | 数据转换描述 | | job_mode | String | **参数解释**： 作业模式 - STREAMING 流式处理 - BATCH 批处理 - SEARCH 检索 **约束限制**： 不涉及 **取值范围**： - STREAMING - BATCH - SEARCH **默认取值**： 不涉及 | | job_mode_setting | [IsapJobModeSettingVo] object | 作业模式设置 | | process_status | String | **参数解释**： 作业处理状态 - COMPLETED 已完成 - CREATING 创建中 - UPDATING 更新中 - ENABLING 启用中 - DISABLING 停用中 - DELETING 删除中 - CREATE_FAILED 创建失败 - UPDATE_FAILED 更新失败 - ENABLE_FAILED 启用失败 - DISABLE_FAILED 停用失败 - DELETE_FAILED 删除失败 - RECOVERING 恢复中 **约束限制**： 不涉及 **取值范围**： - COMPLETED - CREATING - UPDATING - ENABLING - DISABLING - DELETING - CREATE_FAILED - UPDATE_FAILED - ENABLE_FAILED - DISABLE_FAILED - DELETE_FAILED - RECOVERING **默认取值**： 不涉及 | | process_error | String | **参数解释**： 数据加工处理错误 - NONE 无 **约束限制**： 不涉及 **取值范围**： - NONE **默认取值**： 不涉及 | | environment | String | **参数解释**： 环境类型 - PROD 生产环境 - TEST 测试环境 **约束限制**： 不涉及 **取值范围**： - PROD - TEST **默认取值**： 不涉及 | | output_table_id | String | UUID | | output_table_name | String | 表名称 | | output_table_ids | Array of strings | 输出表ID列表 | | output_table_names | Array of strings | 输出表名称列表 | | create_by | String | 创建者 | | create_time | Integer | 毫秒时间戳 | | update_by | String | 更新者 | | update_time | Integer | 毫秒时间戳 | | delete_time | Integer | 毫秒时间戳 | 表6IsapJobModeSettingVo | 参数 | 参数类型 | 描述 | |:---|:---|:---| | batch_overtime_interval | Integer | 整型间隔时长 | | batch_overtime_unit | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | batch_frequency_interval | Integer | 整型间隔时长 | | batch_frequency_unit | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | streaming_state_ttl_interval | Integer | 整型间隔时长 | | streaming_state_ttl_unit | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | streaming_checkpoint_ttl_interval | Integer | 整型间隔时长 | | streaming_checkpoint_ttl_unit | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | streaming_startup_mode | String | **参数解释**： 作业启动模式 - UPGRADE 升级启动 - REFRESH_NEW 全新启动 **约束限制**： 不涉及 **取值范围**： - UPGRADE - REFRESH_NEW **默认取值**： 不涉及 | | batch_overtime_strategy_interval | Integer | 整型间隔时长 | | batch_overtime_strategy_unit | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | search_delay_interval | Integer | 整型间隔时长 | | search_delay_unit | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | search_frequency_interval | Integer | 整型间隔时长 | | search_frequency_unit | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | search_overtime_interval | Integer | 整型间隔时长 | | search_overtime_unit | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | search_period_interval | Integer | 整型间隔时长 | | search_period_unit | String | **参数解释**： 时间单位 - MINUTE 分钟 - HOUR 小时 - DAY 天 - MONTH 月 **约束限制**： 不涉及 **取值范围**： - MINUTE - HOUR - DAY - MONTH **默认取值**： 不涉及 | | search_table_id | String | UUID | | search_table_name | String | 表名称 | | field_not_null_policy | String | **参数解释：** 作业表非空字段处理策略 LOOSE 宽松 STRICT 严格 **约束限制：** 不涉及 **取值范围：** LOOSE STRICT **默认取值：** LOOSE | #### 请求示例 创建数据加工 ``` https://{endpoint}/v2/{project_id}/workspaces/{workspace_id}/siem/data-transformations { "data_transformation_name" : "test_data", "script" : "select * from security_alert limit 1", "status" : "ENABLED", "directory" : "", "description" : "test", "belong" : "SYSTEM", "environment" : "PROD", "cu_quota_amount" : 0.25, "output_table_ids" : [ "fb5fa744-bf09-40a4-be82-8cebd8a2df1d" ], "output_table_names" : [ "i_sec_hss_vul" ], "job_mode" : "BATCH", "job_mode_setting" : { "batch_frequency_interval" : 10, "batch_frequency_unit" : "MINUTE", "batch_overtime_interval" : 10, "batch_overtime_unit" : "MINUTE" } } ``` #### 响应示例 **状态码：200** 成功 ``` { "create_by" : "test_user", "create_time" : 1768535283921, "data_transformation_id" : "0b1a2c82-499a-4f4d-bb3e-d48b30c9f432", "data_transformation_name" : "test_data", "delete_time" : 0, "description" : "test", "directory" : "", "environment" : "PROD", "job_mode" : "BATCH", "job_mode_setting" : { "batch_frequency_interval" : 10, "batch_frequency_unit" : "MINUTE", "batch_overtime_interval" : 10, "batch_overtime_unit" : "MINUTE", "streaming_checkpoint_ttl_interval" : 5 }, "output_table_ids" : [ "fb5fa744-bf09-40a4-be82-8cebd8a2df1d" ], "output_table_names" : [ "i_sec_hss_vul" ], "process_status" : "CREATING", "script" : "select * from security_alert limit 1", "status" : "ENABLED", "update_by" : "test_user", "update_time" : 1768535283921 } ``` #### SDK代码示例 SDK代码示例如下。 - [Java] 创建数据加工 ``` package com.huaweicloud.sdk.test; import com.huaweicloud.sdk.core.auth.ICredential; import com.huaweicloud.sdk.core.auth.BasicCredentials; import com.huaweicloud.sdk.core.exception.ConnectionException; import com.huaweicloud.sdk.core.exception.RequestTimeoutException; import com.huaweicloud.sdk.core.exception.ServiceResponseException; import com.huaweicloud.sdk.secmaster.v2.region.SecMasterRegion; import com.huaweicloud.sdk.secmaster.v2.*; import com.huaweicloud.sdk.secmaster.v2.model.*; import java.util.List; import java.util.ArrayList; public class CreateDataTransformationSolution { public static void main(String[] args) { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted during use to ensure security. // In this example, AK and SK are stored in environment variables for authentication. Before running this example, set environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment String ak = System.getenv("CLOUD_SDK_AK"); String sk = System.getenv("CLOUD_SDK_SK"); String projectId = "{project_id}"; ICredential auth = new BasicCredentials() .withProjectId(projectId) .withAk(ak) .withSk(sk); SecMasterClient client = SecMasterClient.newBuilder() .withCredential(auth) .withRegion(SecMasterRegion.valueOf("")) .build(); CreateDataTransformationRequest request = new CreateDataTransformationRequest(); request.withWorkspaceId("{workspace_id}"); CreateDataTransformationRequestBody body = new CreateDataTransformationRequestBody(); List listbodyOutputTableNames = new ArrayList<>(); listbodyOutputTableNames.add("i_sec_hss_vul"); List listbodyOutputTableIds = new ArrayList<>(); listbodyOutputTableIds.add("fb5fa744-bf09-40a4-be82-8cebd8a2df1d"); IsapJobModeSettingDto jobModeSettingbody = new IsapJobModeSettingDto(); jobModeSettingbody.withBatchOvertimeInterval(10) .withBatchFrequencyUnit(IsapJobModeSettingDto.BatchFrequencyUnitEnum.fromValue("MINUTE")) .withBatchFrequencyInterval(10) .withBatchOvertimeUnit(IsapJobModeSettingDto.BatchOvertimeUnitEnum.fromValue("MINUTE")); body.withOutputTableNames(listbodyOutputTableNames); body.withOutputTableIds(listbodyOutputTableIds); body.withCuQuotaAmount(0.25f); body.withBelong("SYSTEM"); body.withEnvironment(CreateDataTransformationRequestBody.EnvironmentEnum.fromValue("PROD")); body.withJobModeSetting(jobModeSettingbody); body.withJobMode(CreateDataTransformationRequestBody.JobModeEnum.fromValue("BATCH")); body.withStatus(CreateDataTransformationRequestBody.StatusEnum.fromValue("ENABLED")); body.withScript("select * from security_alert limit 1"); body.withDirectory(""); body.withDescription("test"); body.withDataTransformationName("test_data"); request.withBody(body); try { CreateDataTransformationResponse response = client.createDataTransformation(request); System.out.println(response.toString()); } catch (ConnectionException e) { e.printStackTrace(); } catch (RequestTimeoutException e) { e.printStackTrace(); } catch (ServiceResponseException e) { e.printStackTrace(); System.out.println(e.getHttpStatusCode()); System.out.println(e.getRequestId()); System.out.println(e.getErrorCode()); System.out.println(e.getErrorMsg()); } } } ``` - [Python] 创建数据加工 ``` # coding: utf-8 import os from huaweicloudsdkcore.auth.credentials import BasicCredentials from huaweicloudsdksecmaster.v2.region.secmaster_region import SecMasterRegion from huaweicloudsdkcore.exceptions import exceptions from huaweicloudsdksecmaster.v2 import * if __name__ == "__main__": # The AK and SK used for authentication are hard-coded or stored in plaintext, which has great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted during use to ensure security. # In this example, AK and SK are stored in environment variables for authentication. Before running this example, set environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak = os.environ["CLOUD_SDK_AK"] sk = os.environ["CLOUD_SDK_SK"] projectId = "{project_id}" credentials = BasicCredentials(ak, sk, projectId) client = SecMasterClient.new_builder() \ .with_credentials(credentials) \ .with_region(SecMasterRegion.value_of("")) \ .build() try: request = CreateDataTransformationRequest() request.workspace_id = "{workspace_id}" listOutputTableNamesbody = [ "i_sec_hss_vul" ] listOutputTableIdsbody = [ "fb5fa744-bf09-40a4-be82-8cebd8a2df1d" ] jobModeSettingbody = IsapJobModeSettingDto( batch_overtime_interval=10, batch_frequency_unit="MINUTE", batch_frequency_interval=10, batch_overtime_unit="MINUTE" ) request.body = CreateDataTransformationRequestBody( output_table_names=listOutputTableNamesbody, output_table_ids=listOutputTableIdsbody, cu_quota_amount=0.25, belong="SYSTEM", environment="PROD", job_mode_setting=jobModeSettingbody, job_mode="BATCH", status="ENABLED", script="select * from security_alert limit 1", directory="", description="test", data_transformation_name="test_data" ) response = client.create_data_transformation(request) print(response) except exceptions.ClientRequestException as e: print(e.status_code) print(e.request_id) print(e.error_code) print(e.error_msg) ``` - [Go] 创建数据加工 ``` package main import ( "fmt" "github.com/huaweicloud/huaweicloud-sdk-go-v3/core/auth/basic" secmaster "github.com/huaweicloud/huaweicloud-sdk-go-v3/services/secmaster/v2" "github.com/huaweicloud/huaweicloud-sdk-go-v3/services/secmaster/v2/model" region "github.com/huaweicloud/huaweicloud-sdk-go-v3/services/secmaster/v2/region" ) func main() { // The AK and SK used for authentication are hard-coded or stored in plaintext, which has great security risks. It is recommended that the AK and SK be stored in ciphertext in configuration files or environment variables and decrypted during use to ensure security. // In this example, AK and SK are stored in environment variables for authentication. Before running this example, set environment variables CLOUD_SDK_AK and CLOUD_SDK_SK in the local environment ak := os.Getenv("CLOUD_SDK_AK") sk := os.Getenv("CLOUD_SDK_SK") projectId := "{project_id}" auth, err := basic.NewCredentialsBuilder(). WithAk(ak). WithSk(sk). WithProjectId(projectId). SafeBuild() if err != nil { fmt.Println(err) return } hcClient, err := secmaster.SecMasterClientBuilder(). WithRegion(region.ValueOf("")). WithCredential(auth). SafeBuild() if err != nil { fmt.Println(err) return } client := secmaster.NewSecMasterClient(hcClient) request := &model.CreateDataTransformationRequest{} request.WorkspaceId = "{workspace_id}" var listOutputTableNamesbody = []string{ "i_sec_hss_vul", } var listOutputTableIdsbody = []string{ "fb5fa744-bf09-40a4-be82-8cebd8a2df1d", } batchOvertimeIntervalJobModeSetting:= int32(10) batchFrequencyUnitJobModeSetting:= model.GetIsapJobModeSettingDtoBatchFrequencyUnitEnum().MINUTE batchFrequencyIntervalJobModeSetting:= int32(10) batchOvertimeUnitJobModeSetting:= model.GetIsapJobModeSettingDtoBatchOvertimeUnitEnum().MINUTE jobModeSettingbody := &model.IsapJobModeSettingDto{ BatchOvertimeInterval: &batchOvertimeIntervalJobModeSetting, BatchFrequencyUnit: &batchFrequencyUnitJobModeSetting, BatchFrequencyInterval: &batchFrequencyIntervalJobModeSetting, BatchOvertimeUnit: &batchOvertimeUnitJobModeSetting, } belongCreateDataTransformationRequestBody:= "SYSTEM" environmentEnvironment:= model.GetJobEnvironmentEnvironmentEnum().PROD jobModeJobMode:= model.GetIsapJobModeJobModeEnum().BATCH statusStatus:= model.GetJobStatusStatusEnum().ENABLED directoryCreateDataTransformationRequestBody:= "" request.Body = &model.CreateDataTransformationRequestBody{ OutputTableNames: listOutputTableNamesbody, OutputTableIds: listOutputTableIdsbody, CuQuotaAmount: float32(0.25), Belong: &belongCreateDataTransformationRequestBody, Environment: &environmentEnvironment, JobModeSetting: jobModeSettingbody, JobMode: &jobModeJobMode, Status: &statusStatus, Script: "select * from security_alert limit 1", Directory: &directoryCreateDataTransformationRequestBody, Description: "test", DataTransformationName: "test_data", } response, err := client.CreateDataTransformation(request) if err == nil { fmt.Printf("%+v\n", response) } else { fmt.Println(err) } } ``` - [更多] 更多编程语言的SDK代码示例，请参见[API Explorer](https://console.huaweicloud.com/apiexplorer/#/openapi/SecMaster/sdk?api=CreateDataTransformation&version=v2)的代码示例页签，可生成自动对应的SDK代码示例。 #### 状态码 | 状态码 | 描述 | |:---|:---| | 200 | 成功 | #### 错误码 请参见[错误码](https://support.huaweicloud.com/api-secmaster/ErrorCode.html)。