对象存储服务OBS接入LTS（邀测）
支持将对象存储服务桶内的文件一次性或定期导入到云日志服务，OBS服务接入LTS成功后，即可对日志进行搜索分析、日志加工等操作。加密桶的文件不支持导入LTS，若需要导入加密桶的文件，请先删除桶的加密配置。详细请参考删除桶的加密配置。
使用OBS日志文件导入LTS功能非实时性管道，不适用实时性要求较高的业务场景。
目前此功能在邀测中，暂不支持申请开通。
设置单个对象存储OBS接入LTS
- 登录云日志服务控制台。
- 在左侧导航栏中，选择“日志接入 > 接入中心”，单击“云服务接入-对象存储OBS”进行OBS接入配置。
或在左侧导航栏中，选择“日志接入 > 接入管理”，单击“创建”，在弹出的页面中，选择“云服务接入-对象存储OBS”进行OBS接入配置。
- 单击“所属日志组”后的目标框，在下拉列表中选择具体的日志组。若没有所需的日志组，单击“所属日志组”目标框后的“新建”，在弹出的创建日志组页面创建新的日志组。详细请参考管理日志组。
- 单击“所属日志流”后的目标框，在下拉列表中选择具体的日志流。若没有所需的日志流，单击“所属日志流”目标框后的“新建”，在弹出的创建日志流页面创建新的日志流。详细请参考管理日志流。
- 单击“下一步：采集配置”。
- 在采集配置页面，参考表1设置参数。
表1 采集配置 参数类型
名称
说明
基本配置
采集配置名称
自定义采集配置名称，长度范围为1到64个字符，只支持输入英文、数字、中文、中划线、下划线及小数点，且不能以小数点、下划线开头或以小数点结尾。
任务监控
默认开启。
开启后会将每次任务执行状态写入日志流lts-system/lts-obs2lts-statistics，您可以查看OBS文件导入LTS任务监控中心或者配置告警规则，及时发现数据导入过程中可能出现的异常问题。
OBS数据源配置
OBS桶
选择需要导入日志文件到LTS的OBS桶。
文件夹前缀
输入待导入的OBS文件前缀，用于准确定位待导入的文件，支持输入文件前缀your_prefix/或完整路径your_prefix/file.gz。
只支持导入5GB（单个文件）以内的原始文件，且只能串行导入。
您可以参考如下方法获取日志的文件夹前缀：
文件正则过滤
用于过滤文件的正则表达式，只有文件名匹配该正则表达式的文件才会被导入。若不填写正则表达式，表示不过滤文件。
假设目录下有aab和aba文件：
- 只匹配aab文件，正则写法：aab或aa或^aab或者aa.
- 只匹配aba文件，正则写法：aba或^aba或者^ab，不能写ab因为这样aab也是能匹配上的
- 匹配aab和aba，正则写法：ab或者a.*
- 如果存在正则关键字的字符需要转义，例如{}则需要转义为\{\}
压缩格式
支持自动检测、不压缩、压缩gzip、压缩zip、压缩snappy。如果是zip压缩文件，只能包含一个文件，不能有任何文件夹。
导入间隔
- 一次性：只导入一次，云日志服务不会检测新出现的文件。只支持导入标准存储的OBS文件，不支持导入归档存储的OBS文件，如需导入，请提前将归档存储的OBS文件解冻恢复为标准存储的OBS文件。
- 固定间隔：设置固定时间导入文件，云日志服务会检测新出现的文件，并导入云日志服务。
开启“解冻归档文件”：只支持解冻对象存储类别为归档存储的OBS文件。归档存储文件需要激活此选项，归档存储文件激活需要一定时间，归档存储文件加急恢复典型值在1~5分钟。详情请参考对象恢复方式及耗时。首次单击右下角的“预览”可能超时，请再次重试单击“预览”。
- 周期任务首次开始扫描obs上文件，文件的最后修改时间区间范围是(周期首次运行时间-固定间隔时间，周期首次运行时间]。例如周期任务首次开始12:00:00，obs导入任务配置的固定时间间隔为10分钟，那么首次扫描出来的obs文件其最后修改时间在(11:50:00, 12:00:00]区间内，第二次周期12:10:00运行，则扫描出来的文件其最后修改时间在(12:00:00, 12:10:00]区间内。
- 一次性任务如果处理某个文件失败后，扫描出来的其余文件不会再被解析上报到LTS。
- 固定间隔任务关闭后重新开启，监控数据连续性最多保持一天。
- 固定间隔任务在某个周期时间内处理文件失败后，该周期时间内扫描出来的其余文件不会再被解析上报到LTS。
文件修改时间过滤
导入间隔选择一次性时，支持按修改时间过滤文件。
- 选择“所有”，不按修改时间过滤。
- 选择“某时间开始”，设置开始时间，按设置的开始时间过滤文件。
- 选择“特定时间范围”，设置开始时间和结束时间，按设置的特定时间范围过滤文件。
数据格式配置
日志文件编码
日志文件编码支持UTF-8、GBK。
UTF-8编码是一种变长编码方式，用于表示Unicode字符集。GBK全称《汉字内码扩展规范》，中文计算机编码的一种，是ASCII码和GB2312编码的扩展。
提取模式
LTS解析OBS文件内日志时，需针对不同日志类型配置提取策略，请根据业务需求选择对应的提取模式。
当OBS日志超过1MB限制时，LTS会按日志类型采取差异化处理：
- 单行日志单行超过1MB的部分被截断丢弃。
- 多行日志多行块超过1MB的部分被截断丢弃。
- ORC格式日志是单行解析，如果单行日志超过1MB直接被丢弃。
- JSON格式日志是单行解析，如果单行日志超过1MB直接被丢弃。
提取模式说明：
- 单行全文：采集完整的单行日志全文，不做结构化解析。如果您需要对日志做结构化解析，请在完成OBS文件导入配置后，请参考设置云端结构化解析日志设置。
- 多行全文：采集完整的多行日志全文（如堆栈日志），不做结构化解析。如果您需要对日志做结构化解析，请在完成OBS文件导入配置后，请参考设置云端结构化解析日志设置。
- ORC：采集ORC格式的日志。
开启“自定义时间”时，可指定某一字段作为日志时间。填写时间字段Key名称、字段Value、时间格式，设置完成后，单击
校验。如果导入的数据写入到css集群，LTS不支持ORC格式日志自定义两天前的时间。自定义时间格式请参考自定义日志时间。 - JSON：采集JSON格式的日志。
开启“自定义时间”时，可指定某一字段作为日志时间。填写时间字段Key名称、字段Value、时间格式，设置完成后，单击
校验。如果导入的数据写入到css集群，LTS不支持JSON格式日志自定义两天前的时间。自定义时间格式请参考自定义日志时间。设置json解析层数，取值范围为1~4，只能整数，默认值为1。将json格式日志的字段展开，例如原始日志为{"key1":{"key2":"value"}}，解析1层日志为：{"key1":{"key2":"value"}}，解析2层日志为：{"key1.key2":"value"}。
- 设置完成后，单击右下角的“预览”。预览只扫描并返回符合条件的第一个文件的前10行内容。
LTS仅支持预览≤10MB的文件。若提示文件过大，您可以临时修改文件正则过滤规则，指定一个<10MB的文件进行预览。预览完成后，再将文件正则过滤规则恢复为原配置。
- 在结果预览下方查看结果，确认无误后，单击“提交”。
- 接入成功后，则会生成一条接入配置信息。邀测期间，最多支持10个运行中的接入任务。
- 导入间隔选择一次性导入的OBS导入LTS任务完成后，建议等待5分钟后，再重新创建新任务或者打开“接入配置开关”开关。
- 单击接入配置名称可进入详情页面，查看该接入配置详细信息。
- 单击接入配置操作列的“修改”重新修改接入配置信息。不支持修改导入间隔为一次性的任务。
- 单击接入配置操作列的“标签管理”即可添加标签。
- 单击接入配置操作列的“复制”复制一条新的接入配置信息。
- 单击接入配置操作列的“删除”即可删除接入配置信息。
删除接入配置后会导致日志无法正常采集，可能会影响用户日志相关业务异常，且删除后无法恢复，请谨慎操作。
- 若不需要采集日志，关闭“接入配置开关”列的开关。若需要重新采集日志，需要重新开启“接入配置开关”列的开关。
关闭接入配置后会导致日志无法正常采集，可能会影响用户日志相关业务异常，请谨慎操作。
