将日志服务数据投递到OSS
日志服务采集到日志后,支持将日志投递至OSS进行存储与分析。本文档介绍将日志投递至OSS的操作步骤。
背景信息
- OSS支持自由设置生命周期,可以长期存储日志。
- 您可以通过数据处理平台(例如E-MapReduce和DLA)或自建程序消费OSS数据。
投递数据
查看OSS数据
将日志投递到OSS成功后,您可以通过OSS控制台、API、SDK或其它方式访问OSS数据。
OSS Object地址格式如下所示:
oss://OSS-BUCKET/OSS-PREFIX/PARTITION-FORMAT_RANDOM-ID
分区格式
OSS Bucket | OSS Prefix | 分区格式 | OSS文件路径 |
---|---|---|---|
test-bucket | test-table | %Y/%m/%d/%H/%M | oss://test-bucket/test-table/2017/01/20/19/50_1484913043351525351_2850008 |
test-bucket | log_ship_oss_example | year=%Y/mon=%m/day=%d/log_%H%M%s | oss://test-bucket/log_ship_oss_example/year=2017/mon=01/day=20/log_195043_1484913043351525351_2850008.parquet |
test-bucket | log_ship_oss_example | ds=%Y%m%d/%H | oss://test-bucket/log_ship_oss_example/ds=20170120/19_1484913043351525351_2850008.snappy |
test-bucket | log_ship_oss_example | %Y%m%d/ | oss://test-bucket/log_ship_oss_example/20170120/_1484913043351525351_2850008 |
test-bucket | log_ship_oss_example | %Y%m%d%H | oss://test-bucket/log_ship_oss_example/2017012019_1484913043351525351_2850008 |
使用Hive、MaxCompute等大数据平台或阿里云DLA产品分析OSS数据时,如果您希望使用Partition信息,可将PARTITION-FORMAT设置为key=value格式。例如:oss://test-bucket/log_ship_oss_example/year=2017/mon=01/day=20/log_195043_1484913043351525351_2850008.parquet,设置为三层分区列,分别为:year、mon、day。
相关操作
-
修改投递规则
单击投递配置,修改投递规则,参数详情请参见本文中的投递数据。
-
关闭投递
单击关闭投递,即可关闭投递。
-
查看投递任务状态及错误信息
日志服务支持查看过去两天内的所有日志投递任务及其投递状态。
-
任务状态
状态 说明 成功 投递任务正常运行。 进行中 投递任务进行中,请稍后查看是否投递成功。 失败 因外部原因而无法重试的错误导致投递任务失败,请根据错误信息进行排查并重试。 -
错误信息
如果投递任务出现错误,控制台上会显示相应的错误信息。
错误信息 错误原因 处理方法 UnAuthorized 没有权限。 请确认以下配置: - OSS Bucket拥有者是否已创建AliyunLogDefaultRole角色。
- 角色描述中配置的阿里云账号ID是否正确。
- AliyunLogDefaultRole角色是否被授予OSS Bucket写权限。
- RAM角色标识是否配置正确。
ConfigNotExist 配置不存在。 一般是由于关闭投递导致的。请在重新开启投递并配置投递规则后,通过重试解决。 InvalidOssBucket OSS Bucket不存在。 请确认以下配置: - OSS Bucket所在地域与日志服务Project所在地域是否相同。
- Bucket名称是否配置正确。
InternalServerError 日志服务内部错误。 通过重试解决。 -
重试任务
日志服务会按照策略默认为您重试,您也可以手动重试。日志服务默认重试最近两天之内的所有任务,重试等待的最小间隔是15分钟。当任务执行失败时,第一次失败需要等待15分钟再进行重试,第二次失败需要等待30分钟再进行重试,第三次失败需要等待60分钟再进行重试,以此类推。
如果您需要立即重试失败任务,请单击重试全部失败任务、目标任务右侧的重试或通过API、SDK指定任务进行重试。
-
任务状态
常见问题
如何获取RAM角色标识?
如果您有其他问题,可以联系北京志远天辰阿里云代理商,为您提供一对一专业全面的技术服务,同时新/老阿里云会员,均可享受我公司代理商价格,欢迎咨询!
我有话说: