SIEM on Amazon OpenSearch Service 对接 Amazon Security LakeOCSF 格式数据直连实战【免费下载链接】siem-on-amazon-opensearch-serviceA solution for collecting, correlating and visualizing multiple types of logs to help investigate security incidents.项目地址: https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-serviceAmazon Security Lake 会自动把 AWS 安全数据转换为 OCSF 开放格式并存储到 S3而SIEM on Amazon OpenSearch Service正是收集、关联、可视化多类安全日志以调查安全事件的一站式开源方案。本文将手把手带你完成 SIEM on Amazon OpenSearch Service 与 Amazon Security Lake 的对接实现 OCSF 格式 Parquet 数据的直连导入、字段标准化与可视化分析全程无需自建数据管道。为什么选择 OCSF 格式直连 Security Lake传统方案需要自行编写 Lambda 或 ETL 解析各类日志而本项目内置了 Security Lake 专属解析器具备三大优势原生 OCSF 支持直接读取 Security Lake 输出的*.gz.parquet文件按 OCSF 分类system / findings / audit / network / config自动路由到对应索引。零代码接入只需在 CloudFormation 填入 3 个参数即可完成订阅、鉴权与数据拉取。即开即用的仪表盘项目自带 OCSF 相关的搜索模板与仪表盘ocsf-audit.ndjson、ocsf-newtwork.ndjson等导入即可看到安全态势。核心组件与数据流转链路整个直连方案的数据流非常简单Security Lake 订阅 → S3 桶OCSF Parquet→ SQS 事件通知 → es-loader Lambda → OpenSearch 索引 → Kibana 仪表盘其中es-loader是核心处理组件它通过 SQS 感知新日志文件自动读取 S3 中的 OCSF 格式 Parquet 数据并将 OCSF 字段标准化为 ECS 字段源 IP、目标 IP、用户、User-Agent 等同时自动完成地理信息GeoIP与威胁情报IOC富化。前置条件先完成两件事1. 部署 SIEM on OpenSearch Service参考项目 README.md 完成 SIEM 部署注意两点建议与 Security Lake 使用不同 AWS 账户安全隔离更佳区域必须与 Security Lake 启用区域一致。部署时忽略所有 Security Lake 相关参数留空即可后续通过更新堆栈补充。2. 启用并配置 Amazon Security Lake在目标区域启用 Security Lake 后创建订阅者Subscriber关键配置如下配置项取值说明数据访问方式S3账户 IDSIEM 部署所在的 AWS 账户 IDExternal ID任意自定义字符串如externalid123日志源选择All log and event sources或勾选需要摄入的自定义日志源创建完成后会生成订阅者资源请记下这三个关键信息下一步要用订阅端点 SQSarn:aws:sqs:ap-northeast-1:888888888888:AmazonSecurityLake-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxx-Main-QueueAWS 角色arn:aws:iam::888888888888:role/AmazonSecurityLake-xxxxxxxx-xxxx-xxxx-xxxx-xxxxxxxxxxxxExternal ID你填写的字符串⚠️关键一步必须把订阅者 SQS 的 Visibility Timeout 从默认 5 分钟改为10 分钟否则大数据量文件可能处理超时。直连配置三步走更新 CloudFormation 参数回到 SIEM 账户更新aes-siem堆栈填入以下三个 Security Lake 参数对应 CDK 定义见 aes_siem_stack.py参数名填写内容SecurityLakeSubscriberSqs上面记录的订阅端点 SQS ARNSecurityLakeRoleArn上面记录的 AWS 角色 ARNSecurityLakeExternalId你配置的 External ID更新完成后es-loader Lambda 会获得跨账户读取 Security Lake S3 桶的权限并开始监听 SQS 消息。 刚配置完成时日志摄入可能短暂失败这是因为 es-loader 尚未生成新实例。等待 Lambda 自动创建新实例或手动重新部署 es-loader 触发新实例即可恢复正常。OCSF 数据如何自动入库索引映射规则Security Lake 的 OCSF 数据进入 es-loader 后会依据category_uid/category_name自动路由索引逻辑见 sf_securitylake.pyOCSF 分类category_uid目标索引System Activity1log-ocsf-systemFindings2log-ocsf-findingsAudit Activity3log-ocsf-auditNetwork Activity4log-ocsf-networkConfig Inventory5log-ocsf-config其他-log-ocsf同时es-loader会把 OCSF 字段映射为 ECS 标准字段例如dst_endpoint.ip→destination.ip、src_endpoint.ip→source.ip、actor.user.name→user.name并自动补全 GeoIP 与 IOC 富化完整映射见 aws.ini。摄入自定义数据源修改 user.ini如果自定义数据源的文件名不符合默认预期es-loader 默认只匹配两种路径文件名[0-9a-f]{32}\.gz\.parquet目录名[Ss]ecurity[Ll]ake/当两者都不匹配时可在 user.ini.sample 基础上追加配置配置会增量继承无需复制 aws.ini 全部内容[securitylake] s3_key [0-9a-f]{32}\.gz\.parquet|[Ss]ecurity[Ll]ake/|file_name_of_parquet若按 S3 路径中的服务名匹配则写成[securitylake] s3_key [0-9a-f]{32}\.gz\.parquet|[Ss]ecurity[Ll]ake/|service_name_in_s3_path验证与可视化导入 OCSF 仪表盘数据入库后可以在 OpenSearch Dashboards 中导入项目自带的 OCSF 可视化资产快速看到安全分析视图OCSF 审计活动仪表盘ocsf-audit.ndjsonOCSF 网络活动仪表盘ocsf-newtwork.ndjsonOCSF 索引搜索模板log-ocsf.ndjson导入后即可像下图一样在仪表盘中直观查看安全事件的趋势与分布配合 Security Hub 等数据源形成完整的安全监控闭环。常见问题速查日志一直不摄入检查 SQS Visibility Timeout 是否已改为 10 分钟并确认 es-loader 已生成新实例。自定义源不识别检查文件名与目录名是否匹配s3_key正则必要时在user.ini中显式配置。区域不一致SIEM 与 Security Lake 必须位于同一区域跨区域不会收到 SQS 通知。总结通过本文的实战步骤你已经掌握了 SIEM on Amazon OpenSearch Service 对接 Amazon Security Lake 的完整流程启用订阅、配置三个 CloudFormation 参数、验证 OCSF 格式数据直连入库再到导入仪表盘完成可视化分析。整个过程无需编写一行 ETL 代码真正实现了安全日志的即开即用大幅降低了安全运营团队的日志接入成本。完整的官方对接文档可查阅 docs/securitylake.md祝你顺利落地【免费下载链接】siem-on-amazon-opensearch-serviceA solution for collecting, correlating and visualizing multiple types of logs to help investigate security incidents.项目地址: https://gitcode.com/gh_mirrors/si/siem-on-amazon-opensearch-service创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考