OpenSearch

一、OpenSearch是什么

OpenSearch是一套社区驱动的开源搜索与可观测性套件，由分布式搜索引擎OpenSearch Engine和可视化控制台OpenSearch Dashboards两大核心组成，基于Apache Lucene构建，支持PB级数据的水平扩展，提供全文检索、向量搜索、实时分析、日志聚合、安全审计、告警与异常检测等丰富功能，适用于日志分析、电商搜索、APM可观测性、SIEM安全分析、IoT时序数据处理和语义搜索等多种场景，并以Apache 2.0许可证完全开源，由Linux基金会支持治理，致力于为用户提供零授权费用、零厂商锁定的现代化数据平台。

1. 定义

OpenSearch是一套社区驱动的开源搜索与可观测性套件，由「搜索引擎」和「可视化界面」两大核心组成：

• OpenSearch Engine：分布式、RESTful 搜索与分析引擎，基于 Apache Lucene 构建，可水平扩展到 PB 级数据。
• OpenSearch Dashboards：源自 Kibana 的可视化控制台，用于构建交互式仪表板、告警、异常检测等。

2. 诞生背景

2021 年，因 Elastic 将 Elasticsearch/Kibana 的许可证由 Apache 2.0 改为 SSPL/Elastic License，AWS 与社区共同 fork 出 7.10.2 版本，继续以 Apache 2.0 许可证完全开源，定名 OpenSearch。

二、核心功能

搜索

• 亮点特性：全文检索、向量搜索(k-NN)、模糊/正则/地理位置查询、搜索建议、高亮
• 典型收益：毫秒级返回，相关性可自定义

分析

• 亮点特性：150+ 聚合函数、SQL & PPL 查询语言、实时仪表盘
• 典型收益：日志、指标、业务数据多维度分析

可观测性

• 亮点特性：日志→指标→链路三合一采集；内置 Alerting & Anomaly Detection
• 典型收益：故障定位从小时级降到分钟级

安全

• 亮点特性：RBAC、TLS、字段/文档级权限、审计日志、多租户隔离
• 典型收益：金融、政企合规落地

生命周期管理

• 亮点特性：ISM 策略：热→温→冷→冻→删；自动 rollover、shrink、force-merge
• 典型收益：存储成本降低 30–70%

生态集成

• 亮点特性：RESTful API、12 种官方客户端、Logstash/Fluentd/Beats/OTel 无缝对接
• 典型收益：现有架构零侵入迁移

三、需求人群

• 运维/DevOps/SRE：集中式日志、APM、告警平台
• 安全团队：SIEM、威胁狩猎、合规审计
• 数据/算法工程师：实时数仓、向量检索、推荐系统
• 开发者/ISV：为 SaaS、电商、CMS 快速植入搜索框
• CTO/架构师：避免厂商锁定、节省授权费用

四、应用场景

1. 日志与日志分析

服务器、容器、网络设备日志统一采集 → Dashboard 实时查看错误率、慢查询 → Alerting 触发钉钉/Slack 告警。

2. 电商站内搜索

千万级商品 SKU，支持关键词、筛选、向量推荐（k-NN 语义搜索），转化率提升 15–25%。

3. APM & 可观测性

将 Trace、Metrics、Logs 关联到同一个 Trace-ID，实现“1 个页面”完成根因分析。

4. SIEM 安全分析

解析防火墙、AD、EDR 日志，结合 MITRE ATT&CK 规则实时检测横向移动、暴力破解。

5. IoT 时序数据

传感器数据按设备 ID 分片，聚合出温度 95 分位数，结合地理围栏触发告警。

6. 向量/语义搜索

用 BERT 将 FAQ 文本转为 512 维向量，OpenSearch k-NN 实现“问题语义相似”秒级召回。

五、如何使用

1. 快速体验（5 分钟）

浏览器打开http://localhost:5601，默认 admin/admin。

2. 生产集群部署

• 节点角色分离：Master / Data / Ingest / Coordinating / ML
• 容量规划：日志场景 1 GB 原始日志 ≈ 2.5 GB 索引体积（含 1 副本）。
• 高可用：至少 3 个主节点 + 2 个副本分片，跨 AZ 部署。
• 安全配置：运行 plugins/opensearch-security/tools/securityadmin.sh 一键导入 TLS 证书与角色。

3. 数据接入

• Filebeat → Logstash → OpenSearch
• Fluent Bit → OpenSearch
• OpenTelemetry Collector → OpenSearch
  官方示例配置：https://github.com/opensearch-project/data-prepper

4. 典型索引模板

5. 搜索与可视化

• Discover 查询：status:500 and @timestamp:[now-1h TO now]
• 创建 Dashboard：拖拽聚合 “Top 10 clientip by count”。
• 配置告警：Monitor→定义查询→触发条件→通知渠道（邮件/Slack/Webhook）。

6. 迁移与升级

• Reindex from Remote：从 Elasticsearch 6/7 集群在线迁移。
• Snapshot：利用 S3 共享仓库实现跨集群备份恢复，零停机滚动升级。

六、与Elasticsearch的差异速览

许可证

• OpenSearch：Apache 2.0
• Elasticsearch（默认发行版）：SSPL / Elastic License

治理

• OpenSearch：社区驱动，Linux 基金会
• Elasticsearch（默认发行版）：Elastic 公司主导

功能差异

• OpenSearch：PPL、k-NN 优化、细粒度安全
• Elasticsearch（默认发行版）：Machine Learning、Fleet、Enterprise Search 商业特性

兼容性

• OpenSearch：与 ES 7.10 API 高度兼容，后续独立演进
• Elasticsearch（默认发行版）：—

结语

OpenSearch 在保持 Elasticsearch 强大搜索/分析能力的同时，以Apache 2.0完全开源、社区透明治理为核心优势，为不同规模的企业提供了零授权费用、零厂商锁定的现代化数据平台。从日志分析到向量搜索，从单机Docker到上千节点集群，OpenSearch已在全球数千家组织落地，成为下一代搜索与可观测性基础设施的主流选择。

想了解AITOP100平台其它版块的内容，请点击下方超链接查看

AI创作大赛 | AI活动 | AI工具集 | AI资讯专区

AITOP100平台官方交流社群二维码：