大数跨境

一文读懂 Elasticsearch LogsDB

一文读懂 Elasticsearch LogsDB 悦高软件
2026-10-27
2
导读:本文基于同机100万条日志实测(ES 7.16/8.19/9.5),解析LogsDB的省盘能力。核心结论:省盘关键在"开对模式"而非"升版本";最小体积为9.5+LogsDB+synthetic(约3

本文基于《Elasticsearch LogsDB 压缩效果标准测试报告》技术报告撰写(上海悦高软件股份有限公司,2026-10-20)







日志存得下,磁盘省一半多?——基于同机 100 万条实测(ES 7.16 / 8.19 / 9.5)的入门与选型指南。

1. 什么是 LogsDB(大白话)

Elasticsearch(简称 ES)是很多公司存日志、做搜索和监控的主力数据库。日志有个特点:量大、一直写、很少改。传统存法会把每条日志「原原本本」存一份,占地方。

LogsDB 是 ES 8.x 起提供的一种「专为日志设计的索引模式」。它做了一件聪明的事:在不影响你查日志的前提下,用更紧凑的方式把数据存起来,从而少占磁盘。到了 9.x,这套能力又 further 增强。本文用一次真实测试,把「到底能省多少、各版本差在哪、要不要买白金版」一次说清。

2. 它凭什么能省磁盘:synthetic source(更省空间)

LogsDB 有两种「省法」,理解它们区别是看懂本文的关键:

  • 方式一 · 仍存原文(store original):数据还是完整保存,只是换了一种更紧凑的排列。基础版就能用,但省得有限。
  • 方式二 · synthetic 更省空间(不落完整原文):ES 只存「压缩后的结构化数据」,需要看原文时再现场「合成」出来。这一步最省盘,但它是受许可管控的能力。

⚠ 白金版/企业版许可提醒(必读)
「synthetic 更省空间」是最省盘的模式,但它需要白金版/企业版(或等效)许可,基础版用不了。本文所有用到「更省空间」的漂亮数字,都建立在已具备该许可(或试用许可)的前提下。

3. 这次怎么测的(同机、百万条、串行)

项目
设置
测了什么
ES 7.16.3 / 8.19.0 / 9.5.4 各写 100 万条日志
怎么跑
同一台服务器(k8s-es-90),串行跑,一次一个集群,堆内存都 1g
比什么
占盘大小、写入速度(条/秒)、查询延迟 p95
占盘口径
写完强制合并成 1 个段后量主分片大小
许可
8.19 / 9.5 的 synthetic 用 trial 试用许可验证(约 2026-11-18 到期)


4. 一张表看懂:各版本 × 各模式占盘对比

下表是全文最核心的一张图。颜色加深行是「最省盘」组合;标 ⚠ 的列表示需要白金版/企业版许可。

存储模式
7.16 MB
8.19 MB
9.5 MB
相对 7.16 默认少
需白金版?
① 默认压缩(常规索引)
96.875
93.283
94.785
基准 / 仅少 2~4%
否
② best_compression(常规索引)
67.753
52.683
54.350
少 30% / 46% / 44%
否
③ LogsDB·仍存原文
—
52.068
41.567
— / 少 46% / 少 57%
否(但 8.19 收益很小)
④ LogsDB·synthetic 更省空间
—
44.775
31.066
— / 少 54% / 少 68%
⚠ 是
⑤ synthetic + 路由
—
45.252
31.611
— / 少 54% / 少 67%
⚠ 是

一句话看懂
最小体积是 9.5 + LogsDB + synthetic = 31.1 MB,比 7.16 默认压缩的 96.9 MB 少了约 68%。但这一最优结果依赖白金版许可;若只能用基础版,9.5「仍存原文」约少 57%,8.19「仍存原文」仅约少 46%。

5. 关键结论:到底省了几成?写入变慢了吗?

5.1 省盘:看你的「起跑线」是谁

  • 如果你现在 7.16 连压缩都没开:升到 9.5 + synthetic,本次少 67.9%,落在官方说的「65%~75%」区间里,但没到 75%。
  • 如果你早已开了 best_compression:同一最优组相对这一档只少 54.1%(67.8 MB → 31.1 MB)。别忘了,7.16 自己开 best_compression 就已经少了 30%,那部分不是 LogsDB 的功劳。
  • 只升级版本、还用默认压缩:几乎不省(仅少 2%~4%)。版本升级本身不送你省盘,省盘靠的是「开对模式」。

5.2 写入:没有变慢

全场写入落在1675~1771 条/秒。相对 7.16,各版本持平或略快;同版本里开 synthetic 大约比本版 best_compression 慢 1%~2%,加路由慢 4%~5%——都远没到「明显变慢」。查询延迟 p95 全场不超过8 毫秒,可放心。

6. 选型建议:7.16 / 8.19 / 9.5 怎么选,要不要上白金版

你的现状
推荐路线
预期省盘(相对 7.16 默认)
7.16 未开压缩,想先小成本改善
升级到 9.5 + 基础版 LogsDB 存原文
约少 57%(无需白金版)
已开 best_compression,追求最大省盘
升级 9.5 + LogsDB + synthetic 更省空间
约少 68%(需白金版)
只能用 8.19
开 synthetic 更省空间
约少 54%(需白金版);仅存原文则收益很小
预算有限、暂不上白金版
用 9.5 基础版 LogsDB 存原文,或先用 best_compression
约少 44%~57%

经验法则:版本尽量上 9.5;省盘大头来自「开对模式」而非「升版本」;最大收益(synthetic)需要白金版许可。

7. ⚠ 白金版(企业版许可)明确提醒

白金版要点清单

  1. 最省盘的「synthetic 更省空间」需要白金版/企业版(或等效)许可,基础版不可用。
  2. 本次 8.19 / 9.5 的 synthetic 用例用 trial 试用许可验证,约 2026-11-18 到期。
  3. trial 到期后该能力可能失效,新数据体积回涨,须纳入运维计划与续费预算。
  4. 对外承诺「少 67.9%」前,必须先确认已具备相应许可,否则该数字不成立。

一句话
白金版买不买,直接决定你能拿到「少 68%」还是「少 57%(9.5 基础版)/ 46%(8.19 基础版)」。这是选型的分水岭。

8. 常见误区

  • 误区一:「升级 ES 版本就会自动省盘。」——错。只升级、仍用默认压缩几乎不省;省盘靠开 LogsDB + 正确模式。
  • 误区二:「少 67.9% 是 LogsDB 白送的。」——错。那是 9.5 + synthetic(白金版)的组合收益;其中约 30% 只是「开了传统 best_compression」。
  • 误区三:「8.19 和 9.5 差不多。」——错。同档 synthetic,9.5 少 68%、8.19 少 54%,差距明显;8.19 仅开「存原文」几乎不比本版 best_compression 小。
  • 误区四:「开路由一定更省。」——本次数据上不成立,9.5 加路由反而略大、略慢,不为省盘而开。

9. 一句话总结

想用日志省盘,优先升级到ES 9.5并开LogsDB;要拿「少约 68%」的最大收益,需白金版/企业版许可开启synthetic 更省空间;写入与查询性能基本不受影响。上线前请用真实日志、接近生产的机器再压一轮,并以实际许可状态对外承诺数字。

过往文章


【声明】内容源于网络
0
0
悦高软件
立足金融,创新无限。专注券商客户服务类软件。
内容 15
粉丝 0
悦高软件 立足金融,创新无限。专注券商客户服务类软件。
总阅读215
粉丝0
内容15