科大讯飞升级Apache Doris，成本降低60%查询速度提升10倍

在即将召开的北京站源创会上，科大讯飞宣布其星际日志中心成功完成了从Elasticsearch到Loki，再到Apache Doris的可观测性存储分析底座升级。这一进展不但显著降低了成本，还显著提升了性能，令现场与会者倍感期待。

项目背景与目标

科大讯飞的升级目标是为了应对现今大数据时代对于日志存储与分析的严苛要求。随着服务的不断增加，日志数据量也迅速攀升，企业需高效监控和管理这些数据，以保障服务的稳定性与高可用性。当前的三大可观测性支柱——指标（Metrics）、日志（Log）和链路（Trace），在维护服务可用性方面发挥着关键作用。

显著性能提升

新系统基于Apache Doris的架构，成本降低了60%，并且查询效率提升了10倍。以往Elasticsearch和Loki在高并发写入和查询时存在CPU占用率高、故障恢复慢等问题，但Doris的到来大大改善了这些短板。Doris的列式存储和ZSTD压缩使得存储效率大幅提高，数据查询速度也显著提升，尤其在聚合分析和复杂查询场景中表现尤为出色。

先进的技术实现

Apache Doris的引入，使得每日可以处理600亿条日志与10TB的写入流量。根据科大讯飞的软件研发工程师曲庆伟的介绍，新系统能够支持多种类型的数据，包括半结构化的JSON数据类型VARIANT。这种灵活性使企业在存储可扩展数据时，能够高效且灵活地进行管理。

在实际数据结构设计中，Doris特有的主键模型、明细模型与聚合模型，使不同类型的数据处理更为高效。特别是在告警指标的聚合上，通过提前聚合大幅降低了查询时的复杂性与计算量，提高了系统整体的运行效率。

用户体验与未来展望

星际日志中心的创新设计不仅增强了查询速度，还提升了运维的便捷性。DorisManager的使用，让管理员能够轻松管理数十个集群，并通过集成的Grafana和自研的Web查询界面实现简单的日志检索与数据分析。

面对未来，科大讯飞计划继续在AIOps领域深耕，利用其强大的大模型推理能力，不仅Improve运行效率，还希望在智能运维与用户行为分析方面实现更大突破。

结尾寄语

总结来看，这次从Elasticsearch、Loki到Apache Doris的升级，不仅为企业节省了成本，也在日志处理的快速性与灵活性上取得了巨大的进展。作为科技前沿领域的参与者，我们应当认真关注这些技术演进，积极拥抱AI智能的时代，让先进的技术助力我们的工作与生活。

最后，作为一个资深的自媒体从业者，我真心建议大家日常一定要学习使用先进生产力，要把AI用起来。使用AI生成文章配图已经成为我的工作习惯，这不仅帮助我大大提高了工作效率，也为我的文章带来了更多的流量。聪明的人已经把像简单AI这样的AI工具用得风生水起了，而大部分职场人还只知道埋头苦干赚死工资，结果就是吃了信息闭塞的亏。