多元共进|2023 Google 开发者大会 精彩演讲回顾
升级内容:
- 拆分部署时参数配置和运行期参数配置,将两类参数配置分开放在两个配置文件中,简化参数配置,优化部署流程;
- 优化项目文档;
一键部署,一行代码接入,无需大数据相关研发运维经验就可以轻松实现海量数据实时统计,使用 XL-LightHouse 后:
- 1、再也不需要用 Flink、Spark、ClickHouse 或者基于 Redis 这种臃肿笨重的方案跑数了;
- 2、再也不需要疲于应付对个人价值提升没有多大益处的数据统计需求了,能够帮助您从琐碎反复的数据统计需求中抽身出来,从而专注于对个人提升、对企业发展更有价值的事情;
- 3、轻松帮您实现任意细粒度的监控指标,是您监控服务运行状况,排查各类业务数据波动、指标异常类问题的好帮手;
- 4、培养数据思维,辅助您将所从事的工作建立数据指标体系,量化工作产出,做专业严谨的职场人,创造更大的个人价值;
概述
- XL-LightHouse 是针对互联网领域繁杂的流式数据统计需求而开发的一套集成了数据写入、数据运算、数据存储和数据可视化等一系列功能,支持超大数据量,支持超高并发的【通用型流式大数据统计平台】。
- XL-LightHouse 目前已基本涵盖了常见的流式数据统计场景,包括 count、sum、max、min、avg、distinct、topN/lastN 等多种运算,支持多维度计算,支持分钟级、小时级、天级多个时间粒度的统计,支持自定义统计周期的配置。
- XL-LightHouse 内置丰富的转化类函数、支持表达式解析,可以满足各种复杂的条件筛选和逻辑判断。
- XL-LightHouse 是一套功能完备的流式大数据统计领域的数据治理解决方案,它提供了比较友好和完善的可视化查询功能,并对外提供 API 查询接口,此外还包括数据指标管理、权限管理、统计限流等多种功能。
- XL-LightHouse 支持时序性数据的存储和查询。
在数据统计方面,XL-LightHouse 与 Flink 和 ClickHouse 对比有什么优势?
-https://dtstep.com/archives/4820.html
补充说明
- XL-LightHouse 的应用场景非常广泛,比较常见的比如 PV、UV 的统计,接口的调用量、耗时情况、异常量等,可以灵活配置统计周期和任意的统计维度,有完善的可视化查询页面,一键接入,轻松使用!
- XL-LightHouse 项目架构支持超大规模的数据量和高并发数据写入,足以支撑一线互联网大厂的数据量。
收益
- XL-LightHouse 可以帮助企业更快速的搭建起一套较为完善的、稳定可靠的数据化运营体系,节省企业在数据化运营方面的投入,主要体现在以下几个方面:
- 减少企业在流式大数据统计方面的研发成本和数据维护成本。
- 帮助企业节省时间成本,辅助互联网产品的快速迭代。
- 为企业节省较为可观的服务器运算资源。
- 便于数据在企业内部的共享和互通。
- 此外,XL-LightHouse 对中小企业友好,它大大降低了中小企业使用流式大数据统计的技术门槛,通过简单的页面配置和数据接入即可应对繁杂的流式数据统计需求。
项目地址
https://github.com/xl-xueling/xl-lighthouse.git
https://gitee.com/mirrors/XL-LightHouse.git