Prometheus指标采集和查询存储方案-2020年
我们分一级监控平台和二级集群Prometheus监控采集组件。一级提供kafka集群和Prometheus聚合组件,二级各集群部署Prometheus和Prometheus-kafka-adapter组件,采集和远程送数据到一级的kafka集群。
该方案优点:
1.业务系统可以跨集群聚合数据,如图k8s集群-1和k8s集群-2数据聚合到Top-1的Prometheus上。
2.一级监控平台上只要有足够的cpu、存储资源,理论上可以水平扩展接入更多集群。2020年底采集的指标量每天3194亿的量级,吞吐量达370万/s。
3.采集端Prometheus可以保留极少数据,比如6小时的数据,减少资源消耗。而上层Prometheus由于落数据到时序数据库influxdb中,可以保存一个月数据量甚至更多。
该方案没做到什么:
1.采集端Prometheus扩容问题,单集群中数据规模受Prometheus原生的限制。
2.一级监控平台上时序数据库influxdb有单点问题,数据规模和数据安全性受其影响。 IT运维监控所包含的产品功能强大、易于使用、解决方案齐全,可一站式满足用户的各种IT管理需求。广东运维监控套餐
对于网络出口与网络专线的有效监控与分析,既能协助业务运维同学有效地定位业务异常、评估业务服务质量等,也能有效地度量业务整体运营成本,毕竟现在带宽的使用成本在整体运营成本中也是占比越来越大。相信运维同学多少都会遇到下面等较高频的使用场景:
这条专线当前利用率多少?
在已经使用的流量中,某个IP使用了多少流量?这些所产生的流量是基于什么协议与方向?
专线与网络出口的丢包率与时延是怎么样的?
每条专线中主要是哪些务在用?哪个是“地主客户”?对
于网络流量的监控来说,其实中心是一个分析平台,通过把采集到的各种流量包抓取过来,然后再把相应的流量送入分析集群。 运维监控电话快来看看常用的运维监控必备知识!
IT运维监控具有性能稳定、用户界面友好、跨平台、易实施、易集成等特点,可极大地简化IT设施和业务系统的监控管理。越来越多的客户都在考虑或采纳业务集中的方案。然而业务系统集中后,不仅增加运行维护的工作强度,而且会使集中的系统变得更加繁杂。有效的系统和应用监控体系成为了解业务资源的使用状况,及时发现可能导致系统故障的隐患,实现系统运营保障的关键。另一方面,借助于集中监控解决方案,用户能够正确和及时地了解系统的运行状态,发现影响整体系统运行的瓶颈,帮助系统人员进行必要的系统优化和配置变更,甚至为系统的升级和扩容提供依据。强有力的监控和诊断工具还可以帮助运行维护人员快速地分析出应用故障原因,把他们从繁杂重复的劳动中解放出来。维护人员快速地分析出应用故障原因,把他们从繁杂重复的劳动中解放出来。因此,很多客户的 IT 部门提出建立集中 IT 管理系统的需求,监控的内容包括网络、服务器、数据库、中间件和应用。通过集中监控系统及时发现系统中的故障,减少故障处理时间。
对于网络设备的监控,也一般从设备性能、质量、状态等维度入手。对于每台网络设备来说运维同学一般会关注如下等高频场景:
网络设备的运行状态syslog(设备运行日志)的监控与告警;设备堆叠状态下的(例如交换机堆叠)的监控与告警;网络设备上每个物理端口的、流量、包量、错包与端口状态的监控与告警;网络设备上逻辑端口(物理端口组合)的性能与状态。
对于网络设备的syslog告警来说,同样也会面临诸如:不同的厂商、设备类型与设备型号日志标准不统一等问题。
所以对于网络设备syslog监控告警来说,首先是将众多的网络设备进行逻辑分组,以便于在一个分组内的设备均可以响应同一个告警关键字,并且这个分组粒度建议较细,这样才能保障告警关键字的有效性与独一性。在这里根据多年的运维经验,建议syslog告警的分组模型由四个维度组成:厂商+类型+型号+用途例如:CISCO+交换机+EX43000-24T+内网接入层交换机,通过这个公式就描述出一个设备的逻辑分组。 Argus是观纵科技自主研发的it运维监控系统,旨在对信息中心软硬件实施全天候无死角监控。
相比传统规则类监控,日志异常检测可以让运维人员做到“轻松运维”——不用再设置大量繁琐的监控规则,也无需再设置多样的告警触发阈值,就可以快速检测并发现日志的异常。这一功能还能降低对运维工程师经验的要求,帮助客户减少因人员流动带来的系统监控不稳定的风险。当前,Argus运维监控系统已经在运营商以及金融客户的多个项目中得到了良好的实践,能快速适应业务日志变化,高效实现对不同业务场景的监控覆盖,帮助客户提高日志运维故障诊断和维护的效率,提升企业的业务可用性及稳定性。 Argus 单机支持1万+监控对象,满足不同设备监控。从方方面面统计信息,可以直观看出服务的可用性。山西运维监控共同合作
简单聊聊运维监控的其他用途。广东运维监控套餐
整个饿了么监控系统在演进过程中主要分为如下3个阶段:
第一阶段:主要由Statsd/Graphite/Grafana负责业务层的监控,ETrace负责全链路监控,Zabbix负责服务器层面的监控,ELog负责分布式日志搜索;
第二阶段:整个饿了么也从单IDC演进成异地多活架构,所以对监控也提出了更高的要求,基于这个我们也自研LinDB,以支持多活架构下的监控,Zabbix慢慢被ESM/InfluxDB/Grafana所替换,使用ELK替换原来的日志方案;
第三阶段:主要做一个减法,即把原来StatsD/Graphite/ETrace/ESM/InfluxDB统一到了EMonitor+LinDB这样的平台,以提供给用户一套统一的监控平台,日志开始使用阿里云的SLS。 广东运维监控套餐
上海观纵科技有限公司成立于2022-11-14,位于上海市奉贤区望园南路1288弄80号1904、1909室,公司自成立以来通过规范化运营和高质量服务,赢得了客户及社会的一致认可和好评。本公司主要从事webfunny前端监控,webfunny前端埋点,全链路应用性能监控,Argus-IT运维监控领域内的webfunny前端监控,webfunny前端埋点,全链路应用性能监控,Argus-IT运维监控等产品的研究开发。拥有一支研发能力强、成果丰硕的技术队伍。公司先后与行业上游与下游企业建立了长期合作的关系。依托成熟的产品资源和渠道资源,向全国生产、销售webfunny前端监控,webfunny前端埋点,全链路应用性能监控,Argus-IT运维监控产品,经过多年的沉淀和发展已经形成了科学的管理制度、丰富的产品类型。我们本着客户满意的原则为客户提供webfunny前端监控,webfunny前端埋点,全链路应用性能监控,Argus-IT运维监控产品售前服务,为客户提供周到的售后服务。价格低廉优惠,服务周到,欢迎您的来电!