大数据SQL数据倾斜与数据膨胀的优化与经验总结
( 本文阅读时间:5分钟 )
01 背景
目前市面上大数据查询分析引擎层出不穷,如Spark,Hive,Presto等,因其友好的SQL语法,被广泛应用于各领…
干货 | 故障召回率提升34%,携程智能异常检测实践
作者简介
零一,携程算法工程师,专注于智能告警、容量管理、根因定位等领域。
一、背景
携程作为在线旅游公司,对外提供机票、酒店、火车票、度假等丰富的旅游产品,其…
干货 | 携程火车票异常检测和根因定位实践
作者简介
龙川泾渭,携程算法工程师,专注异常检测、根因分析、时间序列预测等领域。
摘要
携程火车票包含1000+的业务指标,人工监测指标的异常情况耗时费力,而由…
网约车服务端线上流量巡检与测试验收技术
摘要
滴滴网约车致力于让出行更美好,平台为司乘提供良好体验的同时承载了广大群众的出行服务,致使我们对服务可用性的要求较高。更快地发现系统bug,可以让更少的司乘…
探索ES高可用:滴滴自研跨数据中心复制技术详解
Elasticsearch 是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎,其每个字段均可被索引,且能够横向扩展至数以百计的服务器存…
滴滴线下仿真环境实践:从方案设计到持续运营
在软件开发的过程中,测试环境无疑是一个关键的组成部分,其为开发、测试团队提供一个安全、隔离的环境来验证软件的功能、性能和稳定性。
通常在业务发展的早期,整体的系…
复杂业务逻辑下的智能告警与故障定位该怎么做?
随着出行业务的发展与行业技术的革新,滴滴在业务上和技术上都在与时俱进,这个过程中呈现了其独有的特点与难点。
在业务上,滴滴既要有严谨的交易逻辑和计算复杂的业务系…
微服务井喷时代,我们如何规模化运维?
随着云原生技术发展及相关技术被越来越多运用到公司生产实践当中,有两种不可逆转的趋势:
1、微服务数量越来越多。原来巨型单体服务不断被拆解成一个个微服务,在方便功…
服务拓扑串联难?eBPF为滴滴可观测带来解题新思路
上篇文章我们讲到可观测性在滴滴的实践与落地,更多关注的是不同观测信号之间的关联关系。那服务与服务之间的关系又如何串联,业界当前爆火的 ebpf 又在滴滴有着怎样…
滴滴可观测平台 Metrics 指标实时计算如何实现了又准又省?
在滴滴,可观测平台的 Metrics 数据有一些实时计算的需求,承载这些实时计算需求的是一套又一套的 Flink 任务。之所以会有多套 Flink 任务,是因为…
奇思妙想的SQL|兼顾性能的数据倾斜处理新姿势
阿里妹导读
本篇为系列第2篇,分享在支付宝支付数据链路改造升级过程中,针对数据倾斜的优化实践新方法,在解决数据倾斜问题的同时,还能兼顾更优的计算性能!
文章导…
高并发架构设计(三大利器:缓存、限流和降级)
阿里妹导读
软件系统有三个追求:高性能、高并发、高可用,俗称三高。本篇讨论高并发,从高并发是什么到高并发应对的策略、缓存、限流、降级等。
引言
高并发背景
互…
