大数据SQL数据倾斜与数据膨胀的优化与经验总结

( 本文阅读时间:5分钟 )
01 背景
目前市面上大数据查询分析引擎层出不穷,如Spark,Hive,Presto等,因其友好的SQL语法,被广泛应用于各领…

干货 | 故障召回率提升34%,携程智能异常检测实践

作者简介
零一,携程算法工程师,专注于智能告警、容量管理、根因定位等领域。
一、背景
携程作为在线旅游公司,对外提供机票、酒店、火车票、度假等丰富的旅游产品,其…

这些年背过的面试题——分布式篇

阿里妹导读
本文是技术人面试系列分布式篇,面试中关于分布式都需要了解哪些基础?一文带你详细了解,欢迎收藏!

分布式系统是一个硬件或软件组件分布在不同的网络计…

干货 | 携程火车票异常检测和根因定位实践

作者简介
龙川泾渭,携程算法工程师,专注异常检测、根因分析、时间序列预测等领域。
摘要
携程火车票包含1000+的业务指标,人工监测指标的异常情况耗时费力,而由…

网约车服务端线上流量巡检与测试验收技术

摘要
滴滴网约车致力于让出行更美好,平台为司乘提供良好体验的同时承载了广大群众的出行服务,致使我们对服务可用性的要求较高。更快地发现系统bug,可以让更少的司乘…

探索ES高可用:滴滴自研跨数据中心复制技术详解

Elasticsearch 是一个基于Lucene构建的开源、分布式、RESTful接口的全文搜索引擎,其每个字段均可被索引,且能够横向扩展至数以百计的服务器存…

滴滴线下仿真环境实践:从方案设计到持续运营

在软件开发的过程中,测试环境无疑是一个关键的组成部分,其为开发、测试团队提供一个安全、隔离的环境来验证软件的功能、性能和稳定性。
通常在业务发展的早期,整体的系…

复杂业务逻辑下的智能告警与故障定位该怎么做?

随着出行业务的发展与行业技术的革新,滴滴在业务上和技术上都在与时俱进,这个过程中呈现了其独有的特点与难点。
在业务上,滴滴既要有严谨的交易逻辑和计算复杂的业务系…

微服务井喷时代,我们如何规模化运维?

随着云原生技术发展及相关技术被越来越多运用到公司生产实践当中,有两种不可逆转的趋势:
1、微服务数量越来越多。原来巨型单体服务不断被拆解成一个个微服务,在方便功…

服务拓扑串联难?eBPF为滴滴可观测带来解题新思路

上篇文章我们讲到可观测性在滴滴的实践与落地,更多关注的是不同观测信号之间的关联关系。那服务与服务之间的关系又如何串联,业界当前爆火的 ebpf 又在滴滴有着怎样…

压多少抗多少,滴滴全链路压测仿真度量体系建设

滴滴在重大节假日、活动前为保障线上系统稳定,需要通过全链路压测做多轮风险排查以及容量验收,我们经常听到这样的声音"你们全链路压测和线上业务场景有多大…

我们是如何做数据稳定性保障的?

滴滴客服业务属于强运营的业务,运营的核心抓手是指标数据。这些指标有的是为了达成战略目标的OKR指标,有的是为了达成与合作伙伴结算的结算指标,做好数据稳定性,对整…

滴滴可观测平台 Metrics 指标实时计算如何实现了又准又省?

在滴滴,可观测平台的 Metrics 数据有一些实时计算的需求,承载这些实时计算需求的是一套又一套的 Flink 任务。之所以会有多套 Flink 任务,是因为…

万字详解滴滴弹性云混部的落地历程

弹性云作为承载滴滴绝大部分业务的底层容器运行平台,已运行7余年,混部对于云来说并不是陌生的概念,业务上云的第一天就是运行在一个混部的环境中。
业务容器化上云,…

对话| 阿里云大降价后,再谈“降本增效”

阿里妹导读
2月29日,阿里云宣布史上最大力度降价,引发行业对用云成本的热议。
近日,在InfoQ发起的圆桌讨论上,InfoQ、极客邦科技创始人 & …

奇思妙想的SQL|兼顾性能的数据倾斜处理新姿势

阿里妹导读
本篇为系列第2篇,分享在支付宝支付数据链路改造升级过程中,针对数据倾斜的优化实践新方法,在解决数据倾斜问题的同时,还能兼顾更优的计算性能!
文章导…

这些年背过的面试题——Kafka篇

阿里妹导读
本文是技术人面试系列Kafka篇,面试中关于Kafka都需要了解哪些基础?一文带你详细了解,欢迎收藏!
Why kafka
消息队列的作用:异步、…

浅谈弹性计算管控可观测性体系建设

阿里妹导读
为什么需要可观测性?可观测性技术对业务团队的价值有哪些?如何建设一个可观测性技术体系?本文将从整体架构到核心设计一一为大家讲解。
前言
为什么需要…

这些年背过的面试题——Redis篇

阿里妹导读
本文是技术人面试系列Redis篇,面试中关于Redis都需要了解哪些基础?一文带你详细了解,欢迎收藏!
WhyRedis
速度快,完全基于内存,使…

高并发架构设计(三大利器:缓存、限流和降级)

阿里妹导读
软件系统有三个追求:高性能、高并发、高可用,俗称三高。本篇讨论高并发,从高并发是什么到高并发应对的策略、缓存、限流、降级等。
引言
高并发背景
互…