Эволюция хранилища данных в Авито
20 миллионов в минуту — это поток загружаемых событий нашего сервиса. Работает с ним команда Data Warehouse, состоящая из 21 человека.
Саша Филатов, наш техлид, решил поделиться, как менялось наше хранилище аналитических данных с 2013 года: от таблиц и методологии anchor modeling до девятой версии Vertica и ClickHouse.
Читать на Хабре: http://bit.ly/3x7H7lX
#DWH_avitotech #статья_avitotech #habr_avitotech
20 миллионов в минуту — это поток загружаемых событий нашего сервиса. Работает с ним команда Data Warehouse, состоящая из 21 человека.
Саша Филатов, наш техлид, решил поделиться, как менялось наше хранилище аналитических данных с 2013 года: от таблиц и методологии anchor modeling до девятой версии Vertica и ClickHouse.
Читать на Хабре: http://bit.ly/3x7H7lX
#DWH_avitotech #статья_avitotech #habr_avitotech
❤8
Команда DWH поделилась своим расширением для работы с ClickHouse в Vertica на нашем GitHub. Оценить и забрать себе можно по ссылке:
https://bit.ly/36ZuAX9
#DWH_avitotech #github_avitotech
https://bit.ly/36ZuAX9
#DWH_avitotech #github_avitotech
🔥5👍4
Олег Харатов из команды DWH выступит 21 июля на IT’s Tinkoff Data Meetup, чтобы поделиться знанием, как найти данные о данных. Приглашаем зарегистрироваться!
Тем временем в открытом доступе появился доклад Жени Николаева, коллеги Олега, который презентовался на Smart Data 2021. В нём — о продуктовом подходе к разработке платформы хранилища данных.
Кстати, мы даже статью такую писали. Помните?
#dwh_avitotech #видео_avitotech #avitoteam
Тем временем в открытом доступе появился доклад Жени Николаева, коллеги Олега, который презентовался на Smart Data 2021. В нём — о продуктовом подходе к разработке платформы хранилища данных.
Кстати, мы даже статью такую писали. Помните?
#dwh_avitotech #видео_avitotech #avitoteam
Т-Банк Митапы
Митап IT’s Tinkoff Data Meetup
Управляем данными
👍10🔥3
Что у нас здесь происходит? 🚀
1️⃣ Рассказываем про митапы и закрытые встречи, после которых вам понадобится ещ один выходной;
2️⃣ Делимся своей экспертизой по 15 направлениям;
3️⃣ Обсуждаем наболевшее и окружаем себя единомышленниками;
4️⃣ Помогаем устроиться в Авито!
Чтобы быстро освоиться, ловите навигацию:
#frontend
#backend
#go
#mobile
#qa
#devops
#sre
#infosec
#architecture
#trisigma
#dba
#dwh
#design
#editor
#research
#analytics
#product
#ds
Чтобы быстро освоиться, ловите навигацию:
#frontend
#backend
#go
#mobile
#qa
#devops
#sre
#infosec
#architecture
#trisigma
#dba
#dwh
#design
#editor
#research
#analytics
#product
#ds
Please open Telegram to view this post
VIEW IN TELEGRAM
👍29🔥10❤5🏆4👎3😐2🎉1
С самого начала у нас была какая-то тактика мы внедряли какие-то новые решения, чтобы улучшить работу с данными. А потом обнаружили очень много багов 🐞
Олег Харатов, Technical Unit Lead, вместе с командой нашёл способ не только их быстро систематизировать и решить, но и сделать этот процесс автоматизированным.
Полная хронология событий — в статье Олега🗂
#dwh_avitotech #статья_avitotech #habr_avitotech
Олег Харатов, Technical Unit Lead, вместе с командой нашёл способ не только их быстро систематизировать и решить, но и сделать этот процесс автоматизированным.
Полная хронология событий — в статье Олега
#dwh_avitotech #статья_avitotech #habr_avitotech
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11❤🔥6
Игорь Конев, старший инженер команды DBaaS в Авито, выделил 3 проблемы эксплуатации данных k8s и показал, как их решение помогает построить стабильную DBaaS-платформу и автоматизировать жизненный цикл баз.
Кстати, в основе статьи — выступление Игоря на Avito Database meetup #1. Новичкам обязательно к прочтению
#DWH_avitotech #статья_avitotech
Please open Telegram to view this post
VIEW IN TELEGRAM
❤13🔥9👍7
Please open Telegram to view this post
VIEW IN TELEGRAM
Please open Telegram to view this post
VIEW IN TELEGRAM
👍7❤6🔥3🤨1
This media is not supported in your browser
VIEW IN TELEGRAM
Сделали совместную лимитку сумок с брендом IYULSTORE! И разыграем три из них прямо сейчас.
Всё просто:
Среди ответивших выберем трёх счастливчиков рандомно уже 1 июня.
P.S. Не забудьте отправить этот пост коллеге — вдруг удача улыбнётся вам обоим?
#tl #backend #frontend #dba #dwh
Please open Telegram to view this post
VIEW IN TELEGRAM
❤22👎15🤩10🔥9👍3
Невкусные конфеты, ключи, паспорт, огниво… Мы изучили всё содержимое ваших сумок и готовы рассказать, к кому отправятся лимитки из коллабы с IYULSTORE 🥰
@islamchique
@Sosylka_19
@olfomina
Поздравляем❤️ Котёнок Бу уже на всех парах бежит к вам в личку!
А если рандомайзер в этот раз оказался не на вашей стороне, остаётся только включить уведомления в канале на случай нового розыгрыша💫
#tl #backend #frontend #dba #dwh
@islamchique
@Sosylka_19
@olfomina
Поздравляем
А если рандомайзер в этот раз оказался не на вашей стороне, остаётся только включить уведомления в канале на случай нового розыгрыша
#tl #backend #frontend #dba #dwh
Please open Telegram to view this post
VIEW IN TELEGRAM
🔥11❤6👎3🤨2❤🔥1👍1
Обновили папку с нашими стримовыми каналами! Добавили сообщество для продактов 🔥
↖️ Нажимайте кнопку ниже и подписывайтесь сразу на все (или на некоторые). Ниже полный список каналов с описанием:
Кстати, у нас собралась и небольшая подборка каналов наших инженеров и тимлидов. Ставьте 👍, если тоже хотите забрать её себе.
#tl #backend #frontend #dba #dwh
✨ AvitoDataTech
Здесь собираем все статьи и заметки от наших экспертов о развитии аналитической платформы;✨ Свободный слот
Открыто и честно о том, каково быть руководителем и как им стать;✨ Avito SREда
Про SRE без воды и прикрас;✨ Не воспроизводится
Всё о буднях тестировщиков: коллеги размышляют на больные темы и пытаются найти баланс между «хорошо» и «идеально»;✨ Avito Career
Здесь собираем самые горящие вакансии для разработчиков, дизайнеров, аналитиков, маркетологов, биздевов и др.;✨ Avito Team
Рассказываем, как выглядит жизнь после оффера от Авито;✨ Любовь, дизайн и метрики
Уютное сообщество наших дизайнеров, редакторов и UX-исследователей;✨ Коммуналка аналитиков
Пишут о том, о чём не каждый аналитик заговорит в опенспейсе;✨ Доска AI-объявлений
Недушно про Data Science, AI и ML;✨ ЧТОБЫ ЧТО?
Это мы не возмущаемся, а делимся названием нового канала для продактов от продактов!
Кстати, у нас собралась и небольшая подборка каналов наших инженеров и тимлидов. Ставьте 👍, если тоже хотите забрать её себе.
#tl #backend #frontend #dba #dwh
Please open Telegram to view this post
VIEW IN TELEGRAM
❤12👍8🔥4🤩2👎1