На чем сыпятся на собеседованиях? ч.10

✍️ На чем сыпятся на собеседованиях? ч.10 рубрика pro #bigdata Казалось бы простой вопрос: 1 Какие типы файлов вы знаете? Многие аналитики умеют грузить данные в pandas из Excel и csv. Но вопрос становится гораздо интереснее, когда нас просят организовать хранение данных в распределенном хранилище. 2 Вы знаете, что такое Parquet или ORC? Вы знаете как они организованы внутри, чтобы использовать их функционал по максимуму? 3 Вы наверняка слышали о сжатии данных. Но какие из этих алгоритмов можно (и нужно ли?) использовать в период вычислений для shuffle или для выгрузки результатов расчетов в хранилище? Алексей Драль рассказывает кейс из собственной практики: как они в поисковой системе только с помощью правильной организации данных (Data Layout) и выбора алгоритмов сжатия добились более чем 10-кратного эффекта в производительности. Аналитический расчет по анализу поведения пользователей в Интернете за последний месяц занимал 4 дня кластерного времени. Нам удалось оптимизировать эти расчеты до 4-х часов на том же кластере. 👀 Хотите научиться решать задачи, за которые вам явно светит карьерное повышение? Тогда записывайтесь на модуль 10. "Оптимизация хранилища (Data Layout)". Доступно в рамках: 👉 Практического курса по Big Data 👉 отдельной части курса " Часть 3. RT, NoSQL, Data Layout " Бонус для любителей математики: 🎁 Обзор HDFS 3.0 и высшей алгебры (поля Галуа и коды Рида-Соломона) Полезная информация Прошлые выпуски: — ч.1 гарантии в IT проектах — ч.2 функциональная парадигма и Fault Tolerance — ч.3 Spark MapReduce vs Hadoop MapReduce — ч.4 Hive, оптимизация вычислений и хранения данных — ч.5 Spark, RDD, типы кешей и оптимизации — ч.6 Spark vs pandas, SQL, DataFrames и PySpark оптимизации — ч.7 Косые данные, оптимизации группировок и shuffle — ч.8 Real-Time vs NRT, брокеры сообщений и почему Kafka — ч.9 NoSQL, CAP теорема, кольцо всевластия и денормализация ✍️ сохраните и подпишитесь , если хотите быть востребованным в IT ✍️ Когда данная публикация наберет 1k+ просмотров, 25+ лайков или 10+ комментариев, то мы выложим чек-лист по подготовке к собеседования на позицию Data Engineer. Доступ к знаниям — в ваших руках. BigData Team : the way you learn best Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer #study #BigDataTeam