Обзор собеседования

Обзор собеседования Продолжаем разбор собеседования в USETECH (Ч. 2). В первой части были SQL + Python задачки, их можно посмотреть тут . Во второй — теория, системное мышление и вопросы “на понимание”. SQL 1 Что такое подзапрос Запрос внутри запроса, может быть в SELECT, WHERE или FROM. 2 Коррелированный подзапрос Подзапрос, который ссылается на внешнюю таблицу и фактически сравнивает строку с самой собой по условию. 3 CTE (WITH) Подзапрос, вынесенный в отдельную временную таблицу для читаемости и переиспользования. 4 UNION vs UNION ALL UNION — убирает дубликаты UNION ALL — просто склеивает результаты 5 INTERSECT и EXCEPT INTERSECT — строки, которые есть в обеих таблицах EXCEPT — строки из первой, которых нет во второй 6 Работа с NULL (COALESCE) COALESCE заполняет NULL первым ненулевым значением из списка аргументов. 7 Работа с датами EXTRACT / DATE_PART — получить год, месяц CAST или :: — приведение типов 8 Оконные функции Считают агрегаты без схлопывания строк. 9 ROW_NUMBER / RANK / DENSE_RANK ROW_NUMBER — уникальный номер RANK — с пропусками DENSE_RANK — без пропусков 10 PIVOT / UNPIVOT Транспонирование таблицы: строки ↔️ колонки. Python / Pandas 11 list vs tuple list — изменяемый tuple — неизменяемый 12 Почему NumPy быстрее циклов Векторизованные операции выполняются на уровне C, а не Python. 13 Что такое векторизация Операции сразу над массивом, а не поэлементно. 14 Если данные не помещаются в память Читать и обрабатывать чанками. 15 Работа с большими файлами (chunks) Чтение и запись по частям, без загрузки всего в память. 16 Parquet Колоночный формат хранения, компактный и быстрый для аналитики. 17 loc vs iloc loc — по меткам iloc — по индексам 18 Типовой пайплайн в Pandas read → describe → чистка → трансформации → EDA → сохранение 19 merge vs concat merge — аналог JOIN concat — склейка по строкам или колонкам (аналог UNION) Статистика 20 Корреляция Мера связи между числовыми переменными, от −1 до 1. 21 Пирсон vs Спирмен Пирсон — линейная связь Спирмен — ранговая 22 Почему корреляция ≠ причинность Показывает связь, но не объясняет влияние. 23 ДИ Диапазон, в котором с заданной вероятностью лежит истинное значение параметра. 24 Интерпретация 95% ДИ В 95% случаев интервал накрывает истинное значение. 25 Среднее / медиана / мода Среднее — сумма / количество Медиана — центральное значение Мода — самое частое 26 Почему медиана устойчивее Меньше чувствительна к выбросам. БД и архитектура 27 SMP vs MPP SMP — один узел MPP — параллельные вычисления на сегментах 28 PostgreSQL vs Greenplum Postgres — SMP, строковое хранение Greenplum — MPP, распределённые вычисления 29 Почему Greenplum быстрее Параллельные вычисления на сегментах. 30 Дистрибуция данных Распределение строк по сегментам. 31 Data skew Неравномерное распределение данных → самый медленный сегмент тормозит весь запрос. 32 ClickHouse — плюсы и минусы Плюсы: колоночное хранение, быстрые агрегации Минусы: слаб для OLTP, частых JOIN и INSERT 33 Data Lake Хранилище файлов/ сырые данные, дешёвое, без строгой схемы. Инфа / DE 34 Docker vs VM Контейнеры шарят ОС → легче и быстрее VM — отдельная ОС → тяжелее 35 Dockerfile Инструкция сборки контейнера из слоёв. 36 Порядок слоёв в Dockerfile Влияет на кэширование и скорость сборки. 37 Как уменьшить Docker-образ Slim / Alpine образы, меньше слоёв, правильный порядок RUN. 38 Docker Compose YAML-файл для запуска нескольких контейнеров и их сети. 39 Airflow Инструмент оркестрации пайплайнов. 40 DAG Граф задач с зависимостями. 41 Kafka Брокер сообщений для стриминга данных. 42 Producer / Consumer / Topic / Partition Producer пишет в topic Consumer читает из партиций 43 Consumer Group Группа консьюмеров, каждый читает свою партицию. 44 At-least-once / At-most-once / Exactly-once At-least-once — возможны дубли At-most-once — возможны потери Exactly