На чем сыпятся на собеседованиях? ч.8

✍️ На чем сыпятся на собеседованиях? ч.8 рубрика pro #bigdata Зона компетенции архитектора по работе с Big Data не заканчивается только умением обрабатывать большие данные. В нее входят вопросы про поставку данных (e.g. near real-time) и их деплой для использования в production сервисах (e.g. NoSQL). Проверьте свои знания о поставке данных: 1 Какие брокеры сообщений вам известны? В чем идеологический выбор между выбором той или иной технологии? 2 Какие из этих брокеров можно использовать для финансовых систем, а какие нет и почему? Вопрос для Junior специалиста по Big Data: 👶 В чем разница между топиком и партицией в Kafka? Вопросы для специалиста Middle+: 3 Как обрабатываются события, которые произошли [2 x Window] времени назад, но пришли только сейчас? Что такое watermark и как он позволяет работать с такими данными в Spark Structured Streaming? Если хотите освежить знания или узнать об этом от Артёма Выборнова , то смотрите модуль 8. "Потоковая обработка данных (Kafka, Spark Streaming)" Практического курса по Big Data . Полезная информация Прошлые выпуски: — ч.1 гарантии в IT проектах — ч.2 функциональная парадигма и Fault Tolerance — ч.3 Spark MapReduce vs Hadoop MapReduce — ч.4 Hive, оптимизация вычислений и хранения данных — ч.5 Spark, RDD, типы кешей и оптимизации — ч.6 Spark vs pandas, SQL, DataFrames и PySpark оптимизации — ч.7 Косые данные, оптимизации группировок и shuffle ✍️ сохраните и подпишитесь , если хотите быть востребованным в IT BigData Team : the way you learn best Py4BDA | Python | Machine Learning | Big Data | BD/ML Engineer #study #BigDataTeam