Я – Дата Инженер | Евгений Виндюков

Типичные вопросы с собесов на Дата Инженера Часть 2 Hadoop | Spark | DWH https://youtu.be/BWSXh1Ussms https://youtu.be/BWSXh1Ussms https://youtu.be/BWSXh1Ussms Кстати, мы уже набираем поток на BootCamp сентябрь Запись на поток

Базовый минимум для VS CODE Если у тебя нет этих расширений, то нам не о чем с тобой разговаривать. Это так на Патриках мне сказали, однажды, когда я убирал улицу от мусора. Еще и пять тысяч кинули в лицо из гелика.. Это был самый неоднозначный день в моей жизни. Ближе к делу. Есть VSCode. Программа, где программисты-душнилы пишут свой никому ненужный код. Либо вайбокодят и делают вид, что работают. Хочу поделиться самыми основными плагинами для этой програмы, которые помогают мне ПО СЕЙ ДЕНЬ БЫТЬ почти программистом. Сразу скажу: я не собирал сюда 150 расширений, которые показывают погоду, настроение разработчика и фазу Луны во время деплоя. Только то, чем реально пользуюсь. Black Formatter Чтобы код не выглядел как будто его писали во время высадки в Камбодже. Автоматически делает аккуратным. Пишете код ногами, сохраняете файл — Black его форматирует. Можно включить форматирование при каждом сохранении: "[python]": { "editor.defaultFormatter": "ms-python.black-formatter", "editor.formatOnSave": true } Flake8 Если Black молча исправляет форматирование, то Flake8 ходит за вами и говорит: «Вообще-то здесь импорт не используется». «Вообще-то переменная не определена». «Вообще-то строка слишком длинная». «Вообще-то ваш код нарушает правила». То есть Flake8 — это линтер. Он анализирует код и показывает потенциальные ошибки, подозрительные места и нарушения стиля. Открываете Python-файл — расширение автоматически запускает проверку. DBCode Чтобы не переключаться постоянно на DBeaver или DataGrip DBCode превращает VS Code практически в программу для баз данных. Можно подключиться к PostgreSQL, ClickHouse, MySQL, SQLite, MongoDB и ещё огромному количеству баз, открыть таблицы, посмотреть колонки, написать SQL-запрос и сразу увидеть результат. По ощущениям — DBeaver встроили прямо в редактор. Очень удобно, когда одновременно пишете Python, SQL и смотрите данные. Parquet-viewer Чтобы посмотреть файл формата Parquet. Если что, паркет нельзя открыть и посмотреть содержимое. Это вам не CSV или TXT. Там внутри из коробки будет нечеловекочитаемая ерунда. Dracula Theme Это просто тёмная тема. Там есть розовый цвет, поэтому если вы мощный мужик — это для вас. Codex Это coding agent от OpenAI, встроенный в VS Code. Главное отличие от обычного ЧатаГПТ: ему не нужно вручную отправлять каждый файл по отдельности. Он может работать с репозиторием, находить нужные файлы, разбираться в связях между модулями, объяснять незнакомый код и вносить изменения. Например, можно попросить: - рассказать, как устроен новый репозиторий; - найти, откуда запускается конкретный процесс; - объяснить непонятный файл; - добавить проверку; - исправить ошибку; - написать тесты; - поменять логику сразу в нескольких связанных файлах; - проверить изменения. Особенно полезно, когда открываете чужой проект, видите 300 папок и понимаете, что сегодня можно было просто не просыпаться. Но есть нюанс. Работает только, если вы не в РФ. А как быть не в РФ, но при этом в РФ — думаю все понимают. Но кодекс правда у меня платный. Я плачу по 20 долларов в месяц на подписку GPT Plus. И я в восторге. Если есть какие-то ваши находки, делитесь, че еще удобное можно использовать?

Один из наших выпускников BootCamp @bootcampych_bot

Подтверди скилл в Yandex Cloud со скидкой 50% 🚀 Коллеги, у нас всего пара недель, чтобы закрыть вопрос с сертификацией на льготных условиях. До 25 сентября включительно действует скидка полцены на два экзамена от Yandex Cloud. Для дата-инженеров — самое то, чтобы официально зафиксировать свой уровень и получить весомый плюс к резюме. Что предлагают: 1️⃣ Yandex Cloud Certified Data Engineer База для тех, кто уже плотно работает с облачной платформой. Экзамен покрывает всё основное: загрузка и приём данных, ETL/ELT-процессы, оркестрация, мониторинг и безопасность. Хороший способ систематизировать знания и подтвердить их на практике. 2️⃣ Yandex Cloud Certified Lakehouse Data Engineer Для тех, кто ушёл глубже и работает с архитектурой Lakehouse. Тут уже спрашивают про проектирование решений, трансформацию данных и построение пайплайнов в этой парадигме. Продвинутый уровень для серьёзных проектов. Как проходит экзамен? Онлайн-тестирование с прокторингом — запись на камеру, контроль нарушений. Всё прозрачно и без вариантов "списать". 📌 Успей зарегистрироваться до 25 сентября 2026: Ссылка Ссылка Потом цена вернётся к обычной, так что не тяните. Удачи на экзамене! 💪

Типичные вопросы на собесе на Дата Инженера Выпустил ролик про вопросы на собесах. Далеко не весь пулл, но постарался объяснить свои ответы. Вопросы брал из нашего Roadmap. Внутри вопросы по SQL, Python, Spark и Airflow ▶️ Смотреть на Youtube Кстати, у нас открыта запись на следующий поток BootCamp (Сентябрь 2026) @bootcampych_bot

Учить инженерию данных по курсам и роликам — это как собирать пазл без картинки на коробке: детали вроде бы есть, а как они складываются вместе — не всегда понятно karpovꓸcourses сделали тест-квест, который эту картинку как раз и показывает: вы сами, шаг за шагом, собираете дата-платформу стартапа — от Excel до Kafka, Spark и ClickHouse — и видите, как отдельные инструменты складываются в цельную архитектуру. Прохождение построено как игра: выбираете следующий шаг, растет уровень зрелости платформы, накапливается ваш опыт, от которого вы получается звание в инженерии данных. Узнайте, какой вы инженер данных: https://clc.to/erid_2W5zFGaGrnd Реклама. ООО «КАРПОВ КУРСЫ». ИНН 7811764627. erid: 2W5zFGaGrnd

Только 2% людей на планете знают об этом! Если вы знаете об этой фишке, прошу только дополнить. Многим людям, кто с Airflow только знакомятся, эта инфа будет полезна. О чем я? Вот у вас есть DAG в Airflow, который запускает код по расписанию. Просто грузит данные за вчера или за прошлую неделю. Но что если вам надо прогрузить РЕТРО данные, например за прошлый месяц или с 2026-01-10 по 2026-04-02? Иногда это требуется, когда данные в источнике (например в Postgres) могли обновиться, а Стриминг для этой задачи излишен. Короче, в Airflow можно добавить пару строчек и запускать ваш DAG с вашими параметрами вручную. Причем это может делать любой человек, даже без знания КОДА! Не надо идти в Jupyter Hub и запускать спарк джобу с конифгами. Любой аналитик зашел, вбил нужные даты и нажал кнопку PLAY Понятное дело, что вы наверняка знали про это еще 15 лет назад и у вас даже сосед по лестничной клетке шарит за это и вообще тетя Люда на даче этим пользовалась во времена Петра Первого.. но дайте шанс новичкам, кто только знакомится с инструментом. Че писать в коде? Чтобы удобно было запускать DAG с параметрами, надо дописать параметр params dag = DAG( dag_id="DEMO__API_to_S3_to_CH__weather_temp_rain_pipeline", default_args=default_args, schedule_interval="0 10 * * *", catchup=False, params={ "start_date": Param( "", type="string", pattern=r"^$|^\d{4}-\d{2}-\d{2}$", description="Начальная дата ретро-загрузки в формате YYYY-MM-DD. Пусто = ds.", ), "end_date": Param( "", type="string", pattern=r"^$|^\d{4}-\d{2}-\d{2}$", description="Конечная дата ретро-загрузки в формате YYYY-MM-DD. Пусто = start_date.", ), }, description="API weather to S3 and ClickHouse pipeline", tags=["demo", "weather", "temp", "rain", "api", "s3", "clickhouse", "pipeline"], ) Кстати можно добавить еще и валидацию дат, чтобы нельзя было вбить случайно неправильно. А ну еще придумал кейс. Вот представьте у вас работает витрина и там добавилось поле или чуть поменяли подсчет метрики. Вы выкатили в прод изменения, а данные-то старые не обновлены. В этом случае можно просто запустить прям в Airflow с нужными датами и все обновиться. Ну и надо уточнить, чтобы ваш пайплайн не плодил дублей, а перезаписывал данные в хранилище. Это я так, просто уточнить.

BootCamp Июль НАБРАН! Друзья, мы набрали июльский поток полностью! Стартуем уже 1 июля. Продажи на июльский поток мы АСТАНАВЛИВАЕМ! Потому что BootCamp, как Москва, НЕРЕЗИНОВЫЙ. У нас с каждым новым потоком появляются все более свежие идеи. Теперь у нас есть ТРИ ПЕТ проекта, которые можно реализовать за время обучения. От простого к сложному. Т.е. буквально базовый делают все, а вот более сложные свзязки инструментов можно собрать добровольно.. но я рекомендую пробовать ВСЕ! По поводу следующего потока! Он БУДЕТ! По датам сообщим в районе 10-15 июля. У нас есть мысли добавить опцию "Собираем легенду индивидуально". Это про то, чтобы переупаковать ваш опыт в релевантный и подходящий рассказ. Возможно мы сделаем буткемп длиннее и добавим дополнительные варианты оплаты в плане рассрочек. Также будет больше времени на тестирование своих пет проектов и постройку бОльшего числа пайплайнов. Плюс я навайбкодил небольшой конструктор Пет Проектов, чисто для Дата Инженеров, чтобы можно было собрать связку под себя, под свой опыт. Потому что основная боль, которая возникает у ребят: "Много инструментов, но как все связано между собой, непонятно!" КСТАТИ Если вы хотите на BootCamp, но пока еще не знаете python и sql, то приглашаем на БуткемпИК! Это для тех, кто совсем сейчас в нулевой точке и хочет спокойно со всеми разобраться в программировании. Старт 1 июля. Записаться, оплатить и попасть сразу в чат можно тут ➡️ @bootcampych_bot

Почувствовал себя одиноким YouTube предложил видео о том, как стать ДЕ без опыта. Зашел в комментарии, а там всего один — и то от меня.

▶️ Пет Проект для Дата Инженера https://youtu.be/pC9AvMwv10Y https://youtu.be/pC9AvMwv10Y https://youtu.be/pC9AvMwv10Y Презентация + код проекта уже доступны в нашем боте Пиши боту /pet и он пришлет тебе материалы по пет проекту ➡️ @bootcampych_bot