Инжиниринг Данных

Можно послушать про dbt онлайн - https://www.getdbt.com/dbt-summit/registration/online у них скоро в Вегасе Summit

Spark на GPU vs EC2🚀 https://aws.amazon.com/blogs/big-data/gpu-accelerated-apache-spark-with-amazon-emr-and-nvidia-rtx-pro-4500-on-amazon-ec2-g7-instances-runs-up-to-3-7x-faster/

Notion решил записать звонок на русском сегодня. Первую фразу он хорошо уловил - каникулы, дети дома….

Pollen Robotics выпустили новинку; У робота Mini Reachy (https://t.me/rockyourdata/5899) появился младший собрат Micro Duck, c ногами.

Сразу 2 документа на похожую тему: • The New SDLC With Vibe Coding by Google • The AI-Native SDLC playbook by Claude Но чтобы их читать и понимать лучше начать с того, что каждый день использовать агентов в работе (Claude, Cursor и тп)

Продолжаю список благодарностей - мне сегодня чувак написал СПАСИБО за менторство в 2019 году! Это я почитал нашу переписку в LinkedIn. Я его реферил и в Амазон, и в Майкрософт, но не помогало. Они мне записывал года 3. Я его даже не видел. Он тоже был в списке “мертвых душ” Rock Your Data :) В итоге живет в Калифорнии, работает в Мете. Вот что значит база хорошая! PS эх забыл процент от зарплаты взять💰 Но позитивная энергия и искренняя благодарность дает намного больше!📈

Ещё один success case на Surfalytics. Звучит всё просто и понятно, но это очень высокий стресс, когда вы теряете работу и у вас нет визы. Поэтому поддержка сообщества — это важно, ну и в целях экономии времени и максимальной отдачи лучше учить то, что нужно. В данном случае это джентльменский (ну и дамский) набор инструментов: dbt, Snowflake, Airflow, Git, CLI + AI development. В результате тяжёлой и последовательной работы можно добиться любой цели. Моя задача — лишь направить в правильную сторону, и уже каждый решает, готов ли он вкалывать.

AWS купили DuckLabs. Интересно как это отразиться на продукте. Хотя с другой стороны всем нравится 🦆 , но я никого не знаю, кто их использует серьезно.

В Salt Lake City встретился всего лишь с одним подписчиком - Виктором. Виктор рассказал, как работал электриком в маленьком городе в Беларуси и уехала в Польшу еще давно. Электриком там было не устроиться, и с помощью datalearn он получил основы дата профессии стал работать в дата, потом выиграл green card и уже переехал 1,5 года назад в LA. Прокачался немного в Surfalytics и стал работать дата инженером. Цены в LA высокие (если у вас одна работу на семью), поэтому они решили переехать в SLC, где у нас и состоялся data&drinks на космической конференции🥂

Как ИИ помогает создавать и сопровождать Spark-задачи в облаке ☁️ На вебинаре 27 августа эксперты Cloud․ru расскажут, как автоматизировать работу с Apache Spark с помощью Evolution Managed Spark c ИИ. В программе: ▶️как Evolution Managed Spark упрощает разработку и сопровождение Spark-задач; ▶️как использовать ИИ-агента для создания, запуска и анализа Spark-приложений; ▶️каким образом работать с данными в Evolution Object Storage без ручной настройки; ▶️где искать причины ошибок и получать рекомендации по их устранению; ▶️как анализировать производительность Spark-задач и находить точки для оптимизации; ▶️как MCP-серверы помогают ИИ-агенту взаимодействовать с managed-сервисами платформы данных Cloud․ru. А в практической части покажут работу ИИ-агента для создания Spark-задачи и обработку данных в Evolution Object Storage. Регистрация — по ссылке