DeepSchool

Как свёрточные сети меняли компьютерное зрение Почему AlexNet стала переломным моментом, чем VGG упростила архитектурный дизайн, как ResNet решила проблему глубины и зачем MobileNet, EfficientNet и ConvNeXt по-разному оптимизировали точность, скорость и масштабирование? ✅ В новом видео разбираем эволюцию CNN как последовательность инженерных ответов на ограничения предыдущих поколений моделей. Смотрите видео по ссылке: https://youtu.be/l5kAIVbFQJ4?si=mdJlnY20mageDq36 🪔 DeepSchool

Последние места на LLM System Design 15 июля стартует курс «LLM System Design», и осталось 4 места со скидкой 9%⚡️ В течение обучения вы решите топ-4 задачи на рынке 2026: • чат-бот c RAG по базе знаний компании • клиентский саппорт: «классический» и мультиагентный • локальный сервис речевой аналитики • мультиагентный ИИ-разработчик В программе: — 8 лекций от senior-инженеров, тех- и тимлидов продуктовых команд — 3 семинара с разбором систем — 2 QA-сессии где можно задать любые вопросы спикерам — чат со спикерами на протяжении всего обучения Изучайте подробности о курсе на сайте и записывайтесь! Если ещё остались вопросы, то пишите нам в Поддержку @deepschool_support

FlashAttention-3 и FlashAttention-4 — пример того, как алгоритмы нужно заново адаптировать под каждое поколение GPU 🚀 В новой статье разбираем, почему FlashAttention-2 отлично работал на Amper'е, но уже не раскрывал потенциал архитектур Hopper и Blackwell и какие архитектурные изменения вновь ускорили attention. Вы узнаете: • почему на H100 FA-2 просел по утилизации GPU • как Tensor Memory Accelerator и асинхронные Tensor Cores ускорили FA-3 • зачем нужна warp-специализация • как matmul и softmax удалось выполнять параллельно • что даёт FP8 с контролем ошибок • и почему для Blackwell снова понадобилась перестройка во FlashAttention-4 Читайте разбор по ссылке! 👈🏼

Genie family Сегодня всё больше внимания уделяется «world-моделям». Они способны не только генерировать красивые кадры, но и контролировать физичность, геометрию, создавать интерактивную среду и реальные симуляции. ✅ Мы подготовили серию постов о современных world-моделях и 3D-генерациях мира. И начнём с семейста Genie от Deepmind. Посмотрим, с чего всё начиналось и как за пару лет с простой симуляции в маленьком разрешении 2D-структур эти модели превратились в высококачественные генераторы симуляционных сред. Читайте статью по ссылке! 👈🏼

Разберитесь, как устроены LLM и как с ними работать Как устроены современные LLM, как они обучаются, как с ними работать, как избежать типичных проблем при решении реальных задач — об этом и не только на нашем курсе по большим языковым моделям. Вы разберётесь в теории, научитесь дообучению, элайменту, построению RAG, агентских систем и инференсу LLM. Приходите, чтобы научиться использовать LLM правильно! Обучение ведут опытные инженеры из разных доменов, компаний и стран, которые создавали нагруженные сервисы и популярные библиотеки. Вы будете встречаться раз в неделю на онлайн-лекциях, где сможете сразу задавать вопросы. Плюс QA-сессии, поддержка в чате и проверка домашних заданий с развёрнутым фидбеком. 📅 Начало — 30 июня, продолжительность — 4 месяца. 🔥 А до 29 июня вы можете присоединиться со скидкой 5% Изучайте подробности о программе и спикерах и записывайтесь на новый поток на сайте!

Карта LLM: как выбирать модели, проверять качество и улучшать результаты В этот четверг, 25 июня, мы проведём открытую лекцию, на которой ответим на популярные вопросы по LLM. Чем отличаются модели? Надо ли доучивать модель? Хостить или ходить по API? На что можно рассчитывать при построении агента или RAG-системы? Почему у кого-то работают RAG и агенты, а кто-то в них разочаровался? За полтора часа дадим актуальный срез индустрии вокруг LLM: — актуальные модели и их свойства — бенчмарки — self-host VS API — типы задач — главные «болячки» ванильных решений — и актуальные советы по их лечению В конце расскажем про курс «LLM», где объясняем теорию LLM, учим дообучению, элайменту, построению RAG, агентских-систем и деплою — всё под кураторством опытных инженеров. Всем участникам лекции мы подарим скидки на обучение 🎁 📅 Встречаемся в четверг, 25 июня в 19:00 МСК! Регистрируйтесь по ссылке и приходите на лекцию!

3 тренда на рынке ИТ, которые нельзя игнорировать: 1. Использовать кодинг-агентов для разработки 2. Каждый должен разбираться в дизайне систем (т.к. код во многом на себя берут агенты) 3. Умение создавать агентские системы и поиск (в т.ч. RAG), которые работают в крупных коммерческих проектах Мы совместили эти пункты в новой программе «Дизайн LLM-систем», где вы научитесь решать 4 востребованные задачи от их постановки до настройки мониторинга: • чат-бот c RAG по базе знаний компании • клиентский саппорт: «классический» и мультиагентный • локальный сервис речевой аналитики • мультиагентный ИИ-разработчик Первая лекция — «Кодинг-агенты». На ней вы настроите окружение в Codex или Claude Code, чтобы на протяжении всего курса вести работу в них. Спикеры — опытные senior-инженеры, а также тех- и тимлиды сильных продуктовых команд. ⚡️ Осталось 9 из 10 мест со скидкой 16% по условиям раннего бронирования! Забронировать скидку можно предоплатой на сайте. Предоплату можно вернуть полностью в любой момент. Переходите на сайт программы и бронируйте место со скидкой!

Reinforcement Learning: пошаговый план изучения Reinforcement Learning (RL) лежит в основе многих ключевых достижений современного ИИ: обучение роботов локомоции и манипуляции, пост-обучение языковых моделей (RLHF, GRPO). Сегодня понимание RL — нужный навык для широкого круга ML-инженеров. Чтобы помочь прокачаться в этой области, мы подготовили пошаговый план изучения и полезные ресурсы. Welcome 🙂 ⚫️План изучения 1. Основы теории вероятностей RL опирается на аппарат теории вероятностей и стохастических процессов. Фундамент для понимания: условные вероятности, математическое ожидание и его свойства, основы стохастических процессов. Изучать эти темы лучше по мере необходимости: столкнулись с importance sampling — сразу разбираемся с этой концепцией. Ресурсы: MML (главы по вероятностям и статистике); любой базовый курс теории вероятностей. 2. Классический RL Можно начать с формализма марковских процессов принятия решений (MDP): состояния, действия, функция перехода и вознаграждения, дисконтирование. И затем перейти к табличным методам: dynamic programming, Monte Carlo, temporal-difference learning, Q-learning, SARSA. Рекомендуем решать задачи из книги или курса — это критически важно для понимания. Ресурсы: S&B (Part I) — фундаментальный учебник по RL; Stanford CS234 — академический курс с задачами. 3. Deep Reinforcement Learning Когда пространство состояний становится слишком большим для табличных методов, применяется аппроксимация функций с помощью нейронных сетей. Ключевые темы: Deep Q-Network (DQN), policy gradient методы, actor-critic архитектуры, методы на основе модели (model-based RL). Если нужно подтянуть основы Deep Learning, рекомендуем открытую книгу Understanding Deep Learning. Ресурсы: Deep RL (CMU) — курс от Katerina Fragkiadaki с современными методами deep RL; Deep RL (UC Berkeley) — курс от Sergey Levine с открытыми домашними заданиями. Рекомендуем выполнить все практические задания. 4. Policy Gradient и современные алгоритмы Для практического применения RL необходимо глубокое понимание policy gradient методов. Ключевые алгоритмы: REINFORCE, TRPO, PPO — стандарт в робототехнике и RLHF; GRPO — активно применяется в пост-тренировке LLM. Важно не только знать алгоритмы, но и понимать, почему они работают: какие допущения лежат в их основе и какие практические трюки обеспечивают устойчивое обучение. Ресурсы: S&B (Part II); лекции из курсов CMU и UC Berkeley по policy gradient. 5. Современный RL и применения После основ — обзор современных направлений: RLHF для языковых моделей, применение в робототехнике, мультиагентный RL, offline RL, model-based RL. Ценным будет понимание практических «трюков», которые стоят за успешными алгоритмами. Ресурсы: PML:AT (Kevin P. Murphy) — современные работы в RL и практика к языковым моделям; Substack Cameron Wolf — разборы алгоритмов и их применение к LLM доступным языком. 6. Практика Мы верим, что действительно глубокое понимание невозможно без практического опыта. Рекомендуем два направления в зависимости от области интересов: робототехника: курс LeRobot (Hugging Face) с фокусом на RL-часть; самостоятельное обучение реального или симулированного манипулятора; языковые модели: самостоятельная реализация RLHF (CS336). ✅Полезные ресурсы Reinforcement Learning: An Introduction (S&B) — Sutton & Barto Stanford CS234: Reinforcement Learning Deep RL (CMU) — Katerina Fragkiadaki Deep RL (UC Berkeley) — Sergey Levine Probabilistic Machine Learning: Advanced Topics (PML:AT) — Kevin P. Murphy LeRobot курс (Hugging Face) Stanford CS336: Language Modeling from Scratch, assignment 5 Substack Cameron Wolf Автор: Шамиль Мамедов Ревьюер: Антон Наумов Помимо робототехники и LLM, RL используется ещё и для обучения LLM-агентов. Об этом глубже рассказываем на нашем курсе по LLM для ML/DL-инженеров. Также там разбираем fine-tuning, alignment, ускорение и деплой LLM. Новый поток стартует 30 июня, а до 21 июня вы можете присоединиться со скидкой 20%!

Ничё вы от первой задачи камня на камне не оставили! Так же будет и со второй? 😊 В ней выяснилось, что белым шрифтом в Confluence писать секреты не так же безопасно, как в сохранёнках телеги все пароли хранить. Ладно, дальше сами. Удачи! ⌨️ https://contest.deepschool.ru/t/llm/rag-doc-leak

CTF по LLM 💻 CTF (Capture The Flag) — это соревновательный формат, где участникам даётся живой объект для исследования: сервис, код, сайт, чат-бот. Внутри спрятана секретная строка-флаг. Задача: разобраться в системе, найти слабое место и «вытащить» флаг. Нашёл флаг → решил задачу → получил баллы. Подготовили для вас трек по LLM. LLM, RAG, агенты: от prompt-инъекций до внутренностей модели. Всего 7 задач, появляться будут в 19 Мск в течение недели. Первая задача уже доступна. В ней нужно обойти цензора, которого поставили поверх слишком разговорчивой модели. https://contest.deepschool.ru/t/llm/boltun Под анонсы задач и разборов завели отдельный канальчик @deepschool_ctf, заглядывайте! Делитесь с друзьями и коллегами, вместе решать веселее 💻