Центр непрерывного образования ФКН НИУ ВШЭ

Подборка литературы: математика для анализа данных Если вы хотите начать заниматься машинным обучением и анализом данных, то без фундаментальных знаний математики обойтись будет трудно. Какие именно разделы вам понадобятся и с чего начать изучение, если до этого всерьез не разбирались с высшей математикой? Эксперты Центра непрерывного образования ФКН составили для вас подборку книг, которые помогут изучить математику с любым уровнем подготовки. 🟣Математический анализ 🟣Линейная алгебра 🟣Теория вероятностей и статистика 🟣Математика в ML и DA ▶️ Структурированно изучить необходимый материал из дискретной математики, математического анализа, линейной алгебры и теории вероятностей для полноценного понимания и умения решать задачи анализа данных, заручившись поддержкой преподавателей факультета компьютерных наук, можно на программе «Математика для анализа данных». До 31 июля действует акция «Ранние пташки» — оставьте заявку на программу и заморозьте стоимость до повышения.

Глубинное обучение: очный курс Центр непрерывного образования ФКН открывает набор на очный курс повышения квалификации «Глубинное обучение». Слушатели разберутся с тем, как устроены нейросети, и попрактикуются в разработке на PyTorch. Что входит в программу: 🟣основы глубинного обучения: первая нейросеть на TensorFlow/PyTorch, алгоритм обратного распространения ошибки 🟣свёрточные сети: классификация изображений, transfer learning, разбор известных архитектур 🟣прикладные задачи компьютерного зрения: детекция, сегментация, распознавание лиц, перенос стиля 🟣оптимизация обучения: эвристики и приёмы, ускоряющие сходимость 🟣генеративные модели: автокодировщики и генеративно-состязательные сети (GAN) 🟣обработка естественного языка: векторные представления слов (word2vec, fasttext), рекуррентные сети, ELMo-эмбеддинги 🟣механизм внимания: seq2seq-архитектуры, трансформеры, BERT Кому подойдёт: тем, кто уверенно владеет Python (условные операторы, циклы, функции, работа со списками, словарями и встроенными функциями) и хочет освоить проектирование и обучение нейронных сетей. 📁 Старт: 29 июля Подробнее о программе 📍

Делимся полезным мероприятием от наших новых информационных партнеров. Россельхозбанк открыл прием заявок на четвёртый сезон конкурса молодых учёных «Созвездие агротеха». Конкурс направлен на поддержку перспективных разработок, в том числе, в области цифровизации сельского хозяйства — от ИИ и анализа данных до автоматизации, роботизации и других решений для агропромышленного комплекса. Кто может участвовать? 🟣Студенты, магистранты, аспиранты, научные сотрудники, кандидаты и доктора наук от 18 до 35 лет с собственными разработками или патентами по одному из направлений конкурса. Победителей ждут: 🟣200 000 рублей 🟣Поддержка в развитии и продвижении проекта 🟣Возможность привлечь финансирование и найти индустриальных партнёров 🟣Презентация проекта перед инвесторами АгроИнвестКлуба 🟣Выступление на научной конференции в финале конкурса 📁Заявки принимаются до 30 сентября. Регистрация 📍

Чит-листы: универсальная подборка Для открытия некоторых ссылок требуется VPN 1️⃣Python: основы и рабочая среда 🟣Python Cheat Sheet for Beginners. Базовый синтаксис языка: переменные, словари, массивы, циклы, функции и генераторы списков. 🟣Conda: быстрый старт, команды для работы из терминала, создание и активация сред. 🟣Jupyter Notebook: краткое руководство, комбинации клавиш, типы ячеек, специальные команды. 2️⃣Python для анализа данных 🟣NumPy. Создание, индексация и преобразование массивов, агрегатные функции, универсальные операции, сортировка. 🟣Обработка данных с Pandas. Полный цикл «чтение — подготовка — анализ — визуализация» данных (DataFrame). 🟣SciPy: большой гайд. Решение задач оптимизации, статистика, быстрое преобразование Фурье, интерполяция и линейная алгебра. 3️⃣Визуализация и дашборды 🟣Matplotlib. Создание фигур и осей, основные виды графиков, подписи, аннотации и экспорт. 🟣Seaborn. Высокоуровневые диаграммы, цветовые палитры, стили оформления и статистические визуализации. 🟣Plotly Express. Интерактивные графики, изменение размера и цвета меток, кастомизация. 🟣Streamlit API. Установка и запуск, текст, таблицы, графика, колонки, вкладки, формы и чат-компоненты. 🟣Tableau. Интерфейс, типы визуализаций, вычисляемые поля, действия, компоновка дашбордов. 🟣Power BI. Начало работы, настройка связей, трансформации в Power Query, выбор визуализаций, вычисляемые столбцы на DAX, работа в режимах «Отчет», «Данные», «Модель». 4️⃣Excel, SQL и системы управления БД 🟣Формулы Excel. Большая шпаргалка, охватывающая всевозможные формулы. 🟣Сводные таблицы Excel. Создание, группировка, вычисляемые поля и элементы, обновление источника данных. 🟣Power Query. Очистка, преобразование и объединение источников, автоматизация процессов. 🟣Основы SQL. Базовый синтаксис для начинающих. 🟣Наш пост со всеми шпаргалками по SQL. 🟣PostgreSQL. MySQL. SQLite. T-SQL. 5️⃣Машинное и глубинное обучение 🟣Scikit-learn. Подготовка данных, обучение модели, оценка качества; классификация, регрессия, кластеризация и подбор параметров. 🟣TensorFlow. Шпаргалка по основному фунционалу, примеры кода. 🟣PyTorch. Тензоры, оптимизаторы, функции активации и базовый цикл обучения. 🟣Руководство по настройке параметров XGBoost. 🟣Выбор ML-алгоритма. 🟣Наш большой пост со всеми шпаргалками по Data Science. 6️⃣Дополнительные шпаргалки 🟣Git: основные команды. Наш бесплатный онлайн-курс по Git. 🟣Регулярные выражения: быстрый старт.

Как работают LLM + секреты промпт-инжиниринга Центр непрерывного образования ФКН приглашает на открытый вебинар каждого, кто знаком с классическим машинным обучением и основами глубинного обучения и желает погрузиться в особенности работы с современными языковыми моделями. На вебинаре: 🟣узнаем, что такое большая языковая модель (LLM) и как она генерирует текст 🟣поймем, для каких задач сейчас используются LLM и как они обучались 🟣научимся писать «правильные» запросы к моделям, чтобы они выдавали релевантный ответ По итогам вебинара все участники смогут применять LLM для решения своих задач, а также получат чек-лист по настройке моделей и промптов для максимально адекватной генерации ответов. 🎙 Спикер: Елена Кантонистова, доцент факультета компьютерных наук, академический руководитель программы «Искусственный интеллект», научный руководитель программы «Прикладные нейросетевые технологии». 📁 Когда: 20 июля в 18:00. Регистрация 📍

«Ты — эксперт по…»: работает ли назначение роли в промпте Совет начинать запрос со слов «ты — опытный юрист/врач/аналитик» давно кажется необходимым действием при отправке запроса. Логика кажется неоспоримой: назначить модели роль эксперта и получить экспертный ответ, хотя исследования последних лет это не подтверждают. Что выяснилось: 🟣модели прогнали через тысячи фактических вопросов, перебрав больше сотни ролей. По сравнению с запросом вообще без роли точность не выросла, а местами даже слегка просела; 🟣угадать заранее, какая роль сработает на конкретном вопросе, практически нельзя. Выбор удачной формулировки оказывается практически случайным. Значит ли это, что прием бесполезен: 🟣Назначение роли влияет не на то, насколько ответ верен, а на то, как он выглядит. Например, роль эксперта может повышать глубину проработки, но снижать ясность и лаконичность. Модель начинает говорить как специалист: обстоятельнее, с профессиональной лексикой и оговорками, но правильных фактов в ответе от этого не прибавляется. Почему: 🟣Фраза «Ты — эксперт» сдвигает ответ в сторону текстов, которые в обучающих данных выглядели экспертными. Знания при этом не меняются, меняется лишь манера подачи. Роль управляет тем, как модель говорит, а не тем, что она знает. Что из этого следует: 🟣для фактических и вычислительных задач роль не повышает точность, не стоит полагаться на нее как на способ «усилить» правильность; 🟣для задач, где важны тон, глубина и профессиональная подача, роль работает, но как инструмент управления стилем; 🟣если нужно простое и ясное объяснение понятия, роль скорее мешает, а прямой запрос сработает лучше; 🟣универсально правильной роли нет: эффект формулировки трудно предсказать, поэтому ее стоит подбирать и проверять под задачу.

Ежемесячная подборка актуальных IT-вакансий: июль Позиции стажера: 🟣Аналитик (отдел планирования и целеполагания коммерции), Ozon Офис и Коммерция 🟣Аналитик данных, РТЛабс 🟣Аналитик данных, МТС Банк 🟣Бизнес-аналитик, Astrum Entertainment 🟣Инженер данных, М.Видео-Эльдорадо. ИТ 🟣ML Engineer (Центр квантовых технологий), Сбер Бизнес-аналитика: 🟣Бизнес-аналитик, RWB (Wildberries & Russ) 🟣Бизнес-аналитик, Альфа-Банк 🟣Бизнес-аналитик, Okkam 🟣Бизнес-аналитик, X5, Управляющая компания 🟣Бизнес-аналитик, «МТС», Аналитика 🟣Бизнес-аналитик, РУСАЛ 🟣Бизнес-аналитик, Ozon fresh Аналитика данных: 🟣Аналитик данных, Платформа Больших Данных 🟣Аналитик данных, Сбер. IT 🟣Аналитик данных, Ингосстрах 🟣Аналитик данных, ООО HeadHunter::Коммерческий департамент 🟣Аналитик данных, Банк ВТБ (ПАО) 🟣Аналитик данных, Datanomica 🟣Аналитик данных, АО Россельхозбанк 🟣Аналитик данных, CloudPayments Data Science, ML и DE: 🟣AI-инженер, Дневник.ру 🟣AI Engineer, RWB (Wildberries & Russ) 🟣ML-инженер, Riverstart (ООО Риверстарт) 🟣ML Engineer, TOM TAILOR 🟣Data Scientist, СМ Лаб 🟣Data Scientist, Газпромбанк. IT&Digital.Аналитика 🟣Data Scientist, Т-Банк. ИТ. Аналитика 🟣Data Engineer, Островок.Ostrovok!Tech 🟣Data Engineer, Литрес 🟣Data Engineer, Домклик

Генетика в кардиологии: введение в персонализированную медицину Приглашаем вас принять участие в открытом вебинаре, на котором расскажем о современных представлениях о месте геномных технологий в современной кардиологии, а также опишем ключевые подходы, используемые в клинической практике и находящиеся на этапе разработки. Кому будет интересно: 🟣студентам и специалистам в области молекулярной биологии, биоинформатики;  🟣врачам терапевических специальностей и врачам-лаборантам. Вебинар пройдет в рамках подготовки к Летней школе «Кардиогенетика: от секвенирования к разработке кардиопанели» от Центра биомедицинских исследований и технологий ФКН. 🎙Спикер: Дмитрий Затейщиков, заведующий кафедрой терапии, доктор медицинских наук, профессор ФГБУ ДПО «Центральная государственная медицинская академия» Управления делами Президента Российской Федерации. 📁Когда: 6 июля в 17:30. Регистрация 📍

RAG-архитектура на пальцах: как языковая модель достает информацию из вашей базы знаний Есть распространенное заблуждение, будто языковая модель «знает» только то, что видела при обучении. На самом деле, она работает с тем, что лежит в ее контекстном окне: с документами, присланными в чат, результатами поиска, выдержками из базы. Но контекстное окно не резиновое, и вы физически не можете загрузить в него всю корпоративную базу знаний. Тут и появляется RAG (Retrieval-Augmented Generation). Идея простая: не передавать в модель все подряд, а перед каждым ответом находить в базе именно те фрагменты, которые относятся к вопросу, и подкладывать в контекст только их. 1️⃣Сначала базу нужно подготовить 🟣Документы режутся на фрагменты — чанки. Именно здесь чаще всего закладывается будущее качество: если порежете слишком крупно, то в одном фрагменте смешается несколько тем, а поиск будет промахиваться; слишком мелко — фрагмент потеряет смысл. 🟣Каждый чанк прогоняется через модель-эмбеддер и превращается в вектор — длинный набор чисел, кодирующий смысл текста. Важный момент: близкие по смыслу тексты получают близкие векторы, даже если написаны разными словами, и это принципиально отличает подход от обычного поиска по ключевым словам. 🟣Векторы складываются в векторную базу данных — хранилище, заточенное под одну задачу: быстро находить ближайшие векторы среди миллионов. 2️⃣Что происходит, когда пользователь задает вопрос 🟣Вопрос проходит через тот же эмбеддер и тоже становится вектором, а система ищет в базе фрагменты, чьи векторы ближе всего к вектору запроса. Это шаг retrieval. 🟣Часто сюда добавляют еще один шаг — переранжирование. Первичный поиск по векторам быстрый, но недостаточно релевантный, он может выдасть более 20 кандидатов. Их прогоняют через более тяжелую и точную модель, которая пересортировывает результаты и оставляет действительно лучшие. 🟣Отобранные фрагменты вставляются в промпт рядом с исходным вопросом, модель генерирует ответ, опираясь на эти куски, а не на свои общие представления о запросе. Грамотно собранная система еще и возвращает ссылки на исходные документы, чтобы ответ можно было проверить. 3️⃣Почему RAG, а не дообучение 🟣Может возникнуть логичный вопрос: если нужно, чтобы модель работала с нашими данными, почему просто не дообучить ее на них? Ответ простой: для большинства задач RAG практичнее, ведь для того, чтобы обновить знания, надо всего лишь добавить документ в базу. Источник ответа будет виден, и его можно проверить, чего не дает дообученная модель. К тому же модель можно ограничить рамками контекста, снижая риск галлюцинаций. 4️⃣Особенности работы с RAG и точность ответа 🟣Главное, что надо знать и понимать про RAG: система отвечает настолько хорошо, насколько точен поиск. Если retrieval вытащил не те фрагменты, модель сгенерирует уверенный и складный ответ, но неверный. Поэтому большая часть работы над RAG-системами уходит не на модель, а на поиск: подбор размера чанков, выбор эмбеддера, настройку переранжирования и чистоту базы.

День открытых дверей онлайн-программ факультета компьютерных наук В эту субботу, 27 июня, пройдет День открытых дверей для абитуриентов бакалавриата и магистратуры. Вы разберетесь в преимуществах онлайн-образования, определитесь с программой и познакомитесь лично с командой ФКН Онлайн. На встрече расскажут: ⭐️️️️️️️️ какой набор навыков получают студенты и кем становятся выпускники ⭐️️️️️️️️ как устроено поступление и как получить максимальные баллы за портфолио ⭐️️️️️️️️ как получить образовательный кредит под 3% и другие льготы Онлайн-программы, о которых пойдет речь: ⚪️ Искусственный интеллект ⚪️ Прикладные нейросетевые технологии ⚪️ Аналитика больших данных ⚪️ Инженерия данных ⚪️ Бэкенд-разработка и архитектура программных систем ⚪️ Искусственный интеллект в маркетинге и управлении продуктом ⚪️ Компьютерные науки и анализ данных, онлайн-бакалавриат 📆 Когда: 27 июня, 14:00 💻 Формат: онлайн + запись и полезные материалы после мероприятия 🐭 Зарегистрироваться