Big Data Science :: AI / Big Data / Machine Learning / MLOps

Только для своих: Робо Драйв Пати от команды робототехники Сбера! 🤫 10 июля в новом пространстве Сбер.Среда, настоящем доме для ИТ-сообществ, состоится закрытая вечеринка для ML, RL, DL, Robotics Software и Embedded-инженеров. ✔️ Расскажем, как строится программная архитектура роботов ✔️ Презентуем продуктовую стратегию и разработку Green-VLA ✔️ Обсудим, как создаётся физическая платформа роботов ✔️ И, конечно же, познакомим с первым антропоморфным роботом Сбера — Грином Если ты хочешь создавать реальных роботов — приходи знакомиться с командой (или будущими коллегами 😉), обсуждать проекты и, вполне возможно, получить оффер мечты. Твой билет на закрытую Робо Драйв Пати здесь! 🎟

Обожаю вспоминать всякие древние статьи. https://arxiv.org/abs/2008.02217 Саммари: Авторы смотрят на модель Хопфилда. Модель Хопфилда это такой "прародитель нейросетей" для распознавания образов. А еще по совместительству известная статфизическая модель: Модель Изинга (с бонусом в виде правила Хэбба из биологии). Авторы обобщили ее на непрерывные спины, получили фактически "модель Хопфилда" для высших порядков (учли парные, тройные, четверные, etc взаимодействия) и непрерывных спинов. А потом оказалось, что это ваш самый обычный self-attention из трансформера. tldr: self-attention = статфизическая спиновая модель

речь про искривления распределений на конкретном участке пространства признаков. Выборка может быть бесконечной и покрывать всё разнообразие данных. Но лежащих в темноте кошек может быть в 100 раз больше, чем лежащих в темноте собак. Это будет искривление пространства признаков, которое будет заучено как ложная закономерность. И эта система абстракций более эффективна, чем тривиально говорить, что данных мало, потому что предлагает более конкретные шаги по решению возникающих проблем.

btw, не юзайте слово "искривление" всуе =) "Искривление" это когда вторая ковариантная производная не 0.

Короче весь тейк сводится к тому, что свертки не pixel-wise. Что как бы очевидно.

Ваш тейк про пустые пространства наверное можно немного по другому перефразировать: агрегаторы типа пулинга являются оконными, и отображение между входом и выходом оного не является биекцией, одному пуллингу соответствует множество разных окон. Но это не совсем про "пустоту", кмк.

Это тривиальный факт. Переводя на человеческий: Обучающая выборка конечна и не покрывает все распределение.

даже если распределение данных действительно низкоразмерное, то распределение обучающей выборки обычно ещё более низкоразмерное. То есть если учимся отличать собак от кошек, то например нет кошек и собак в темноте. Или есть только собаки, мы добавили кошек, но тут выяснилось, что мы добавили много лежащих кошек в темноте, но у нас нет лежащих собак в темноте. Это всё искривления пустых пространств , о которых я писал после сообщения о пустых пространствах признаков

Здесь нужен некоторый баланс посередине между исходным распределением и полностью равномерным распределением

Если распределение Y - колоколобразное, то модель заучит это искривление (что средний Y всегда более вероятен, чем крайние Y), из-за чего распределение ответов модели будет ещё более колоколообразным, то есть ещё более смещённым к центру