Заметки Computer Vision инженера

Меня достаточно давно спрашивали про RDK S100. И наконец я его добыл и забенчмаркал. Надо сказать что тренд очень позитивный. Когда уже и LeRobot из коробки работат. Но пока что чувствуются огрехи экпорта, пайплайны не идеальны. Но в ребят много веры. На их базе много чего интересного уже видел. Видео - https://youtu.be/WHAEl05g8Xk Статья - https://medium.com/@zlodeibaal/rdk-s100-review-80-tops-robotic-board-d9ad0f464942

Офис в Норвегии резвится🤣

Поговорил с Глебом про то куда сейчас идут World Models для роботов: https://youtu.be/_acRtKuupP8 Мне было ужасно интересно. Глеб создал одно из немногих открытых комьюнити где достаточно регулярно походят онлайн семинары по тому как такие модели устроены, люди рассказывают свой экспирианс + то что у них получилось/не получилось. Собственно поговорили и про комьюнити, и про модели, и про то как это пускать на реальном железе

Так. Я сделал максимально кринжовое видео из всех что было на моём канале. Тут в PUBG (в который я с альфы с друзьями поигрываю), завезли AI ботов. Им говорить голосом команды и они их исполняют. Естественно мне стало интересно - а что они используют. А как это выяснить? Конечно же позадавать вопросы самому боту. Надо сказать что модель там крайне тупая + обложенная политиками безопасности по самое не балуйся. Но есть ощущение что какая-то простая VLA на данных присутствует. Вообще я рад этому тренду использования AI в играх. Что-то новое. И ARC был классным во многом за счет нейроночек управляющих NPC, озвучки и трансфера голоса. Ещё и тут. https://youtu.be/gPGmxWZrqxg

Собственно видео про Zero-Shot - https://youtu.be/IIyoNLB8Cnc Что самое забавное, похоже если вас заботит лицензия, то выбор надо делать тот же самый что и в One-Shot А так было интересно потыкаться и посравнивать

В последнее время я часто использую OneShot модели. И мне захотелось понять какие у каких ограничения и что где лучше работает. Думаю следующее видео сделаю про них. А пока расскажите что вы используете. А то вдруг что-то забыл.

Сделал коротенькое видео про то что сверху: 1) Добавил несколько примеров того где трекинг ломается/как себя ведёт 2) Рассказал с какими платами камера отказывается работать а с какими нет. Думаю плюс-минус полезно если где-то хотите использовать https://youtu.be/mTF31gjOXkk

Мне нравиться как прогрессируют не только VLM, но и классические алгоритмы. Вот это вот SLAM из коробки, на борту Insight9 камеры. Про камеру я рассказывал несколько месяцев назад. Очень круто что это становится как-будто бы "отдельным модулем". Понятно, что пока что всё не так просто. Но по сравнению с тем как SLAM настраивался 5 лет назад - это прямо небо и земля. То что на видео - это побаловаться. В нормальных проектах у нас тоже есть, но иначе. А у вас где-то на практике SLAM используется?

Мне давным-давно любопытно было потестить китайские GPU платы. Насколько оно сейчас PyTorch френдли, какие проблемы с инференсом и обучением, и.т.д. Но я ни знаю ни одного сервиса где есть какая-то аренда такого инстанса. Желательно почасовая. Ни immers.cloud ни salad.com ни vast.ai и никто известный их нее предлагает. Когда-то пробовал чатгпт запрячь. Он нашёл пару сервисов, но там без китайского номера никак. Да и контракты там надо было брать по месяцу а то и больше. Короче: 1) А вы тестили? Насколько оно всё любопытно? Насколько сейчас работает? Когда догонят и обгонят? 2) Знаете ли вы где-нибудь сервис где можно задёшево потыкать пальцем? 3) Может у вас есть свои GPU-шки и вы можете прокинуть SSH на них? Если сделаю ролик - обещаю там благодарностей натыкать:)

Как и обещал - основное видео. Меня, конечно, поражает прогресс который произошёл в последние пол года. Не то что получается делать то чего было нельзя. Но насколько удобнее! https://youtu.be/W_tR3qSTD4I