запуск завтра

Поговорили с замечательным Ильей Колмановским про ИИ в науке https://www.youtube.com/watch?v=xldtypiax-4

Коллеги подсказывают в комментарих, что OFAC ввел санкции против VPN-сервиса, и его официальным адресом указали ссылку на их телеграм-канал. Интересно, сколько времени займет уладить это недоразумение?

Официальные ссылки на телеграм-каналы и пользователей t.me перестали работать, потому что администратор зоны .me (Черногория, Montenegro) запаузил домен t.me (статус serverHold, его ставит именно администратор зоны). Анонимный аккаунт в твиттере утверждает, что он написал в техподдержку компании-оператора зоны .me, в американскую компанию Identity Digital и те ответили, что дело в OFAC-комплаенсе. То есть скорее всего, владелец домена t.me попал под американские санкции (список SDN) или выяснилось, что доменом владеет такое лицо, и теперь американские компании не могут оказывать ему услуги. Надеюсь, следующим шагом эпол и гугл не заблокируют приложения в апсторах. Upd: ниже объяснение

В вацапе появятся юзернеймы и возможность скрыть номер телефона! Кто-то уже может забронировать себе юзернейм в настройках. В моем приложении пока нет, говорят в течении недели раскатят на всех. У меня есть теория, что телеграм — это конечная форма всех мессенджеров.

Финальный эпизод 14 сезона подкаста «запуск завтра»! Говорим с Николаем Давыдовым об инвестициях в ИИ. Николай занимался ИИ ещё до того, как его стали так называть. Достаточно ли добавить к названию проекта AI, чтобы получить инвестиции? Почему лучшая троица основателей стартапа — это индус, белорус и китаец? Какие для Николая есть красные флаги, а какой питч гарантирует интерес? Разбираемся с профессионалом. А ещё это легкий и увлекательный разговор. Смотрите и слушайте: https://youtu.be/0TQ2iuW20Ww — Так мы завершаем наш первый сезон в видео. Аудио в подкасте можно собрать из супер коротких фрагментов речи. Буквально по словам, почти как в анекдоте «ты мне гамму спой, я дальше соберу». Хороший звукорежиссер сделает так, что монтаж будет практически незаметен. В видео каждая склейка бросается в глаза, так что сложность производства в разы выше. Горжусь командой подкаста: редакторами Машей Агличевой и Ритой Берденниковой, продюсерами Даней Астаповым и Ане Коваленко, монтажером Сергеем Христолюбовым. Спасибо Селектелу, который рискнул с нами вместе и оплатил этот банкет. Спасибо вам, дорогие зрители и слушатели! Пожалуйста, пишите свои предложения в комментариях и приватно, можно через бота. Ещё мы подготовили традиционный опрос, там все структурировано и займет не больше 5 минут. Ура!

⁕ ⁕ ⁕ Третья часть этого поста — про будущее. Вчера OpenAI представила первый кастомный чип, который, якобы, на 50% оптимальнее для инференса, чем чипы от NVIDIA. Печатает их TSMC, проектирует Broadcom, стандартный комплект. Энтузиаст недавно прошил microGPT прямо на FPGA. Это такие процессоры, логику работы которых можно поменять за несколько секунд-минут (перепрошить). У них относительная низкая тактовая частота (сотни и даже десятки мегагерц против гигарец современнных процессоров), зато если получится уложить весь алгоритм в «железную логику», то чип начинает выдавать готовый ответ на каждый такт, то есть миллионы раз в секунду. FPGA используют для обработки видео, сигналов, на ракетах и в радарах — в приложениях, где важна скорость и надежность. Есть много экспериментов, когда в них укладывали небольшие модели. Компания TAALAS пошла дальше всех и разработала чип, который реализует Llama 3.1 8B прямо в кремние. Это приличная open source модель 2 летней давности, пусть и с небольшим контекстом (6 тысяч токенов против привычных сотен тысяч сегодня). Самая крутая ИИ-карта Nvidia B200 дает 353 токена в секунду на пользователя в этой модели, а аппаратная реализация TAALAS — 16 тысяч токенов в секунду. Попробовать самому можно на сайте chat jimmy. А теперь представьте, что это нормальная взрослая модель и используется для разработки софта. Дух захватывает. P. S. Параллельно развиваются специализированные локальные модели, которые работают на компьютерах и телефонах пользователей (тут впереди всех Apple) и есть отдельное движение за децентрализованный инференс (как у криптовалют), у его апологетов я недавно брал интервью, но это уже совсем отдельная история.

⁕ ⁕ На пятки этим SOTA моделям наступают китайские open-source и open-weight аналоги GLM-5.2, Minimax M3, Kimi K2.6. Последние месяцы они неустанно приближаются по качеству к ведущим производителям, но зазор всё ещё есть. Доступ к ним по API можно купить в разы дешевле, потому что они меньше, более оптимизированы и конкуренция между провайдерами выше. Интересный аспект: китайским пользователям, так же и как и россиянам, официальный доступ к клоду и chatgpt закрыт, так что есть десятки спекулянтов, которые регистрируют сотни и тысячи аккаунтов, покупают на них подписки и перепродают доступ к ведущим американским моделям. Ходят слухи, что эти «арбитражники ИИ-подписок» в Китае зарабатывают в два конца. Сохраняют всю переписку пользователей с нейросетями (ведь все запросы проходят через них) и продают эти логи создателям китайских моделей. А те потом используют эти логи для дообучения своих моделей. Вообще, если ты можешь задавать вопросы мощной модели, обучение которой стоило десятки миллионов долларов, можно за небольшую долю этих денег произвести так называемую «дистилляцию», и обучить маленькую модель быть почти такой же умной, как и большая. Именно в этом сегодня Anthropic обвинил китайского гиганта Алибабу.

Очень интересно про ИИ-чипы и стоимость инференса. Вопрос не теоретический: мы планируем продолжать работу с клиентом, для которого проводили аудит огромной старой кодовой базы, и если в прошлый раз вся работа с нейросетями влезла в 200-долларовую подписку, то теперь, когда github copilot просит денег за каждый токен, такая же работа встанет в 2 тысячи долларов. Ребята недавно провели эксперимент и выяснили, что личные подписки на клод в 20, 100 и 200 долларов дают сжечь токенов на 400, 2000 и 8000 долларов в месяц соответсвенно. Для тарифов OpenAI, коэффициент ещё выше — 700, 3500 и 14000 долларов в месяц (до 70x!). Насколько сильно субсидированы эти подписки? Какая маржинальность у продажи токенов крупным потребителям? От этого зависит, сохраним ли мы текущий уровень доступа к ведущим моделям или мы с вами живем короткий «золотой век ИИ». Учитывая, что и Anthropic и OpenAI готовятся к выходу на биржу, верить никому нельзя :( Тут конечно все вспоминают бум строительства железных дорог, или пузырь доткомов. Большинство компаний, которые строили железные дороги или прокладывали оптоволоконные кабели обанкротились, но рельсами и оптоволокном мы пользуемся до сих пор. Поживем — увидим.

В Германии уже третий час не ходят поезда, упала специальная сотовая сеть GSM-R, которая поддерживает связь между машинистами и диспетчерами и обмен технической информацией между поездами. Чтобы не было столкновений, все поезда встали. На немецком ЖД-реддите ходят слухи, что причина в кривом обновлении софта. Я и не знал, что у поездов есть своя сотовая сеть из 90-х. У нас уже 5G, а поезда на 2G. Вообще, в этом вся суть инфраструктуры: пока всё работает — никто не замечает. Я восхищаюсь инфраструктурой, и чем более базовая — тем круче. Надеюсь, когда-нибудь возьму интервью у инженера, который занимается водопроводом и канализацией. P. S. Недавно узнал, как работали римские акведуки. Там, оказывается, вода становилась чистая за счет точно рассчитанного наклона трубы; вода течет медленно и вся грязь оседает, но и не слишком медленно, чтобы не застаивалась. 🪄

Помните клиента, который делает стартап в одно лицо и уже напрограммировал два миллиона строк кода? Наш архитектор Леша придумал, как выделить из его монолита отдельный голосовой сервис и написал ADR , а этот парень за день все реализовал :) завтра будем разбираться, не выплеснул ли он по пути ребенка. С таким я ещё не сталкивался — мы ставим клиенту задачи, а он их программирует!