Data Science. SQL hub

SQL и Python есть: что часто отсекает на собеседовании Классика вакансий на аналитика: SQL и Python на уровне «уверенно», статистика — «понимание методов A/B-тестирования и работы с большими выборками». Первые две галочки ставятся спокойно. Третья часто оказывается самым сложным местом на собеседовании. Статистика и ML (машинное обучение) плохо ложатся на короткие курсы — они дают фрагменты, а не систему. Академическая программа работает иначе: серьезная математическая база плюс прикладные задачи по ML. Именно так устроена совместная онлайн-магистратура karpovꓸcourses и НИУ ВШЭ «Аналитика больших данных». От ВШЭ — экспертиза и опыт одного из крупнейших вузов России, от karpovꓸcourses — практический опыт в сфере анализа данных. 21 июля в 18:00 мск проведут бесплатный День открытых дверей. На эфире разберут: из чего состоит программа, как устроена практика через тренажеры от karpovꓸcourses и как совмещать обучение с работой. Ведут эфир Анатолий Карпов — основатель karpovꓸcourses, самый популярный эксперт в сфере аналитики данных (по данным NEWHR) — и Евгений Соколов, руководитель департамента больших данных и информационного поиска ФКН НИУ ВШЭ. Присоединяйтесь по ссылке — после эфира всем участникам придет запись: https://clc.to/erid_2W5zFGPtHER Реклама. ООО «КАРПОВ КУРСЫ». ИНН 7811764627. erid: 2W5zFGPtHER

Кто-то разобрал Claude Code почти до винтика learn-coding-agent - репозиторий для тех, кто хочет понять, как устроены современные coding agents не на уровне промо-страниц, а на уровне архитектуры. Автор собрал разбор Claude Code по публичным источникам: цикл агента, систему инструментов, разрешения, работу с контекстом, сессии, подпроцессы, MCP, удалённые настройки, телеметрию и скрытые флаги. Получился не “гайд по использованию”, а карта внутренней логики CLI-агента: как он принимает решение, когда просит разрешение, как вызывает инструменты, как хранит историю и как расширяется через внешние интеграции. https://github.com/justxor/Claudecourse/

PostgreSQL переписали на Rust с нуля. И это уже не игрушечный прототип. Проект pgrust заявляет, что новая реализация: • проходит 46 066 запросов из regression-тестов PostgreSQL 18.3 • совместима с текущей директорией данных Postgres • запускается в браузере как демо Rust даёт безопасность памяти, а AI-assisted development помогает быстрее разбирать и переписывать огромную кодовую базу. Самая дерзкая часть: авторы говорят о WIP-версии, которая пока не опубликована, но якобы даёт до +50% в transactional workloads и до 300x в аналитике. Звучит почти слишком смело, поэтому к цифрам лучше относиться осторожно. Но сама идея мощная: взять одну из самых сложных СУБД в мире и пересобрать её на Rust, сохранив совместимость с PostgreSQL. GitHub: https://github.com/malisper/pgrust

SQL-задача с подвохом: почему запрос вернёт 0 строк? Есть таблицы: users id | name 1 | Anna 2 | Boris 3 | Dima orders id | user_id 1 | 1 2 | NULL Нужно найти пользователей, у которых нет заказов. Кто-то пишет так: SELECT * FROM users WHERE id NOT IN ( SELECT user_id FROM orders ); Ожидание: Boris Dima Но результат может быть: 0 rows Подвох в `NULL`. Подзапрос возвращает: 1, NULL А выражение: id NOT IN (1, NULL) превращается в логическую ловушку. SQL не может точно сказать, что id не равен NULL, потому что NULL — это неизвестность. Правильнее так: SELECT * FROM users u WHERE NOT EXISTS ( SELECT 1 FROM orders o WHERE o.user_id = u.id ); Правило: если в подзапросе может быть NULL, осторожнее с NOT IN. Часто безопаснее использовать NOT EXISTS.

🔥 Подтверди навыки работы с данными: сертификация Yandex Cloud со скидкой 50% Коллеги, у кого в работе есть Yandex Cloud или кто хочет добавить весомый плюс в резюме — сейчас отличное время. До 25 сентября включительно можно пройти сертификацию со скидкой 50%. Два уровня на выбор — под любой опыт. Что доступно: 1️⃣ Data Engineer — подойдёт, если вы уже работаете с облачной платформой. Проверяют загрузку, обработку, ETL/ELT, оркестрацию и безопасность. Хороший базовый уровень для систематизации знаний. 2️⃣ Lakehouse Data Engineer — продвинутый вариант для тех, кто проектирует решения на архитектуре Lakehouse. Глубже, сложнее, солиднее для резюме. Как проходит экзамен: Онлайн, с прокторингом — запись на камеру, всё честно. Никаких сюрпризов. 📌 Успейте зарегистрироваться до 25.09.2026: 🔗ссылки Потом цена вернётся к обычной — успевайте! 💪

Hibernate сгенерировал странный SQL, а ты не понимаешь, откуда он взялся? У Vlad Mihalcea есть полезный приём: логировать не только сам SQL-запрос, но и stack trace места, где Hibernate его создал. Для этого используется QueryStackTraceLogger из Hypersistence Utils. Сценарий понятный: * DBA нашёл медленный запрос * в логах видно SQL * рядом видно Java-цепочку вызовов * по stack trace можно выйти на repository, service или controller Это особенно полезно для расследования N+1, слишком частых запросов и тяжёлых SQL, которые внезапно появляются в проде. В Spring Boot это подключается через STATEMENT_INSPECTOR, а затем включается DEBUG-логирование для Hypersistence Utils. Итог: ты видишь не просто “какой SQL тормозит”, а кто именно в коде его породил. https://vladmihalcea.com/source-sql-query-hibernate/

🌟 Контекст в PNG экономит токены до 70% Pxpipe - локальный прокси, который перед отправкой запроса ассистенту превращает куски контекста в картинки. Приём эксплуатирует особенность тарификации - текст стоит примерно один токен за символ, а изображение - фиксированное число токенов, зависящее только от размера в пикселях, а не от объёма текста внутри. На плотном контенте в один визуальный токен удаётся упаковать около 3,1 символа. 🟡Механика Прокси перехватывает запросы к Claude Code и рендерит в PNG самые объёмные и редко меняющиеся блоки (системный промпт, документацию инструментов и старую историю переписки). Свежие сообщения и ответы модели идут обычным текстом. Пример: около 48 тыс символов системного промпта и документации, которые как текст стоили бы примерно 25 тыс токенов, помещаются на одну PNG-страницу за ≈2700 токенов. На Fable 5 стоимость сессии упала с 42 до 6 долларов. 🟡 Тесты Fable 5 читает такие рендеры практически без потерь (100% на бенчмарке с новыми задачами), а вот Opus 4.7 и 4.8 ошибаются примерно на 7% изображений. GPT 5.5 тоже деградирует на картиночном контексте, поэтому обе модели по умолчанию выключены и включаются вручную. 🟡Плата за экономию в потере точности На методе lossy важные строки вроде хешей и идентификаторов при чтении с картинки могут исказиться. Хуже когда промахи выглядят не как ошибки, а как правдоподобные выдумки. Зрение модели это не OCR, изображение превращается в патч-эмбеддинги, и там, где пикселей не хватает, языковая модель просто достраивает похожее. Второй минус - это скорость. PNG-кодирование добавляет задержку из-за использования визуальныго энкодера, что дольше, чем чтение текста. Надеемся, что при массовом распространении такого трюка вендоры не поднимут цены на обработку изображений. 📌Лицензирование: MIT License 🖥GitHub @ai_machinelearning_big_data #AI #ML #LLM #Coding #Pxpipe

Хотите развиваться в Data Science? Строить ML-продукты для миллионов пользователей? Авито и ведущие вузы страны открывают набор на две совместные магистратуры. Для тех, кто хочет в Data Science — «Прикладное машинное обучение и анализ данных» (МФТИ). Современные ML-подходы, работа с реальными данными Авито, эксперты компании и преподаватели МФТИ. Заявки до 12 июля. Для тех, кто хочет работать над ML-продуктами — «Машинное обучение в цифровом продукте» (НИУ ВШЭ). Полный цикл разработки ML-решений, практические кейсы Авито, преподаватели из индустрии. Заявки до 8 августа. Что объединяет все три программы: эксперты Авито и вузов, реальные бизнес-задачи, сильное профессиональное сообщество и шанс попасть в Авито уже во время обучения. Старт — в сентябре. Выбирайте программу и делайте шаг к карьере в IT вместе с Авито.

📌Claude Code изменил чужую продакшен-базу На GitHub появился любопытный тикет, который (если подтвердится) бьёт по базовой гарантии Антропик - изоляции пользователей друг от друга. В рабочем контексте Claude Code внезапно оказались чужие учётные данные - IP и root открытым текстом от сервера, к которому автор не имеет никакого отношения. 🟡Дальше самое неприятное Ассистент принял чужие креды за легитимные, подключился к серверу по SSH, перечислил Docker-контейнеры и базы PostgreSQL, после чего выполнил миграцию с операциями чтения и записи. Иными словами, ИИ одного пользователя отредактировал базу другого без ведома и согласия владельца. 🟡Причина пока неизвестна В тематических сообществах обсуждают версию сбоя изоляции кэша общих префиксов. Чтобы удешевить инференс и ускорить обработку, провайдеры переиспользуют кэшированные фрагменты диалогов, и при коллизии ключей кэша или отказе разграничения кусок чужого контекста теоретически может просочиться в вашу сессию. Если эта версия верна, под угрозой данные любого пользователя. Но это лишь одна из гипотез, в самом отчёте среди возможных векторов названы также общее хранилище сессий, путаница при суммаризации контекста и перекрёстные ссылки в транскриптах. 🟡Есть и куда более прозаичное объяснение Возможно, это галлюцинация модели, случайно угадавшей реальный IP и слабый пароль, либо локальная история проекта, загрязнившая контекст. Пока Антропик не выпустила официального заключения, ни одну из версий нельзя ни подтвердить, ни отвергнуть. Автоматика GitHub повесила на тикет метку security. @ai_machinelearning_big_data #news #ai #ml

✔️ Data-Juicer: пайплайн для подготовки данных под foundation models Alibaba и сообщество Data-Juicer развивают open-source систему для обработки датасетов перед обучением, дообучением и RAG. Data-Juicer помогает чистить, фильтровать, дедуплицировать, синтезировать и анализировать данные. Работает не только с текстом, но и с мультимодальными датасетами: изображениями, аудио и видео. В версии 2.0 заявлено больше 100 операторов для разных модальностей. Практический сценарий понятный: есть сырой корпус из разных источников, где много дублей, мусора, слабых примеров и перекоса по доменам. Data-Juicer позволяет собрать воспроизводимый data recipe, прогнать его на локальной машине или в распределённом режиме и потом оценить, как изменения в данных влияют на модель. Проект смотрит на данные как на отдельный слой оптимизации. Позволяет настроить качество, смесь, фильтры и пайплайн обработки. В ранней работе авторы показывали прирост до 7.45% по среднему score на 16 LLM-бенчмарках и 17.5% win rate в GPT-4 pairwise evaluation за счёт data recipes. https://github.com/datajuicer/data-juicer