Градиент обреченный

🔺 Сделал датасет Выложил небольшой датасет на языках России. 🟢 22 языка: алтайский, башкирский, бурятский, горномарийский, дигорский, кабардино-черкесский, калмыцкий, карачаево-балкарский, коми, кубачинский, марийский (луговой), мокшанский, орокский, осетинский (иронский), русский, татарский, удмуртский, хакасский, чувашский, чукотский, эрзянский, якутский. 🟢 По 1565 предложений в каждом. 🟢 Сделан по всем редакциям Маленького принца, которые собирали последние несколько лет + 3 новые (чукотский, карачаево-балкарский и дигорский). 🟢 Выравнивалось вручную при помощи lingtrain-aligner. Выверялось и корректировалось при помощи Fable. Посмотрели несколько редакций с носителями, одобряют. 🟢 В некоторых редакциях предложений не хватало, такие предложения были допереведены Fable на основе имеющейся лексики и помечены в отдельных колонках. Также была исправлена пунктуация на концах предложений для единообразия. Даёшь больше языковых датасетов! 👉 HF

🔺 Inkling. Открытая модель от Миры Мурати Мира Мурати — бывшая CTO OpenAI, которая ушла примерно полтора года назад, чтобы основать свою компанию Thinking Machines Lab. Компания привлекла 2 млрд долларов и выпускает свою первую открытую модель. 🟢 975B параметров, 41B активных (MoE архитектура). 🟢 Обучалась на 45 трлн токенов. Звучит как дофига, но кроме текстов там ещё картинки, аудио и видео. Разбиения не дают, но модель мультимодальная, то есть нативно понимает разные типы данных. 🟢 Модели поменьше будут, пока есть превью версия на 12B активных параметров. 🟢 По бенчмаркам нигде не проседает и нигде не выигрывает (держится ближе к топу), т.е. модель общего назначения, которую можно дообучать и использовать большим компаниям (лицензия Apache 2.0). Запустить её у себя просто так не получится, слишком большая. Даже в FP4 должно быть где-то 500-600 Гб по памяти. 🟢 Также пишут интересные детали обучения в блоге, типа что за основу взят DeepSeek-V3 и что отказались от популярных RoPE эмбеддингов (штуки кодирующие позиции токенов) в пользу позиционных. 👉 Попробовать можно у них на платформе Tinker. В целом молодцы, что опенсорсят большие модели, одобряем.

Пока книжками занимаюсь, слежу за тем, что можно использовать, а что нельзя. Оказывается, буквально на днях суд признал права наследников Булгакова (потомков третьей жены) на его произведения отсутствующими и все книжки, включая «Мастера и Маргариту», перешли в статус общественного достояния. Сам Булгаков умер ещё в 40-году, а права охраняются 70 лет после смерти автора, т.е. уже истекли. Но Мастер и многие другие произведения были опубликованы посмертно в конце 60-х вдовой писателя, из-за чего использовать тексты и что-то делать по их мотивам без разрешения потомков было нельзя.

Самый важный вопрос.

Вот это, кстати, интересная штука. Вместо даунгрейда на более простую модель как у Fable, вылазит такая опция. Спрашивает, хочу ли отправить свою таску на safety check и ждать или переключиться и продолжить с другой моделью. Антропик, записывай.

В общем для простых работяг модель что надо. Передайте там, что можно фейбл отключать.

Ничего себе, думаю, кидаю в Sol задачи одну за другой, а пятичасовой лимит так медленно ползёт

Попробуем Sol в деле. Как оно, лучше моделей антропика?

Уехал подальше к родителям отдохнуть, а они тут фейблом тычут. Что за люди.

Они так и будут по неделе продлевать?