Наталья Касперская

Недавно Reuters опубликовал новость, что США отныне будут запрещать странам, которые участвуют в инициативе PAX Silica, работу с Китаем. PAX Silica — это альянс по использованию искусственного интеллекта, разработанного в США, странами-участниками. Название можно перевести, как «Вселенная кремния» (современные процессоры делаются на основе кремния). В своё время Китай создал аналогичный альянс по использованию китайских ИИ-технологий для желающих этого стран. В этот альянс вошла Россия и еще 37 стран. В отличие от США, Китай не требует лояльности к себе для участия в этой инициативе и провозглашает неправильность любых ограничений по работе с ИИ. Что обе эти инициативы означают для России? И не стоит ли России запустить аналогичную инициативу для отечественного ИИ? Давайте обсудим. Надо понимать, что искусственный интеллект — это технология двойного назначения, причём возможности её военного применения становятся всё более востребованными. При этом США никогда не делали публичными разработки по ИИ в военной сфере, а теперь хотят закрыть разработки в области генеративного ИИ. И для России, конечно же, главным является именно противостояние в военной области. Приведу примеры: американская компания Anthropic выпустила модель Mythos, которая позволяет с небывалой скоростью дизассемблировать (то есть взламывать) программное обеспечение. Американская же компания Palantir делает ПО, которое осуществляет слежку за всем миром и позволяет быстро делать предположения и выводы на основе анализа полученных данных. Ходят слухи, что атаки на Иран спроектированы именно Палантиром. Очевидно, что если у врагов подобные системы есть, а у России нет, то это — огромный риск. Более того, в июле глава ЦРУ Джон Рэтклифф заявил, что ИИ-технологии обладают потенциалом, сравнимым с ядерным оружием. Это сравнение напоминает о ситуации, в которой Советский Союз оказался после того, как США взорвали атомную бомбу в Хиросиме и Нагасаки, продемонстрировав миру наличие у них супероружия. США разработали несколько планов атаки на советские города (самый известный назывался «Дропшот»), которые не реализовались. Несмотря на тяжелейшую ситуацию послевоенного времени СССР успел завершить свой ядерный проект и 29 августа 1949 года провёл демонстрационный атомный взрыв. В результате «Дропшот» — план бомбёжки ста городов России был американцами отменён. Полезно посмотреть на опыт наших дедов. Проект по созданию атомного оружия был запущен в СССР в 1943 году, в разгар войны. Причем, если сначала это был чисто научный проект под руководством И.В. Курчатова, то уже в 1945 году он стал проектом государственной важности. Его возглавил Лаврентий Берия — второй человек в стране. Курчатов получил широчайшие полномочия вплоть до возможности вытаскивать необходимых специалистов с фронта и из лагерей. Для управления проектом был создан Технический Совет, некий аналог современного Штаба по искусственному интеллекту. Но у советского Совета было существенное отличие — туда входили не только государственные мужи, но и учёные (Курчатов, Капица, Харитон, Александров и др.). И у учёных было равное право голоса. Участники проекта получали квартиры, дачи, дома, машины, а за выпуск бомбы были награждены Сталинской премией в размере 5 миллионов рублей (!). Тогдашних, сталинских рублей. Автомобиль «Победа» стоил тогда 16 тысяч рублей. Но, правда, и ответственность участников была высочайшей. Именно такая организация — концентрация ресурсов, управленческих талантов и лучших умов в одном месте в совокупности с правильной системой мотивации — позволила достичь результата. Вернёмся к ИИ. В современном Совете по ИИ учёных или хотя бы профессиональных разработчиков ИИ нет, это чисто бюрократическая структура. К сожалению, на мой взгляд, чисто бюрократическими способами решить задачу такой сложности не получится. Причины две. Первая — это неэффективность конструкции, где начальники без участия учёных и разработчиков решают, что делать. Большинство руководителей у нас в стране — либо гуманитарии, либо занимались техникой давно — так что имеют самое приблизительное представление о сложнейшей технологии ИИ, почерпнутое ими из Интернета.  Вторая причина в том, что бюрократический способ предполагает установление ключевых показателей с последующим их достижением. Но как установить КПЭ к ещё не созданной технологии? Для этого требуется поставить технические вопросы, что могут сделать только технические специалисты. Однако военную задачу также нельзя решить рыночным способом. Например, американцы уже подчинили Пентагону ключевые ИИ-компании (в том числе присвоив техническим директорам частных компаний звания полковников армии США).  Что же делать? Получается, что необходим какой-то гибрид, симбиоз между государством и разработчиками. Возможно, такой площадкой станет созданная Правительственная подкомиссия по развитию и внедрению технологий искусственного интеллекта. Или же такой площадкой выступит Консорциум исследований безопасности технологий искусственного интеллекта (иногда его ещё называют «Консорциум по доверенному ИИ»).  Или какое-то другое объединение, включающее учёных и профильных специалистов с правом решающего голоса. Но совершенно очевидно, что полагаться на Китай и доступ к его технологиям в рамках альянса в военной области России нельзя. Надо придумывать самостоятельное решение. Как говорил тов. Сталин, «либо мы сделаем это, либо нас сомнут». И у нас нет десяти лет, какие были когда-то у Сталина перед войной.

Добрый день, дорогие читатели! Теплого вам августовского дня и приятного отпуска тем, кто отдыхает. Вот и я в отпуске прочла новость от 3 августа про то, что участники Ассоциации Больших данных (АБД), куда входят крупные отечественные компании, разрабатывающие системы ИИ, попросили разрешить Минцифры обрабатывать большие персональные данные без согласия граждан для разработки, обучения и использования ИИ. Мотивация АБД следующая: «Сейчас такие данные продолжают считаться персональными даже после обезличивания, что может тормозить развитие ИИ в РФ. Участники рынка считают, что сейчас рынок данных в России развит слабо, а большинство датасетов остается внутри крупных экосистем». Защиту данных АБД обещает обеспечить через так называемые «технологии повышения приватности». Я задумалась, насколько такой подход опасен с точки зрения защиты информации и существуют ли действительно методы гарантированной деперсонализации данных? Технологии повышения приватности (Privacy Enhancing Technologies — PETs) — это набор математических и программных методов защиты личных данных, позволяющих обрабатывать, передавать и хранить информацию без риска ее утечки или раскрытия. В российском законодательстве понятие PETs отсутствует. РЕТs включают в себя несколько способов деперсонализации данных. Интересующихся первоисточниками отсылаю сюда и сюда. Коротко говоря, существует 6 основных способов деперсонализации, которые я приведу ниже, и прокомментирую. 1. «Замыливание» персональных данных путём добавления к ним статистического шума и разных нерелевантных данных. В принципе, работающий инструмент, но он требует аккуратного подбора соответствующего «шума», чтобы его было сложно снять программным способом и вычленить-таки исходные данные. 2. Государственный обмен данными — это когда некоторая группа исследовательских или медицинских учреждений обменивается данными (например, о болезнях и симптомах), не разглашая персональных данных. В целом, этот метод рабочий и уже широко используется в нашей стране. Хотя, строго говоря, анамнез пациента за несколько лет абсолютно уникален — то есть отстоит далеко от других анамнезов в пространстве данных. Его практически нельзя эффективно обезличить. Стоит участнику «обмена данными» добавить к анамнезу обогащение имеющимися у него данными — например, сведениями о поездках на такси в клиники за последние 10 лет, или данными о заказах в аптеках, или запросами о лекарствах в поисковиках, или данными о страховых возмещениях по ОМС — как тут же сличением векторов однозначно восстанавливается ФИО пациента. Изнутри системы риск утечки данных существует и безо всякого обмена, просто через сотрудников этих самых учреждений. 3. Безопасные многосторонние вычисления — когда университеты, например, обмениваются уже между собой вычисленными данными (сигнатурами, «векторами», «хэшами») об объектах исследования, не передавая персональную информацию вообще. Но для этого способы вычисление «хэшей» и знания об их структуре должны быть общими, что снижает надёжность обезличивания. 4. Гомоморфное шифрование — это сложный математический алгоритм, который даёт возможность делать произвольные вычисления на зашифрованных данных без их расшифровки. Лет 10 назад это стало прорывом в области шифрования. Примеры использования — осуществление поиска по запросу без знания самого запроса; фильтрация спама без чтения содержимого писем; подсчёт голосов без вскрытия конвертов; тесты ДНК без чтения самих ДНК, и многое другое. Это, наверное, самый надёжный способ деперсонализации данных. Правда, я не уверена, что шифрованные данные можно применять для обучения нейросетей. 5. Псевдоанонимизация — когда каждому лицу присваивается идентификатор вместо имени, а потом эти идентификаторы ещё и шифруются. Это довольно дешёвый способ, но не очень надёжный. Потому что идентификацию человека можно провести не по его идентификатору, а по набору его уникальных признаков, например, по лицу или географии перемещений (по «четырём точкам» в городе). 6. Есть ещё метод синтетических данных, который, например, используем мы в ИнфоВотч для тестирования своих продуктов. Он означает генерацию реалистично выглядящих персональных данных в большом количестве. Способ стопроцентно гарантирует безопасность личных данных реальных людей, поскольку не использует их вообще. Но, к сожалению, он практически непригоден для обучения ИИ-моделей, так как последним нужны именно реальные данные. Резюмирую вышесказанное: методы обезличивания действительно существуют и вроде как даже довольно эффективные, по заверениям разработчиков. Но, во-первых, даже на первый взгляд перечисленные методы плохо подходят для обучения нейросетей. Во-вторых, чем надёжнее скрыты (зашумлены, зашифрованы) данные, тем сложнее и дороже их использование для обучения ИИ. А если же компании получат право самостоятельно обезличивать данные, то какой метод они выберут — самый надёжный или самый дешёвый? В-третьих, проверка и сертификация анонимизации — это технически довольно сложная задача. Кто будет этим заниматься? Или дело ограничится собственными добровольными декларациями компаний в духе «мамой клянусь, что надёжно»? Ну, и наконец, есть виды данных, обезличивание на которых вообще не работает. Например, распознавание лиц. Обезличивай – не обезличивай, а лицо всё равно привязано к конкретному человеку. Ну и основной вопрос: а зачем вообще АБД нужны персональные данные? Чему на самом деле можно обучать ИИ-модели на личных данных граждан и зачем? Показу ещё более таргетированной рекламы для стимуляции ещё большего числа импульсных покупок? Построению индивидуальных образовательных траекторий, ценность которых не просто сомнительная, а прямо нарушает право на личную жизнь и судьбу? Построению социального рейтинга? Точно ли стоит ради этих сомнительных или прямо вредных целей отменять или ослаблять ФЗ-152 о защите персональных данных, который в ноябре 2024 года был усилен законодателями при активном сопротивлении цифрового бизнеса и АБД (помните — были введены оборотные штрафы, уголовная ответственность руководства компаний и госорганов за утечку ПДн)? Роскомнадзор, кстати, внимательно следит за выполнением этого закона, защищая права граждан на частную жизнь. Поэтому я всё-таки надеюсь, что данная антиконституционная и антиобщественная инициатива АБД реализована не будет.

Эти вопросы волнуют очень многих родителей, учителей и тех, кто работает с детьми, поэтому я решила ответить на них в отдельном посте.   Как вы относитесь к запретам смартфонов в школах? А к запретам подросткам использовать соцсети? Это поможет детям или просто дань моде?   Я считаю, что ограничение смартфонов в школе — правильное решение. И не только потому, что дети отвлекаются на уроках или бездумно используют нейросети для поиска ответов. Смартфон служит источником отвлечения, а на уроках дети должны сосредотачиваться. Я где-то читала исследование, что во время экзамена по математике (решение задач) испытуемых разделили на три группы. Первой разрешили пользоваться смартфоном. Второй — не разрешили, но дали взять его с собой. У третьей группы смартфоны забрали. Наилучший результат решения задач был в третьей группе. Интересно, что во второй группе, где — казалось бы – смартфоном нельзя было пользоваться, результат был примерно равен результату в первой группе. Исследователи объяснили это тем, что люди отвлекались, глядя на смартфон и надеялись выспросить у него ответ — вместо того, чтобы сосредоточиться на решении задач. Кроме того, именно через смартфон осуществляются разные негативные сценарии воздействия на ребенка. Мошенники, деструктивный контент, порнография, вербовка на деструктивные действия, вовлечение в наркотики — сейчас все это приходит к детям через смартфон. Поэтому чем позже ребенок получит индивидуальный доступ к смартфону, тем лучше. Ограничение соцсетей — другой вопрос. Конечно, вред от соцсетей очевидный — именно там дети находят разный деструктив, описанный выше. Однако, как показывает практика других стран, прямые запреты тут не помогают, особенно в случае подростков. Подростки сейчас очень продвинуты в уровне использования электронных устройств. А значит, они быстро научатся обходить любые запреты.   Например, во Франции ввели возрастные ограничения при регистрации в соцсетях. И население Франции моментально «повзрослело», а пользователей при этом меньше не стало. Поэтому нужны не прямые запреты, а разъяснение того вреда, который можно получить через соцсети. Неплохо продемонстрировать примеры разводок или нехорошего поведения. Этим вы не убережете детей, конечно. Но, быть может, когда они окажется в нехорошей ситуации, они смогут ее распознать и, может быть, избежать.

Мне задают много вопросов по премии «За вклад в безопасность цифрового будущего», которую придумала и запустила ассоциация по защите деловой информации (BISA). На главные вопросы я ответила в этом видео.

Решила вернуться к полузабытой рубрике — вопросы из соцсетей. Пока выбрала два самых частых — про защиту своих данных от мошенников и о запрете смартфонов в школах. Присылать свои вопросы можно на kasperskaya@infowatch.com. Я выбираю самые частые или самые интересные и время от времени отвечаю.   Что вы посоветуете, чтобы защитить свои данные от утечек и мошенников?   Гарантированного ответа на этот вопрос, к сожалению, не имеется. То есть вы можете делать все правильно, а данные всё равно утекут или мошенники всё равно вас разведут. А можете годами не соблюдать правил обращения с данными – и не иметь инцидентов.   Но гигиена – на то и гигиена, чтобы снижать риски. Если вы чистите по утрам зубы, это не гарантирует, что у вас не будет кариеса. А вот если не чистите, то получите кариес почти гарантированно.   Принципы защиты информации, которые можно порекомендовать:   1. Любые облачные технологии (к ним относятся все мессенджеры и соцсети) хранят информацию на удаленных серверах, где вы ее контролировать не можете. Поэтому конфиденциальную информацию там лучше не хранить. Секретные или просто важные документы, фото паспорта и личные документы членов семьи – лучше хранить на компьютере в отдельном разделе.   2. По поводу смартфона: в принципе, смартфон умеет испускать информацию многими способами – через wi-fi, мобильные данные, P2P, Bluetooth. А также к данным на смартфоне может получить доступ производитель платформы и некоторых приложений. Контролировать все вы их не можете. Поэтому особо важную информацию на смартфоне лучше не хранить.   3. Аккуратно подходить к выкладыванию информации о себе в интернете. Люди любят выкладывать свои фото и комментарии к ним, по которым, на самом деле, о них много чего можно узнать, если кто-то захочет этим заняться. Вот вы на Бали (ага, значит, вас нет дома), вот ваше новое авто, вот вы – в дорогих украшениях (повод попытаться развести вашего ребёнка) и пр. Общий совет здесь простой. Чем меньше о вас знает интернет, тем сложнее мошенникам действовать против вас.   4. Совет про использование ИИ-моделей и агентов: люди почему-то относятся к ИИ с меньшим подозрением, часто загружая в модель конфиденциальную информацию. В этом случае можно гарантировать, что информация утечет. А всплыть она может в самый неподходящий момент и в самом неподходящем месте. Будьте аккуратнее с ИИ!   Что касается звонков или сообщений от мошенников, то рекомендаций, как действовать, полно в сети. Жалко, что они не очень помогают. Мошенники действуют всегда по-разному, постоянно изобретают новые схемы. Поэтому ниже я могу дать несколько рекомендаций самого общего характера.   1. Если Вы получили звонок от сотрудника из официальной организации, перезвоните по официальному телефону, чтобы уточнить поступившую информацию. 2. Помните: настоящие сотрудники госорганов и банков никогда не просят проверочные коды и другие личные данные и не настаивают на немедленном совершении каких-либо действий. 3. Немедленно прекратите разговор, если почувствовали давление или попытку выведать личные данные. 4. Если получили денежный перевод от неизвестного лица, сообщите об этом в банк.  5. Не доверяйте выгодным предложениям: слишком дешевым товарам; слишком легкому заработку; обещаниям нерыночных процентных ставок и т. п. 6. Заведите отдельные карты для оплаты покупок на маркетплейсах и других онлайн-площадках с минимальной суммой на них. 7. Договоритесь с близкими о секретных кодовых словах, которые помогут убедиться в реальности собеседника в ситуации подозрения на обман.

Недавно стартовал прием заявок на соискание премии «За вклад в безопасность цифрового будущего». Премию запустила ассоциация по защите деловой информации (BISA), приурочив ее к BIS Summit — ежегодной конференции по информационной безопасности, которую знают и любят многие на рынке ИБ. Организаторами конференции уже почти 20 лет выступают BISA и InfoWatch.   Цель премии — поддержать проекты на стыке цифровизации и информационной безопасности, прошедшие испытание на практике. По моим ощущениям, это первая и пока единственная премия, организованная отраслевым профессиональным сообществом. По задумке организаторов проекты по цифровизации и информационной безопасности представлены в единой связке.    Участвовать можно в пяти номинациях по разным направлениям информационной безопасности. Есть номинации для руководителей, компаний, отдельных проектов, инициатив.   Оценивать конкурсные заявки будет экспертное жюри в состав которого вошли представители государства, бизнеса и профильные специалисты. Участие бесплатное.   Подробнее об условиях участия можно прочитать вот тут, прием заявок закроется в конце августа.

Вышло мое новое интервью в ТАСС. Предыдущее было почти год назад, если не ошибаюсь. В этот раз поговорили с журналистом о том, как меняются специальности в программировании из-за влияния ИИ, почему увольнения людей из-за того же ИИ неэффективны, а также о развитии российского ПО и о том, почему «зоопарк» из ИТ-решений с нами надолго. Еще успели затронуть борьбу с мошенничеством и зарплаты в ИТ. Кому интересно, ссылка здесь: https://tass.ru/interviews/27926649

Вчера мы были в Суздале. Там всю неделю проходит Второй Летний фестиваль Дениса Мацуева, посвященный классической музыке. На вчерашнем концерте играла наша знакомая девочка — Полина Ерёмина. Полину я знаю с младенчества. Мы дружим с её родителями, и они приезжали к нам с Полиной на дачу, когда она ещё была грудничком. Потом родители завели собственную дачу, и видеться мы стали реже. А тут вот пригласили в Суздаль послушать дочь. Последний раз мы Полю видели года три назад, она была обычным ребёнком, только сильно удивляла родителей своим увлечением игрой на фортепиано. А сейчас ей 9 лет. И она — пианист-виртуоз, выступает на фестивале, как солистка. Я, конечно, слышала от родителей про её успехи, но такого не ожидала. Прикладываю видео — качество не очень хорошее, но даёт представление, что творит эта удивительная девочка в свои 9 лет. Полина играет Баха вместе с Владимирским Губернаторским симфоническим оркестром. Я не большой знаток фортепианной игры и не увидела большой разницы между исполнением Полины Ерёминой и знаменитого Народного артиста России Дениса Мацуева. Это потрясающий талант и потрясающий труд. Три часа ежедневных (!) занятий без перерывов и каникул. Всем бы нам так работать, как 9-летней Полине, и все бы мы были тогда Денисами Мацуевыми. Хочу пожелать Полине удачи! Всё остальное — терпение, умение, настойчивость — у неё уже есть.

Восьмого июля Госдума сразу во втором и третьем чтении (на следующий же день после принятия в первом чтении) приняла законопроект по поддержке ИИ. С момента внесения законопроекта в Госдуму и до момента его принятия прошло ровно 7 дней. Никаких публичных обсуждений, никакого учета мнений экспертов. Терминология и формулировки не проработаны, отсутствуют требования по безопасности и соблюдению прав граждан, любая конкретика отнесена в подзаконные акты... Ничто не остановило законодателей от скоропостижной приёмки этого законопроекта. Честно говоря, я не припомню законов в нашей ИТ-отрасли, которые бы принимались в такой спешке. Обычно второе и третье чтения используются для внесения изменений. Здесь ни буквы не изменили — да и как можно хоть что-то содержательно поправить и изменить за сутки? При этом никаких ограничений по небезопасному или недопустимому использованию ИИ в критически и жизненно важных применениях законодатели решили не вводить (а точнее, выбросили их из первоначальных вариантов законопроекта). Речь идёт только и исключительно о поддержке так называемых «больших фундаментальных моделей», которых в нашей стране ровно полторы штуки и больше пока не просматривается. Заметим, кстати, что искусственный интеллект — вещь, безусловно, полезная в экономике, обороне, на транспорте, в правоохране — к «большим моделям» не сводится. Вся эта широкая сфера — распознавание, управление, предиктивная аналитика и др. — осталась в серой правовой зоне. Глава комитета Госдумы по ИТ Сергей Боярский заявил, что «Главная цель этого законопроекта: простимулировать внедрение суверенных национальных моделей искусственного интеллекта во все сферы нашей жизни. Мы не можем проиграть гонку с Соединенными Штатами и Китаем за лидерство в этой области». Сейчас в области фундаментальных моделей Россия серьёзно отстаёт и от США, и от Китая, что известно не только профессионалам, но и пользователям ИИ-моделей. Что изменится в развитии российского ИИ, если мы начнём принудительно внедрять эти модели «во все сферы нашей жизни»? Они сразу перестанут отставать от Запада? Требование по обязательному использованию (не разработке! к качеству разработки в законе требований нет) суверенно-национальных «моделей» везде, где можно, поднимет их качество на уровень иностранных аналогов (а точнее, оригиналов)? Что-то сомнительно. Но зато примерно понятно, куда именно пойдут государственные средства на поддержку «искусственного интеллекта». Вот тогда и заживём…

Коль скоро мы начали обсуждать законопроект Минцифры РФ «О поддержке ИИ», то надо разобрать не только определение большой фундаментальной модели, которое мы разбирали на прошлой неделе, но и весь законопроект. К сегодняшнему посту прилагаю разбор (вложение в начале поста), который мы сделали вместе с Игорем Ашмановым. Краткие выводы из этого обзора следующие: ⬜️ Законопроект страдает декларативностью, терминологической несистемностью, избыточным делегированием полномочий Правительству РФ и принципиальным игнорированием вопросов безопасности.   ⬜️ Проект фактически направлен на закрепление монопольного положения двух разработчиков ИИ — Сбербанка и Яндекс, которых ни в чём нельзя ни проверять, ни ограничивать.   ⬜️ Из проекта выброшены любые ограничения или проверки ИИ на доверенность и безопасность, даже для критических применений. Само понятие доверенности ИИ также удалено полностью.   ⬜️ В проекте практически полностью отсутствует защита прав граждан, в том числе права тайну частной жизни, на информированность, права на защиту от принятия автономных решений техническими системами относительно их прав и судеб, и отказ от использования ИИ.   5️⃣Законопроект вторгается в область Гражданского Кодекса в сфере авторского права — делается попытка разрешить цифровым гигантам брать любой авторский материал «для обучения моделей», а по сути, бесплатно и произвольно использовать по своему усмотрению, без спроса или даже уведомления авторов. 6️⃣  Законопроект практически не содержит норм прямого действия, представляя собой пустую «рамку», то есть пытается подменить законодательную власть законотворчеством исполнительной власти путём последующего принятия несуществующих в настоящее время подзаконных актов в обход парламента.   ОБЩИЙ ВЫВОД: Принятие законопроекта в таком виде закрепит отставание нашей страны и приведет к краху отечественной отрасли ИИ.