В последние годы организации часто интересуются последствиями отравления данных для безопасности, что стало серьезной проблемой для организаций, работающих с системами искусственного интеллекта (ИИ) и машинного обучения (МО). Когда вы говорите о методах и мотивах злоумышленников, отравление данных, как правило, представляет собой относительно аккуратную и четко определенную категорию.
Но если вы рассматриваете в первую очередь воздействие на ваши системы, как это обычно бывает в командах кибербезопасности, бывает сложно сразу отличить преднамеренные атаки от непреднамеренных последствий того, как разработаны системы ИИ или откуда берутся данные, на которых они обучаются. В этом блоге рассматриваются некоторые системные проблемы, от которых страдают системы ИИ/МЛ, с целью объяснить, почему этические рамки и нормативное регулирование важны для обеспечения эффективного и правильного функционирования ИИ.
Как ИИ может ошибаться в отсутствие злоумышленников?
Можно создать консультативную систему ИИ, которая будет обучаться на реальных и точных данных, но в итоге получит неэтичные результаты. В качестве примера можно привести предиктивный текст. Первые модели ИИ для прогнозирования текста обучались на документах, находящихся в открытом доступе, обычно оцифрованных газетах и книгах, хранящихся в Библиотеке Конгресса США или других архивных библиотеках, таких как Национальный архив Австралии. Они «читали» текст и строили модели на основе повторяющихся слов, расположенных рядом друг с другом. Первые библиотеки предиктивного текста, использовавшиеся в смартфонах, невольно стали в некоторой степени сексистскими и расистскими. Например, при написании слова «инженер» модель генерировала термины с мужским кодом, поскольку текст той эпохи отражал преобладающие взгляды того времени. После того как проблема была выявлена, модели были скорректированы для устранения этого источника предвзятости.
Еще одним способом проникновения предвзятости и нежелательных элементов в модели ИИ является краудсорсинг наборов данных. Многие данные, которые используются для обучения ИИ, на самом деле поступают от людей, часто через краудсорсинговые платформы, такие как Amazon Mechanical Turk. ImageNet – пример визуальной базы данных, в которой для маркировки множества изображений использовался краудсорсинг, что привело к появлению случаев расовой предвзятости (а также некоторых откровенно расистских высказываний), которые впоследствии могли быть поглощены моделями ИИ. Независимо от того, берутся ли обучающие данные из общедоступных документов или с помощью краудсорсинга, необходима прозрачность, чтобы можно было выявить и устранить системные проблемы, скрывающиеся в наборах данных.
Чтобы понять, насколько серьезным может быть влияние на человека скомпрометированных консультационных и автоматизированных систем принятия решений, давайте рассмотрим вынесение уголовных приговоров. Во всех демократических странах с высоким уровнем индивидуальных свобод и подотчетности существует общая тема перегруженных работой судов низшей инстанции (например, мировых судов, судов первой инстанции, районных судов), где судьи и магистраты испытывают чрезвычайную нагрузку при рассмотрении дел. В таких сценариях значительную степень операционной эффективности можно получить за счет сокращения времени, необходимого для вынесения приговора. Когда судья или магистрат должен вынести приговор после вынесения вердикта, ему приходится учитывать законодательные обязательства, прецеденты и ожидания общества, а также тяжесть преступления, а это требует времени. В связи с этим многие юрисдикции прибегают к помощи искусственного интеллекта, который изучает информацию по делу, прогоняет ее через модели и затем дает рекомендации по вынесению приговора.
К сожалению, как и языковые модели, эти системы обучаются на старых и длинных массивах данных и часто дают рекомендации, отражающие менее просвещенные времена, рекомендуя более длительные и суровые приговоры для людей определенных этнических и демографических групп. Поскольку судьи перегружены работой, а человек склонен верить машине больше, чем всему остальному, это привело к тому, что судьи стали применять результаты работы машин, а не свои собственные суждения, что привело в ряде случаев к вынесению довольно расистских и непомерно высоких приговоров. Проблему усугубляет отсутствие прозрачности в отношении того, как работают модели ИИ и на каких данных они обучаются.
Осталось рассмотреть последнюю проблему: неидеальный цикл. В этом случае ИИ используется для получения результата, который сам по себе является приемлемым, как это делают современные инструменты генеративного ИИ; однако когда этот результат используется для обучения других моделей ИИ, это может привести к эскалации и усилению нежелательных эффектов, что в лучшем случае приведет к нелепым результатам, а в худшем – к разрушительным. В случае с рассмотренной нами системой вынесения приговоров, если это не будет контролироваться, будущие модели будут способствовать дискриминации и вынесению несоразмерно больших приговоров. Если генератор изображений ИИ обучается на других изображениях, сгенерированных ИИ, это может привести к тому, что последующие генерации будут выглядеть одинаково или бессмысленно.
Этот тип деградации моделей ИИ может быть особенно сильным в организациях, обучающих модели на собственных данных клиентов, использующих модели для создания синтетических данных и затем применяющих обучение к полученным результатам. Хотя нелепости часто можно быстро выявить, более коварными являются неточные или отклоняющиеся результаты, которые трудно обнаружить, но которые оказывают значительное влияние на последующее принятие решений или анализ. Например, финансовое учреждение может моделировать прибыльность клиентов с помощью набора моделей, которые затем используются другими моделями для создания синтетических клиентов, которые затем используются для создания моделей изменения прибыльности учреждения или вероятности того, что конкретные клиенты будут работать с течением времени. В таком случае клиентам может быть отказано в доступе классическим способом «компьютер сказал «нет»», при этом никто не знает, почему компьютер сказал «нет».
Какое отношение это имеет к кибербезопасности?
Когда я говорю на эту тему, люди обычно останавливают меня. «Ладно, это ужасно, – но какое отношение это имеет к кибербезопасности?» К сожалению, к безопасности это имеет *абсолютное* отношение.
Мы все больше зависим от ИИ во всех сферах кибербезопасности. Началось все с вредоносного ПО (переход от сигнатур к поведенческому и функциональному анализу), затем это был анализ журналов (переход от корреляции к обнаружению аномалий и анализу поведения пользователей), а теперь это все. Модели машинного обучения и искусственный интеллект решают, следует ли вам получить доступ к ресурсу, представляет ли пользователь повышенный риск, безопасен ли доступ к ресурсу и находится ли злоумышленник не только в ваших системах, но и в ваших данных. Мы не можем обойтись без ИИ, поскольку это единственный способ масштабировать наши операции на асимметричном поле кибербоя. В каждом новом программном обеспечении или сервисе будет присутствовать элемент ИИ или МО; в этом смысле они будут похожи на то, чем облако было для программного обеспечения и приложений 15 лет назад. Приложения постепенно перешли в облако, а те, которые не перешли, применяли принципы облака в своих частных средах. В киберпространстве мы перейдем от использования ИИ в защитных методах и методах обнаружения к его применению в противоборстве.
Но все же, как эти проблемы влияют непосредственно на кибербезопасность? Опять же, все инструменты, используемые в кибернетических целях, подвержены опасностям, описанным выше. Например, представьте себе сценарий, в котором вы обучили искусственный интеллект, изучающий инциденты потери данных и сигналы о поведении пользователей. В качестве обучающих данных будут использоваться данные из истории вашей организации; не были ли эти данные случайно отравлены плохо настроенными политиками? Что произойдет, если ваш ИИ будет блокировать доступ законных пользователей к системам или отказывать в доступе к ресурсам из-за того, что обучающая модель попала в неидеальный цикл, усиливающий важность выбросов? Что произойдет в сценарии, когда ваш ИИ неверно решит, что сотрудник домогается кого-то или рискует навредить себе?
Что с этим делать?
Цель этого блога – помочь вам понять, как возникают непреднамеренные предубеждения и отравление данных и насколько серьезными могут быть последствия для человека, когда эти проблемы остаются без внимания. А также, почему этические рамки и регулирование необходимы для ИИ, а не просто отвлекают внимание организаций, когда они преследуют свою конечную цель. В заключение поговорим о том, что делается в этой области.
Этические рамки
Разработка лучших практик этики в области ИИ – сложная задача, поскольку технология развивается очень быстро, но ряд организаций государственного и частного секторов взяли на себя ответственность за создание рамок и информационных центров по этическим вопросам. Вот небольшая выборка того, что уже существует:
Нормативное регулирование
В то время как работа над этическими основами может показаться бессистемной, реальное регулирование ИИ находится в зачаточном состоянии. Закон ЕС об ИИ – один из первых крупных законодательных актов, устанавливающих нормативное регулирование приложений ИИ. В США президент Байден недавно издал указ о создании стандартов и руководящих принципов для разработки и использования ИИ. Это самый широкий набор правил в США, основанный на некоторых законах, принятых американскими штатами в отношении использования ИИ, и сам по себе он заслуживает анализа и изучения.
Кроме того, Всемирная организация здравоохранения предложила принципы регулирования, касающиеся именно здравоохранения. Разумеется, это не говоря уже о том, как влияют на использование искусственного интеллекта существующие правила безопасности и конфиденциальности данных, такие как GDPR.
Будущее за регулированием
Вся эта активность, вероятно, вызовет рост регулирования в крупных экономиках и торговых блоках, что на некоторое время может привести ко все более разрозненному нормативному ландшафту, по крайней мере, на данный момент.
Можно с уверенностью предсказать, что нынешняя эра «Дикого Запада» ИИ и МО быстро угаснет, оставив организациям значительную нагрузку по соблюдению нормативных требований, когда они захотят воспользоваться преимуществами этой технологии.
Разобраться со всем этим будет непросто, однако мы должны понимать, насколько важен подход к ИИ с точки зрения этического проектирования и соблюдения нормативных требований, если мы хотим защитить множество людей, пользователей и других людей, на которых влияют эти системы.
Источник: Why Do We Need Ethical Frameworks and Regulation for AI?
