16.09.2024
Корпорация Microsoft заявила, что им необходимо укреплять доверие к искусственному интеллекту. Этого невозможно достичь без полного понимания тех изменений, которые вносит ИИ.
В рамках исследовательской группы Microsoft по искусственному интеллекту создана Red Team, в которой собрались специалисты по кибербезопасности, нейробиологии и лингвистике. Их цель — изучить, как злоумышленники могут использовать ИИ для манипуляций и обмана.
Вопросы кибербезопасности становятся актуальными на глобальном уровне, и Казахстан не является исключением. В прошлом году зафиксировано более 223 млн попыток кибератак из-за рубежа. В ответ на это Казахстан продолжает совершенствовать защиту данных, занимая 78-е место из 176 стран по Национальному индексу кибербезопасности с результатом 48,05%. Уровень цифрового развития населения установлен на отметке 60,18%.
С развитием технологий ИИ, злоумышленники придумывают все более сложные методы, что требует новых подходов для борьбы с угрозами. Такие приложения, как ChatGPT и Copilot, меняют привычное понимание вопросов кибербезопасности. Возникает необходимость комплексного подхода, где важно понимать технические аспекты, человеческую психологию и социальные факторы.
Red Team для борьбы с кибератаками изучает проблему с разных точек зрения, включая взгляд самих злоумышленников. Руководит командой Рам Шанкар Шива Кумар. Red Team фокусируется не только на киберугрозах, но и на оценке социальных последствий использования генеративного ИИ. В условиях, когда ИИ используется для создания фальшивых изображений и манипуляции информацией, возрастает риск социальных конфликтов и дезинформации.
«Кибербезопасность, ответственное использование ИИ и более широкое безопасное применение ИИ — это разные стороны одной медали. Необходим комплексный подход “одного окна”, поскольку это единственный способ получить всестороннее представление о рисках», — поясняет Шива Кумар.
Он сотрудничает с исследователями программы Microsoft Aether, исследуя, как ИИ-модели могут нанести вред, как вследствие ошибок алгоритмов, так и из-за вмешательства человека.
«Наша работа охватывает широкий спектр потенциальных угроз, и мы подтвердили наличие нескольких из них. Мы быстро адаптируемся и часто корректируем свои стратегии — в этом мы видим залог успеха. Перемены не должны подталкивать нас к действию — мы должны предвидеть их», — считает Рам Шанкар Шива Кумар.
Его команда не работает напрямую с инженерами, создающими ИИ. Их задача — выявление и анализ угроз, связанных с созданием вредоносного контента. Обнаружив проблему, Red Team передает её в отдел оценки рисков, где специалисты проводят глубокий анализ и находят решения.
Участники Red Team имитируют различные роли — от подростков-шутников до профессиональных преступников, чтобы выявить слабые места в системах ИИ. Команда включает специалистов из разных стран, владеющих 17 языками, что помогает учитывать культурные особенности и риски в различных регионах. В своей работе они также использует большие языковые модели (LLM) для автоматизации атак на другие ИИ-системы.
Red Team выпустила ряд открытых инструментов, таких как Counterfit и Python Risk Identification Toolkit для генеративного ИИ, доступные специалистам по кибербезопасности и разработчикам для анализа рисков. Также они активно делятся своими наработками с профессиональной аудиторией на различных мероприятиях.
«Мы недавно начали использовать генеративный ИИ и уже признали, что он предоставляет значительные преимущества. Однако существует недоверие к инструментам ИИ, что может помешать дальнейшему прогрессу. В ответ Microsoft мобилизовала значительные ресурсы для обеспечения контроля за разработкой и использованием искусственного интеллекта с целью сохранения положительного воздействия на общество и устранения негативных последствий», — отметила региональный технический директор Microsoft Рената Страздина.
Фото: Freepik
