Хакер заставил ChatGPT предоставить подробные инструкции

[Ятаган]

Хакер заставил ChatGPT предоставить подробные инструкции по изготовлению самодельных взрывных устройств

ChatGPT по заверению разработчиков не распространяет опасную информацию, но похоже, его можно обмануть и заставить выдавать пошаговые инструкции по созданию бомбы из удобрений.

Исследование показало наличие потенциальной уязвимости в больших языковых моделях, таких как ChatGPT. Хакер смог успешно манипулировать искусственным интеллектом, чтобы тот предоставил подробные инструкции по созданию бомбы из удобрений, что вызывает опасения по поводу злоупотребления такой технологией.

Хакеру по имени Amadon удалось обмануть ChatGPT (скорее всего речь шла о модели GPT-4o) и заставить его создать инструкции по изготовлению, сказав боту «поиграть в игру», после чего хакер использовал серию подключаемых подсказок, чтобы заставить чатбота создать подробный научно-фантастический мир, где правила безопасности бота не будут применяться.

Хотя обычно ChatGPT придерживается правил безопасности и отклоняет запросы о вредоносной информации, этот инцидент демонстрирует, что сложные техники формулировки запросов могут обойти эти меры предосторожности.

Эксперты выразили тревогу по поводу потенциальных последствий такой уязвимости, подчеркнув необходимость усиления мер безопасности и этических соображений при разработке и внедрении систем искусственного интеллекта. Чем более человечными становятся большие языковые модели (LLM), тем больше возможностей для социальной манипуляции ими может применяться.

В связи с этим важно разработать эффективные методы защиты от подобных атак, чтобы минимизировать потенциальные риски в будущем.

P.S. Пока непонятно, подвержена ли данной уязвимости новая модель OpenAI o1.

Источник: https://habr.com/ru/companies/hostkey/news/843102/