В Microsoft создали инструменты, которые не позволят пользователям обманывать чат-ботов с ИИ

Пятница, 29.03.2024 13:04

Microsoft пытается сделать так, чтобы пользователям было сложнее обманывать чат-боты с искусственным интеллектом, заставляя их делать удивительные или неоднозначные вещи. Об этом пишет Bloomberg.

Для этого компания разработала специальные инструменты, которые встроены в Azure AI Studio – сервис, позволяющий создавать персонализированные ШИ-помощники.

Эти инструменты содержат специальные prompt shields, цель которых состоит в выявлении и блокировании преднамеренных попыток заставить ШИ-модель вести себя непредсказуемым образом.

Кроме этого, Microsoft борется с indirect prompt injections, когда хакеры вставляют вредные инструкции в обучающие данные, заставляя модель выполнять такие незаконные действия, как кража информации или захват системы.

В Microsoft объясняют, что новые средства защиты призваны обнаруживать подозрительные входящие данные и блокировать их в режиме реального времени. Компания также внедряет функцию, которая предупреждает пользователей, когда модель придумывает что-либо или генерирует ошибочные ответы.

Microsoft стремится повысить доверие к своим инструментам генеративного ИИ, которыми сейчас пользуются как потребители, так и корпоративные клиенты.

В феврале компания расследовала инциденты, связанные с чат-ботом Copilot, генерировавшим ответы, которые варьировались от странных до вредных. После анализа инцидентов Microsoft заявила, что пользователи намеренно пытались ввести Copilot в заблуждение, чтобы он генерировал ответы.

Tags: Microsoft Киберзащита Софт Искусственный интеллект

11-09-24 -

Очередная технологическая революция вызревает в российско-украинской войне

18-06-24 -

НАТО инвестировала 1 млрд евро в искусственный интеллект, роботов и космические технологии

22-05-24 -

США считают, что Россия запустила космическое оружие на пути американского спутника − Reuters

30-04-24 -

Украина наращивает выпуск дронов дальнего действия. В WSJ рассказали подробности

09-04-24 -

Терминалы Starlink помогают ВС РФ в Украине, компания Маска их не отключила, — WSJ

05-03-24 -