Pesquisadores da Check Point mostram que quatro modelos de IA que verificam prompts antes do processamento não detectaram instruções maliciosas escondidas em textos comuns em 23 testes
Os pesquisadores da Check Point Research (CPR), divisão de inteligência de ameaças da Check Point Software, identificaram uma nova técnica de injeção de prompt capaz de esconder instruções que violam políticas de segurança dentro de textos comuns, bem escritos e sem características que normalmente levantariam suspeitas em sistemas automatizados de proteção. Batizada de PuzzleMask, a técnica conseguiu passar por quatro modelos de inteligência artificial que verificam os prompts antes de eles chegarem aos sistemas responsáveis por processá-los.
Nos testes realizados pelos pesquisadores da CPR, os quatro modelos deixaram passar todas as instruções maliciosas quando elas foram incorporadas a textos escritos em linguagem natural. Foram 23 testes, com uma taxa de 100% de evasão dos controles. Em uma segunda etapa, um modelo mais avançado conseguiu recuperar e agir sobre as instruções escondidas em 17 de 18 testes, ou 94%.
O resultado da investigação da CPR expõe uma fragilidade em uma arquitetura cada vez mais utilizada em aplicações de IA. Nela, um modelo rápido e de menor custo analisa o conteúdo recebido e funciona como uma barreira antes de encaminhá-lo a um modelo mais poderoso, que efetivamente processa a solicitação. A PuzzleMask explora justamente a diferença de capacidade entre essas duas etapas.
A técnica não depende de códigos, texto invisível, caracteres incomuns, emojis ou formatações suspeitas. As instruções ficam incorporadas a uma narrativa em linguagem natural, que pode se apresentar como um trecho de história, poema ou outro texto aparentemente sem relação com uma tentativa de ataque.
Isso cria um risco especialmente relevante para empresas que usam assistentes, copilotos e agentes de IA com acesso a dados corporativos, aplicações e fluxos de trabalho. Um conteúdo recebido por e-mail, encontrado em uma página da internet ou inserido em uma ferramenta de IA pode, potencialmente, conter instruções que não são identificadas pela primeira camada de segurança.
Quando a barreira não identifica a ameaça
Os pesquisadores testaram quatro modelos como gatekeepers (modelos de proteção), responsáveis por verificar e classificar os conteúdos antes que eles chegassem ao modelo-alvo. Todos identificaram corretamente as mesmas instruções quando apresentadas de forma direta. Quando as instruções foram escondidas pela PuzzleMask em textos de linguagem natural, porém, os quatro modelos não detectaram nenhum dos conteúdos maliciosos.
O modelo que recebeu os textos depois dessa primeira triagem apresentou um resultado diferente. O sistema, mais poderoso e com maior capacidade de raciocínio e acesso a ferramentas, recuperou e executou as instruções escondidas em 17 das 18 tentativas. Cada recuperação bem-sucedida exigiu mais de um minuto de raciocínio e múltiplas chamadas de ferramentas.
A descoberta mostra um limite de uma estratégia de segurança baseada principalmente na inspeção do conteúdo que entra no sistema. Quando o texto não apresenta sinais evidentes de manipulação, o modelo encarregado da triagem pode considerá-lo seguro, permitindo que uma instrução escondida chegue a um sistema com maior capacidade de processamento.
“A técnica PuzzleMask desafia uma das principais premissas por trás de muitas estratégias de segurança para IA atualmente que é a de que prompts perigosos são fáceis de reconhecer. Nossa pesquisa aponta que instruções maliciosas podem ser escondidas dentro de textos completamente comuns, passando por controles desenvolvidos para detectar formas mais evidentes de manipulação de prompts. O resultado desta pesquisa mostra a necessidade de proteger os agentes, em vez de permitir que os atacantes transformem os agentes em armas”, afirma Eli Smadja, líder de Pesquisas da Check Point Research.
Segundo o executivo, o avanço no uso de IA nas empresas exige que a proteção acompanhe não apenas o conteúdo recebido pelos sistemas, mas também o que eles fazem depois de processá-lo. “Quando uma empresa coloca a IA para acessar dados corporativos, aplicações e fluxos de trabalho, proteger apenas a entrada já não é suficiente. É preciso combinar inteligência sobre ameaças, governança de IA e proteção em tempo de execução para acompanhar o que acontece depois que o modelo recebe uma solicitação. As equipes de segurança precisam ir além da simples inspeção das entradas e começar a monitorar o comportamento e as ações da IA se quiserem se antecipar às ameaças emergentes”, acrescenta.
PuzzleMask não é um jailbreak
A CPR ressalta que a PuzzleMask não é uma técnica para induzir um modelo a ignorar suas próprias políticas de segurança (jailbreak). O método contorna a camada externa responsável por classificar a entrada antes que ela chegue ao modelo mais poderoso.
Essa distinção é importante porque a técnica não depende de reduzir a capacidade de um modelo de seguir suas próprias regras. O ataque explora uma diferença entre os recursos disponíveis para o modelo que faz a triagem e aqueles do modelo que recebe o conteúdo depois de aprovado.
Nos testes, modelos da classe Opus, da Anthropic, foram uma exceção e resistiram ao ataque. Os pesquisadores da CPR atribuem esse resultado à hipótese de que esses modelos utilizem mecanismos capazes de identificar sinais de processamento de prompts ocultos durante o raciocínio, e não apenas características presentes no texto de entrada.
O desafio para a segurança de IA
Conforme sistemas de IA assumem tarefas mais complexas e passam a ter acesso a informações, aplicações e fluxos de trabalho das empresas, os pesquisadores da Check Point apontam uma mudança na forma de avaliar a segurança dessas ferramentas.
Não basta verificar se um prompt parece perigoso antes de ser processado. A segurança também depende de acompanhar o que acontece depois que ele é aprovado, especialmente quando o sistema tem capacidade de raciocinar, acessar ferramentas ou interagir com recursos corporativos.
A CPR aponta diferentes caminhos para reduzir esse risco, entre eles processar conteúdos não confiáveis antes que cheguem ao gatekeeper, aprimorar as políticas utilizadas na triagem, monitorar as respostas e o comportamento dos modelos e aproximar a capacidade do modelo responsável pela triagem daquela do modelo que efetivamente processa a solicitação.
Cada abordagem envolve desafios. O processamento adicional pode aumentar o tempo de resposta e alterar conteúdos legítimos. Políticas de gatekeeper mais rígidas podem fazer com que conteúdos legítimos sejam classificados incorretamente como suspeitos. E o uso de modelos mais avançados na primeira etapa pode aumentar os custos.
A investigação da CPR reforça, assim, que a inspeção da entrada é apenas uma parte da proteção de sistemas de IA. Para organizações que utilizam modelos capazes de acessar dados, aplicações e processos de negócio, o comportamento do sistema depois que um conteúdo é aprovado também precisa fazer parte da estratégia de segurança.
O relatório completo dos pesquisadores da Check Point Research sobre a descoberta da PuzzleMask, uma nova técnica de injeção de prompts que oculta instruções que violam as políticas dentro de prompts comuns, está disponível AQUI.