Os perigos invisíveis dos assistentes de IA: o risco da confiança cega na tecnologia

A ascensão da inteligência artificial generativa (IAGen) trouxe consigo avanços significativos para diversos setores, em contrapartida, gerou novos riscos de segurança e preocupações jurídicas quanto ao vazamento de informações.

Hoje, assistentes de IA estão presentes em fluxos críticos de trabalho, que vão desde relatórios jurídicos até comunicações internas. O uso não supervisionado, mesmo com boas intenções, pode gerar vazamentos corporativos massivos, já que cada pergunta feita ao assistente pode conter dados confidenciais ou estratégicos.

Os riscos encontram-se nas mais diversas esferas, desde a coleta, armazenamento e transmissão de dados até as decisões automatizadas com vieses ou treinamentos inadequados.

Fato é, que o manejo de grandes volumes de dados hoje, especialmente pessoais e sensíveis representa fonte de preocupação, tanto em relação a vazamentos acidentais, quanto àqueles intencionais , sendo necessário garantir que a ferramenta de IA utilizada além de respeitar sua privacidade, seja de fato segura.

Neste sentido, é importante realizar testes de segurança nas IAs disponíveis no mercado, e isso deve se tornar um protocolo padrão especialmente das empresas, quando buscam homologar o uso de uma solução de IA.

Recentemente, ao realizar testes de rotina para validar o uso da Monica.AI, que é uma assistente de inteligência artificial de alcance global, amplamente utilizada por milhões de pessoas em diversos dispositivos, como navegadores, desktops e celulares, foi identificada uma falha de segurança grave.

Esta vulnerabilidade possui o potencial de comprometer a privacidade de todos os usuários, expondo suas conversas, informações de identidade e, potencialmente, até mesmo credenciais de acesso dentro da plataforma. O incidente acende um alerta sobre a falsa sensação de segurança de dados em ferramentas de IA de grande escala, um tema que merece a nossa atenção aprofundada.

Ao se analisar a política de privacidade da Monica.AI , é possível notar que desde o início transmite-se a ideia de Privacy by Design (privacidade desde a concepção):

“Na Monica, acreditamos que a privacidade é um direito humano fundamental e um de nossos valores centrais. É por isso que projetamos nossos produtos e serviços para protegê-la.”

Além disso, a política foca no princípio da minimização, afirmando que só o essencial é coletado e que o serviço é configurado para não ser intrusivo, conforme se observa do trecho abaixo:

“Nós Só Sabemos o Que é Necessário

Ao usar nosso serviço, podemos pedir que você nos forneça certas informações de identificação pessoal que podem ser usadas para contatá-lo ou identificá-lo. Além disso, sua vida pessoal permanece apenas isso: pessoal.”

“Não Vemos Seus Dados de Navegação/Bate-papo

Seus hábitos de navegação e bate-papo são seus. Monica opera sem se intrometer em suas atividades pessoais online. Não coletamos informações sobre os sites que você visita ou o conteúdo com o qual você interage. Nosso foco é exclusivamente melhorar sua experiência sem comprometer sua privacidade.”

Em relação a segurança, a mensagem transmitida pela empresa é de que se trata de um serviço amplamente seguro: são explicitados o uso de padrões de segurança, procedimentos administrativos e técnicos, firewalls, tecnologias de criptografia e sistemas de detecção de intrusão.

“Queremos que você tenha total fé em manter suas informações seguras e protegidas conosco. Seguimos padrões geralmente aceitos para proteger as Informações Pessoais e as Informações de Uso enviadas a nós. Embora nenhum Serviço possa garantir segurança total, temos procedimentos administrativos, técnicos e de segurança apropriados para manter suas informações intactas, seguras e confidenciais. Suas informações são tratadas apenas para os fins exigidos por funcionários autorizados, agentes ou fornecedores terceirizados e semelhantes, e empregamos firewalls apropriados, tecnologias de criptografia e sistemas de detecção de intrusão para manter suas informações seguras e protegidas contra qualquer uso não autorizado.”

Logo, a primeira vista, a Monica.Ai parece cumprir com todos os requisitos esperados para privacidade dos seus usuários, afinal esse é o produto anunciado, porém a realidade é outra: durante a análise da Monica.ai, foi identificada falha crítica de segurança, comprometendo a confidencialidade e a integridade dos dados dos usuários:

Conversas completas entre os usuários e a IA armazenadas em texto claro, ou seja, sem qualquer forma de criptografia, o que significa que qualquer pessoa com acesso ao banco de dados poderia ler conteúdos sensíveis, desde confissões íntimas até estratégias empresariais detalhadas.

Além disso, a vulnerabilidade incluía a exposição de tokens ativos de sessão, permitindo que um invasor assumisse o controle total de qualquer conta, agindo como se fosse o próprio dono. Também se encontravam expostos dados pessoais e técnicos críticos, como nome e e-mail do usuário, endereço de IP e sua localização exata em mapa, além de informações detalhadas sobre o dispositivo utilizado (como o modelo do celular ou computador, e a versão do sistema operacional e navegador).

Uma falha desta natureza transforma a Monica.AI em uma mina de ouro para criminosos digitais. A gravidade reside na capacidade de um atacante explorar as informações expostas para diversas atividades ilícitas: primeiramente, permitiria a invasão de contas e o consequente roubo de dados sensíveis e arquivos confidenciais dos usuários.

Além disso, o conteúdo das conversas capturadas – que podem envolver segredos pessoais ou estratégias corporativas – abre caminho para a chantagem das vítimas. Por fim, os dados coletados são suficientes para criar e vender perfis completos na dark web, contendo informações que permitem, inclusive, o rastreamento de pessoas em tempo real.

O problema se torna ainda mais grave, dado que a Monica.AI se promove como uma plataforma segura, contudo, um teste simples mostrou que sua camada de proteção é frágil e não é capaz de assegurar a privacidade para nenhum dos milhões de usuários da plataforma neste momento.

O armazenamento de conversas em texto claro revela a ausência de controles básicos como criptografia em repouso e segregação de permissões. Na prática, é como manter um cofre aberto em uma sala pública, acessível para qualquer um na internet.

Tal cenário, ilustra a importância da atuação das Autoridades de Proteção de Dados que hoje já devem ir além da leitura dos documentos obrigatórios, a fiscalização exige a realização de testes, pois é muito fácil com apenas algumas análises verificar se o disposto nas políticas de privacidade e termos de uso está sendo de fato cumprido. Essa atuação pode inclusive se dar em parceria com Autoridades de Proteção ao Consumidor, dado que se trata claramente de uma propaganda enganosa.

Sob a ótica jurídica, o caso da Monica.AI é apenas um exemplo, das mais de 500 soluções que são oferecidas hoje, e os mais de 1,2 bilhão de assistentes virtuais disponíveis no mundo. É uma verdadeira população interagindo com humanos, e fica a questão: quem responde por tudo isso? A ausência de auditorias independentes, selos e certificações de segurança para modelos generativos ainda deixa os usuários à mercê da boa-fé das empresas de IA, que na competição acelerada pela inovação, acabam deixando os controles a desejar.

Enquanto não forem disponibilizados meios técnicos e financeiros para isso, a situação tende a se agravar. Para os usuários, a recomendação é seguir à risca as melhores práticas, o “ABC” de governança para IA, assim como não inserir dados pessoais, documentos corporativos ou informações confidenciais, de outro modo, o preço pode ser alto.

A inteligência artificial não é vilã, mas confiar cegamente nela é um grande risco. Assim como não se deve contar um segredo para qualquer um, também não se deve confiar segredos de negócio e informações confidenciais, a sistemas cuja arquitetura e governança ainda é desconhecida.

Por Patricia Peck Pinheiro, PhD. CEO do Peck Advogados; e Ricardo Tavares, CEO da Gemina. Pesquisa e testes por Pedro Araújo, pesquisador e especialista em segurança cibernética; Caroline Morata, pesquisadora e especialista em inteligência artificial

Fonte: It Fórum.