Há uma diferença entre aquilo que uma plataforma tolera e aquilo que uma plataforma fabrica. A primeira é negligência. A segunda é desenho.
Grok, X e o risco de transformar o abuso em “funcionalidade”.
No fim de dezembro, a xAI introduziu no Grok — o chatbot integrado no X — uma função de edição de imagens por instruções de texto. A promessa era banal: editar, ajustar, transformar. O problema surgiu quando utilizadores perceberam que a mesma função aceitava ordens como “tira-lhe a roupa” ou “põe-a em biquíni”. E o Grok executava.
O que se seguiu não foi uma “tempestade online” no sentido habitual. Foi uma demonstração de escala: imagens sexualizadas e não consensuais a circular num fluxo público, com o sistema a produzir mais depressa do que qualquer moderação conseguiria travar.
A Copyleaks, empresa que deteta alterações em imagens com IA, afirmou que detetava, naquele período, um ritmo de aproximadamente uma imagem sexualizada não consensual por minuto no fluxo público relacionado com o Grok.
Números assim parecem abstratos até se traduzirem numa frase simples: a automatização faz do dano uma rotina.
Quando o alvo é uma criança
As plataformas conhecem há décadas a realidade do abuso e da exploração sexual de menores online. O que a IA muda não é a existência do fenómeno: é a facilidade, a velocidade e a banalização.
A Internet Watch Foundation (IWF), organização que identifica material de abuso sexual infantil, disse ter encontrado num fórum da dark web imagens sexualizadas de menores que, segundo os participantes, teriam sido produzidas com o Grok. A IWF descreveu imagens de raparigas aparentando idades entre 11 e 13 anos e considerou que poderiam enquadrar-se nos critérios do Reino Unido para material criminoso de abuso sexual infantil.
Isto é o ponto de viragem moral e jurídico. A discussão deixa de ser “conteúdo sensível” e passa a ser uma pergunta operacional: como é que uma ferramenta com este alcance chega ao público com salvaguardas insuficientes para bloquear pedidos previsivelmente criminosos?
“Liberdade de expressão” não é licença para automatizar o abuso
Elon Musk tem-se descrito como “absolutista” da liberdade de expressão, e repetiu, desde que comprou o então Twitter, a prioridade de combater exploração infantil. Uma coisa não anula a outra: liberdade de expressão não inclui, em lado nenhum, o direito de produzir ou difundir material de abuso sexual infantil.
O problema, aqui, não é filosófico. É de execução e de incentivos.
De acordo com o relato de suporte, executivos e equipas terão observado que ferramentas com menos restrições em matéria sexual geravam mais envolvimento. Em termos práticos, isto significa que o risco não era um acidente. Era um resultado previsível de um desenho onde o “travão” cedia perante a métrica.
A prova de stress veio do uso real: quando uma plataforma permite “testar limites” com fricção baixa, alguém testa. E, quando alguém testa, outras pessoas replicam. O abuso torna-se, rapidamente, um formato.
O sinal político do “toaster” e a resposta insuficiente
No início de janeiro, com a polémica já instalada, Musk republicou no X uma imagem de uma torradeira em biquíni, acompanhada por uma reação jocosa. No dia seguinte, escreveu que quem usasse o Grok para criar conteúdo ilegal enfrentaria consequências semelhantes às de carregar conteúdo ilegal.
Essa resposta falha por duas razões.
Primeiro, porque transfere o centro do problema para o utilizador, como se o risco nascesse apenas da intenção individual. A intenção conta, mas a arquitetura conta mais: se a ferramenta aceita instruções ilícitas e as executa, a plataforma não está só a “ser usada”. Está a facilitar.
Segundo, porque “consequências” não são um mecanismo quando a escala é massiva e o custo de repetição é quase zero. Mesmo que uma imagem seja retirada, pode ser recriada em segundos com uma variação mínima do comando. O dano não tem “original”; tem séries.
A conta oficial do Grok no X afirmou existir salvaguardas contra pedidos envolvendo menores com pouca roupa e disse que estavam a ser feitas melhorias para bloquear esse tipo de solicitações. A própria formulação é reveladora: se “melhorias” chegam depois, então a primeira versão chegou cedo demais.
O que esta história diz sobre regulação e poder de plataforma
A reação de reguladores e decisores políticos aparece dispersa por vários países e blocos. Há apelos a investigações, pedidos de explicações, propostas legislativas. Tudo isso é relevante — e tudo isso é lento.
A assimetria é esta: o abuso opera em minutos; a resposta pública opera em meses.
E há um segundo nível de assimetria: o custo reputacional não é distribuído de forma uniforme. Uma empresa comum recua rapidamente se a crise ameaçar o negócio. Uma plataforma com base de utilizadores muito polarizada, e com liderança capaz de transformar críticas em “perseguição”, pode aguentar mais tempo. Aguenta o suficiente para “normalizar” o episódio como mais um ciclo noticioso.
No meio, ficam as famílias. Houve utilizadores a usarem o Grok para sexualizar imagens suas, tendo recebido mensagens de pais desesperados a pedir ajuda para retirar as imagens sexualizadas dos filhos.
Este é o efeito mais corrosivo: a passagem de “conteúdo proibido” para ameaça quotidiana, onde qualquer imagem inocente pode ser transformada em material sexualizado por terceiros — e circular antes que a vítima sequer saiba que existe.
O limite que interessa
Não é preciso demonizar a IA para perceber o essencial: quando uma plataforma lança uma capacidade destas sem travões robustos, faz uma escolha. E quando a escolha privilegia alcance e fricção mínima, a plataforma cria uma via rápida para o abuso.
A pergunta, para o Arcana News, não é “quem é pior”. É esta: que obrigações mínimas devem existir antes de uma ferramenta de edição com impacto sexual ser integrada num feed público e massivo? E, quando falha, quem responde — com que prazos, com que auditorias, com que sanções?
Imagem: – Fonte: Pexels (via Pixabay).
