Quando o uso de IA causa danos e quando ela é feita para provocá-los
- Expositores do workshop sobre incidentes de IA (a partir da esq.): Carlos Américo Pacheco (Cátedra IA Responsável), Alexandre Freira (Google), Cristina Godoy (Tech Law-IEA) e Miriam Wimmer (ANPD); também participaram Glauco Arbix (Cátedra IA Responsável) e Oscar Vilhena (FGV-SP)
Em maio, os riscos e danos causados por sistemas e modelos de inteligência artificial (IA) e as implicações éticas no seu uso militar foram destaque na programação do IEA. Também no mês passado, teve grande repercussão internacional a manifestação do papa Leão 14 na encíclica "Magnifica Humanitas", cujo subtítulo é "Sobre a Salvaguarda da Pessoa Humana na Era da Inteligência Artificial".
No plano nacional, houve a iniciativa do governo federal de baixar o Decreto 12.975, alterando dispositivos da regulamentação do Marco Civil da Internet. O decreto atribuiu à Agência Nacional de Proteção de Dados (ANPD) a competência de regular e fiscalizar as plataformas digitais, com foco na rastreabilidade de crimes com IA, falhas sistêmicas de algoritmos e combate à publicidade enganosa.
Nesse amplo debate sobre as implicações da IA em vários setores da sociedade, uma prioridade inquestionável é a necessidade de definir de forma inequívoca os vários tipos de riscos e incidentes relacionados com o uso dessa tecnologia. Essa taxonomia será essencial para a elaboração das normas infralegais que regulamentarão a futura lei sobre o uso da IA no Brasil. O alerta é do engenheiro e economista Carlos Américo Pacheco, titular da Cátedra IA Responsável, parceria do IEA com a Google.
Para discutir os vários aspectos dessa questão e dar os passos iniciais para a criação de um observatório de incidentes de IA, a cátedra realizou o workshop “Taxonomia de Incidentes em Inteligência Artificial”, no dia 11 de maio. Além de Pacheco, que moderou o evento, participaram dirigentes de órgãos governamentais envolvidos com a questão, pesquisadores da USP e da FGV-SP e um representante do Google.
IA na guerraUm dos conceitos fundamentais elaborados pelo general prussiano Carl von Clausewitz (1780-1831), considerado o mais influente teórico militar do Ocidente, é o do nevoeiro da guerra, como ele definia as incertezas, desinformação e acaso que influenciam o desenrolar de um conflito armado. Mas agora a IA surge como promessa de transformação do denso nevoeiro em algo mais previsível, talvez uma névoa. Ou será que a IA apenas muda a natureza do nevoeiro? Essa foi uma das questões discutidas no webnário “Uso da IA nas Guerras Contemporâneas: Perspectivas de um Futuro Presente”, no dia 21 de maio. Para Rachel Camilly Soares de Souza, mestranda em ciências militares na Escola de Comando e Estado-Maior do Exército, expositora no encontro, a IA tem sido apresentada como um meio de mitigar o ambiente de nevoeiro, dada sua capacidade de processar um grande volume de dados extraídos de sensores, satélites, radares em velocidades muito superiores à humana. A questão, segundo ela, é saber se a IA realmente dissipa o nevoeiro ou simplesmente o transforma, pois “o processo de incerteza também existe no campo da tecnologia”. Os algoritmos podem produzir decisões cuja lógica nem mesmo seus criadores conseguem explicar, evidenciando sua opacidade, afirmou. “Com a opacidade algorítmica, a sobrecarga informacional e a dependência de sistemas automatizados, as ambiguidades dos conflitos continuam a existir mesmo com a incorporação da inteligência artificial.” Um exemplo de como a IA pode propor soluções controversas em conflitos foi divulgado recentemente pela imprensa, quando modelos de IA, ao analisarem situações de impasse em guerras simuladas, indicaram o uso de armas nucleares táticas. Os principais argumentos dos defensores de sistemas autônomos são, de acordo com Rachel: máquinas operam continuamente e não sofrem de fadiga, processam dados em velocidades extraordinárias e diminuem baixas militares. Mas é preciso analisar essa lógica da guerra de maneira crítica. Ela citou Paul Scharre como um dos especialistas que fazem isso. Ex-oficial do Pentágono, ele é autor do livro Army of None: Autonomous Weapons and the Future of War, no qual ele trata a aceleração tecnológica, inteligência artificial e a perda do controle humano à medida que as decisões no campo de batalha passam a ocorrer na velocidade dos computadores. Rachel acrescenta que é preciso observar que “os sistemas autônomos não atuam isoladamente, interagem com operadores humanos, com outras máquinas, com redes de comunicação”. Então mesmo algoritmos desenvolvidos para situações específicas podem reagir de forma inesperada em ambientes reais de conflito. Além disso, ela ressaltou que é enganoso considerar os sistemas como neutros, pois todo seu processo de produção é supervisionado por humanos, que têm valores, relações sociais, institucionais e políticas. Nem sequer podem ser considerados realmente independentes, pois os seres humanos participam da coleta de dados, da definição de categorias e do design do algoritmo. Outro ponto é a questão da responsabilidade. Quanto maior o grau de automação, mais difícil examinar as ações dos sistemas sob a ótica da responsabilidade: “Numa ação letal, que é o responsável? E aí podemos pensar nos riscos relacionados com essas aplicações". Os sistemas aprendem a partir de uma base de dados e podem reproduzir preconceitos existentes na base de dados. Isso se reflete em contextos militares, avaliações de ameaças e identificação de alvos. Também há falta de rastreabilidade, completou a pesquisadora. "Após uma operação, como saber por que o sistema chegou a determinada conclusão? Todo esse processo dificulta uma auditoria. Além disso, há ainda a questão da opacidade algorítmica, que também é relata por alguns autores que trabalham com a questão.” Para o major Thiago José Bandeira Santos, doutorando em ciências militares na Escola de Comando e Estado-Maior do Exército, na guerra há muitos dados, mas eles são muito imprecisos, e com a IA surgem mais dados ainda e difíceis de serem analisados. “A natureza caótica da guerra vai se reconfigurar com a questão algorítmica e cognitiva”, afirmou. Questões éticas Um dilema ético existente é a diferença entre uma morte ocasionada por um combatente em risco, que não será condenado por assassinato, e aquela resultante da ação de um sistema autônomo. Até que ponto essa ação de uma máquina não pode ser considerada um assassinato?, indadou. Nas questões estratégicas, por sua vez, há um dilema de segurança, segundo Santo: um estado procura usar um sistema autônomo seguindo uma linha com maior preocupação ética, mas diante de uma ameaça de outro Estado, como poderá deixar de agir? Outro problema apontado por ele é o risco de viés de automação, onde há redução dos ciclos decisórios e cada vez mais confiança na máquina. "Isso leva a dois tipos de erro: no de cognição, apesar do que aprendeu, o comandante da ação prefere a seguir o que a máquina orientou; o de omissão se caracteriza em apenas tomar uma decisão quando a máquina der uma resposta." O próprio uso da IA possui implicações estratégicas, afirmou. É preciso avaliar se a dependência de empresas privadas de tecnologia reduz a soberania dos Estados e até que ponto as big techs não fazem parte do complexo militar, disse. Tecnologia e guerra Rafael Gonçalves Mota, professor da Universidade Federal do Ceará e pós-doutor em ciências militares pela Escola de Comando e Estado Maior do Exército, considera difícil separar a evolução da guerra e da tecnologia. “Todo grande avanço tecnológico acaba sendo impactado pelo militar.” Com o ciberespaço, partiu-se o paradigma das fronteiras físicas e as ações bélicas também atuam nesse ambiente cibernético, afirmou. Desenvolvimento veloz da IA faz com que todas as ciências precisem se debruçar sobre essa realidade, e é preciso que as academias civis e militares se dediquem a isso, acrescentou. Ele comentou que há três tipos principais de relação do ser humano com a máquina: 1) ser humano no controle; 2) operação autônoma supervisionada; e 3) plena autonomia da máquina. Ele lembrou que o antigo secretário de Estado dos EUA Henri Kissinger (1923-2023) dizia que a introdução da lógica não humana por meio da IA nos processos militares transforma a estratégia ao adicionar uma camada de incalculabilidade e velocidade que ultrapassa a capacidade humana de resposta. Para Kissinger, essa transformação altera fundamentalmente o cálculo de dissuasão e a governança global. Mota apontou que há três caminhos básicos a seguir segundo a doutrina militar internacional: aceitar as armas autônomas, restringi-las ou renunciar a elas. Ele afirmou que as discussões atuais incluem: a adoção de um tratado que proíba o desenvolvimento de armas autônomas letais (proposta da Cruz Vermelha Internacional); delimitação de uso, para que as armas sejam programadas para atingirem apenas instalações físicas; e responsabilização por dolo eventual pelas regras em vigor do Direito Internacional dos Conflitos Armados (também conhecido como Direito Internacional Humanitário). |
Embora grande parte do debate sobre IA esteja voltado a incidentes que afetam direitos individuais e coletivos, por interesses econômicos, eleitorais e de outras naturezas, cresce também a preocupação com sua aplicação em contextos militares. No IEA, essa discussão ocorreu no seminário online "Uso da IA nas Guerras Contemporâneas: Perspectivas de um Futuro Presente", no dia 21 de maio, organizado pelo laboratório Understanding Artificial Intelligence [leia o box ao lado].
Mas não basta definir os incidentes de IA, é preciso registrá-los e organizá-los num banco de dados de forma a permitir sua análise. Isso será essencial para a formulação de políticas públicas para reduzir o número de incidentes e mitigar seus efeitos nefastos. Com esse fim, a Cátedra IA Responsável pretende criar um Observatório de Incidentes de IA. O workshop sobre taxonomia de incidentes foi o passo inicial para essa realização.
Vácuo regulatório
"Apesar dos avanços nos últimos anos, o Brasil está bastante atrasado em relação aos incidentes com IA. A boa notícia é que o país não está sozinho. O mundo inteiro está atrasado, com raríssimas exceções”, disse o sociólogo Glauco Arbix, professor sênior da Faculdade de Filosofia, Letras e Ciências Humanas da USP e coordenador acadêmico da Cátedra IA Responsável.
Para ele, o lançamento recente do modelo de IA Mythos pela Anthropic tornou flagrante o vácuo regulatório da IA em todo o mundo. “O modelo identificou, de forma autônoma, milhares de vulnerabilidades em diversos sistemas, inclusive do FreeBSD, utilizado no mundo inteiro em áreas como segurança e energia e no Brasil abrigado no NIC.br”, disse.
No início de abril, a Anthropic resolveu bloquear o acesso ao Mythos diante dos riscos de uso inadequado do modelo. A empresa criou o Projeto Glasswing, cujos integrantes são a própria Anthropic e a Amazon Web Services, Apple, Broadcom, Cisco, CrowdStrike, Google, JPMorganChase, Linux Foundation, Microsoft, NVIDIA e a Palo Alto Networks. De acordo com o site da empresa, essas empresas “usarão o Mythos Preview em seus trabalhos de segurança defensiva; a Anthropic compartilhará o que aprendermos para que todo o setor possa se beneficiar. Também ampliamos o acesso a um grupo de mais de 40 organizações adicionais que desenvolvem ou mantêm infraestrutura de software crítica, para que possam usar o modelo para analisar e proteger sistemas de terceiros e de código aberto”.
Apesar do mérito da Anthropic em bloquear o acesso ao Mythos, a situação impõe uma pergunta, segundo Arbix: “Qual a legitimidade de uma empresa com menos de cinco anos de existência para tomar decisões sobre a divulgação ou não de um sistema altamente perigoso, segundo ela própria, e impedir que os países em geral, inclusive o Brasil, consigam ter acesso e se defender melhor desse tipo de sistema?”.
Quanto à utilização do Regulamento de Inteligência Artificial do Parlamento e do Conselho da União Europeia (mais conhecido por EU AI Act) como parâmetro, ele afirmou que está ocorrendo um debate visando “afrouxar bastante a legislação europeia, com o argumento de que ela está atrapalhando a competitividade das empresas do continente". Acrescentou que debates desse tipo estão ocorrendo de forma intensa em várias partes do mundo.
Arbix disse que o caso Mythos demonstra que o sistema de autorregulação é absolutamente insuficiente para proteger a sociedade. "Diferentemente de outras tecnologias e do que acontecia 5 ou 7 anos atrás com a IA, hoje quem expande as fronteiras dela são as empresas, que retiraram das mãos dos governos a possibilidade de regulamentação, controle, como existia na época de desenvolvimento da energia nuclear, como existia e existe ainda na área espacial.”
O gestor governamental, que deve supervisionar essas empresas, depende do que elas voluntariamente aceitam divulgar para o setor público, afirmou. “Há uma inversão do sistema de supervisão e isso gera um problema jurídico, regulatório no mundo inteiro.”
Há uma carência no Brasil, e ela nem está contemplada na regulação da IA prevista no Projeto de Lei 2338/23, em tramitação no Senado, segundo ele: “O país não tem mecanismos que estabeleçam um limite de capacidade que funcione como um gatilho automático de supervisão quando um modelo superar determinado nível de risco. Isso tem a ver com a soberania da sociedade sobre a tecnologia”.
Outra deficiência do país é não ter um instituto nacional de segurança de IA, disse Arbix. No Reino Unido, onde ele desenvolve pesquisa atualmente, foi criado recentemente um instituto com esse fim. “Foi a única instituição que avaliou o Mythos e atestou que o modelo pode causar um prejuízo gigantesco a outras empresas, bem como à sociedade, governos e sistemas de energia, transporte, cabotagem ou do que se quiser imaginar, pela possibilidade que tem de encontrar brechas em sistemas que podem ser aproveitadas por intervenções maliciosas.”
Para ele, a regulação de modelos de fronteira exige capacidade técnica que o Brasil não tem e precisaria criar. Defendeu também que o país tenha uma regulação da cadeia de fornecimento de IA, não só das aplicações finais. Ele fez esse alerta diante do risco de empresas de IA com acesso a sistemas e bases de dados governamentais absorverem grande volume de dados da administração pública e de pessoas em geral.
Outro aspecto a merecer atenção é o mais difícil, segundo Arbix. Trata-se do comportamento chamado de “engano estratégico documental”, no qual há manipulação, falsificação ou indução ao erro através de documentos gerados ou alterados por IA. “O Mythos simplesmente engana e passa a perna em sistemas de defesa. É diferente da alucinação, que tem a ver com a arquitetura dos modelos.”
Arbix enfatizou a necessidade de o país ter um padrão comum de incidentes, inclusive para exigir das empresas seus relatórios. Mais do que isso, é preciso abrir canais públicos e incentivar canais privados para que a população registre incidentes.
Há a necessidade também de meios para resolver a simetria de incentivo: “Deveríamos ter meios de incentivar as empresas a relatarem seus registros de incidentes. Em contrapartida, deveríamos ter como protegê-las, para que não sofram uma saraivada de processos judiciais e fiquem expostas a litígios de todo tipo.”
Ele defendeu ainda que seja estabelecida em lei a obrigatoriedade de relato corporativo de incidentes sérios. “Pode ser um relato fechado, entregue a uma agência ou instituto, mas o poder público deve ter acesso a isso, pois é uma maneira de dialogar com as empresas sobre melhorias e a defesa da própria população.”
A criação de uma autoridade nacional com capacidade técnica para analisar relatos de incidentes também foi defendida por Arbix. Se não for criada essa autoridade, será preciso criar um centro dedicado a isso vinculado à ANPD ou ela ser capacitada para esse trabalho, afirmou.
Medidas governamentais
O cientista político João Brant, secretário de Políticas Digitais da Secretaria de Comunicação Social da Presidência da República, afirmou que o governo tratou da inclusão de obrigações importantes de manutenção de registros auditáveis de incidentes relevantes de segurança no uso da IA ao participar das discussões sobre o Projeto de Lei 2.338/23. “Incidentes de segurança nunca foram uma questão menor, secundária, são uma questão talvez primária no debate sobre segurança da IA, e não só dela, pois estamos falando de segurança global”, disse.
Brant explicou que o governo federal está apostando num diálogo com o modelo europeu de regulação baseada em risco presente EU AI Act. Apesar das críticas ao regulamento europeu (“algumas pertinentes outras bem menos”), ele considera que se trata de uma alternativa para a reflexão sobre como graduar as respostas e obrigações de acordo com o risco, equilibrando isso com a abertura à inovação.
Ele vê o observatório de registro e análise de incidentes proposto pela Cátedra IA Responsável como um espaço de diálogo com outras iniciativas, como o Centro Nacional de Transparência Algorítmica – previsto no Plano Brasileiro de Inteligência Artificial –, dentro de um ecossistema de IA onde a ANPD, “se prevalecer a visão que a gente tem, desempenhará um papel central de organização e de definição de diretrizes gerais a serem aplicadas a partir da ação dos reguladores setoriais”, afirmou.
A diretora da ANPD, Miriam Wimmer, disse que a IA já é um tema com forte presença na agenda regulatória, não só em relação à segurança de informação, mas também no que tange a restrições de acesso a direitos, decisões automatizadas opacas, fraudes, conteúdos falsos, alucinações em contextos críticos e riscos sistêmicos.
“Muitos incidentes apresentam riscos em campos que não são o de dados pessoais e não tem necessariamente a ver com a ANPD, como defesa do consumidor, concorrência, integridade informacional, infraestruturas críticas, serviços financeiros, e direito da criança e do adolescente”, disse. Daí a importância de haver uma linguagem comum que permita a todos visualizarem as repercussões de incidentes em diferentes setores e campos regulatórios, completou.
“Quando se fala de incidentes de IA não se está falando necessariamente de segurança da informação, de vazamento de dados. Muitas vezes são incidentes de mudança de finalidade, de tratamento, subversão das expectativas do titular, assimetria informacional, dificuldade de se opor ao tratamento, e uso secundário de dados que foram coletados para outra finalidade”, frisou.
Para ela, a elaboração de uma taxonomia dos incidentes e a criação de um laboratório sobre eles será útil para produzir uma memória institucional, aglutinar casos hoje dispersos em vários reguladores. Além disso, as duas iniciativas servirão para consolidar precedentes, mapear riscos prospectivos e estabelecer mecanismos de prevenção que possam inclusive servir de orientação à agência e outros órgãos competentes, disse.
Impacto nas eleições
O workshop também tratou de duas situações exemplares da atualidade envolvendo risco de incidente de IA: o risco de uso da tecnologia para a produção de conteúdos ilícitos, inclusive deepfake (substituir ou alterar rostos, vozes e movimentos em fotos, vídeos e áudios) que possam influir na disputa eleitoral deste ano; e os procedimentos de uma big tech para produzir modelos de IA seguros e responsáveis.
Para tratar dos impactos de incidentes de IA no processo eleitoral e de como a Justiça Eleitoral deve lidar com eles, a cátedra convidou Oscar Vilhena, professor da Faculdade de Direito da FGV-SP. Ele lembrou que o Congresso Nacional aprovou a Lei 14.197 em 2021, em substituição à Lei de Segurança Nacional. O novo diploma legal alterou o Código Penal para tipificar os crimes contra o Estado Democrático de Direito. Foi incluído o Art. 359-N, que define como crime “impedir ou perturbar a eleição ou a aferição de seu resultado, mediante violação indevida de mecanismos de segurança do sistema eletrônico de votação estabelecido pela Justiça Eleitoral”. É nesse crime que irá incorrer quem utilizar a IA para impedir ou conturbar o processo eleitoral, explicou Vilhena.
O segundo recurso para assegurar a lisura e justeza das eleições é o policiamento do processo: “De acordo com a teoria do direito eleitoral brasileiro, é preciso estabelecer a simetria entre as partes. Ao policiar o processo, a Justiça Eleitoral pode suspender conteúdos e perfis, além de responsabilizar aqueles que mobilizaram esses conteúdos.”
Ele citou que, em março, o Tribunal Superior Eleitoral baixou a Resolução 23.755, que alterou normas sobre a propaganda eleitoral. “Ela não proíbe o uso da inteligência artificial nos processos eleitorais, mas impõe diversos cuidados. Os departamentos jurídicos das campanhas estão tentando compreender essas limitações. Sem dúvida, a primeira é a utilização da deepfake, que fica proibida. Mas o combate à deepfake vai depender não só da capacidade da Justiça Eleitoral de agir com rapidez, mas também de o próprio sistema partidário levar os casos até ela.”
Procedimentos do Google
Coube a Alexandre Freire, diretor sênior de Engenharia do Google Brasil, apresentar as preocupações e procedimentos da empresa quanto à segurança dos seus modelos de inteligência artificial. Segundo ele, o Google adota um “funil de segurança de IA”, que inclui três níveis: 1) base (princípios de IA, que estabelecem as regras dos sistemas da empresa); 2) modelos operacionais de mitigação (governança, mapeamento, medição e gestão contínua de riscos); e 3) segurança e mitigação de incidentes (atualizações constantes e ações sobre vulnerabilidades).
Em relação à base, Freire disse que o procedimento é respeitar segurança e privacidade nos princípios de design dos modelos. Na observação desses princípios de IA, a empresa se vale dos consensos entre indústria, academia, reguladores e governos, afirmou.
No caso dos modelos operacionais de mitigação, ele informou que o Google adota os critérios da Estrutura de Gerenciamento de Risco de IA do Instituto de Padrões e Tecnologia (Nist, na sigla em inglês), órgão do Departamento de Comércio do governo dos EUA.
De acordo com Freire, o primeiro critério é garantir que sejam considerados limites éticos rigorosos muito antes de um modelo de IA ser desenvolvido. O segundo é mapear as possibilidades de risco por meio de uma tradução pragmática de ameaças abstratas para a base das taxonomias desenvolvidas pelo Google: Inteligência Artificial Responsável (RAI) e Framework de Inteligência Artificial Segura (Saif). O terceiro é a proatividade na identificação de vulnerabilidades, o que é feito pelo red teaming (equipe que simula ataques à segurança). O quarto é gerenciar a implantação de modelos de IA monitorando, intervindo e iterando, com lançamentos feitos de forma cadenciada num ambiente com maior controle e acompanhando o feedback dos usuários.
Segundo Freire, um novo componente tem colocado as taxonomias adotadas pelo Google em xeque agora: os agentes de IA, que realizam tarefas completas solicitadas pelos usuários. Há a necessidade de adicionar novos controles para verificar a correspondência da ação dos agentes com os objetivos do usuário. “Entre um agente iniciar uma ação e ela se concretizar, haverá outra IA no meio para verificar se o agente está alinhado com o usuário”, afirmou.
Critérios para um observatório
Cristina Godoy, coordenadora do Grupo de Estudos em Direito e Tecnologia do Polo Ribeirão Preto do IEA, tratou da estruturação de um observatório de incidentes de IA como o proposto pela cátedra a partir de quatro camadas: conceitual, de definições, de descrições, analítica e de governança.
Segundo ela, a camada conceitual deve estabelecer onde se pretende chegar com o observatório, que deve ser visto como uma estrutura de governança a ser definida. Ainda nesse nível conceitual, percebe-se a necessidade de criação de um glossário, “para uma compreensão dos elementos que são relevantes quando se fala de incidentes”, disse.
“O ponto de partida para a segunda camada são as definições apresentadas pela OCDE, que também verificamos no AI Act da União Europeia. O incidente é um evento ou circunstância ou uma sequência de eventos que direta ou indiretamente podem causar um dano. E aí há os tipos de danos. O dano grave é o que vai impactar, por exemplo, direitos fundamentais, saúde, estruturas críticas.”
A terceira camada, segundo a pesquisadora, é a de descrição, destinada à reflexão sobre como construir as categorias de incidentes e até a produzir um relatório sobre eles. Nesse nível, devem ser estabelecidos os critérios de preenchimento dos dados sobre os incidentes. “Há vários tipos de taxonomia e repositórios. Precisamos analisar suas estruturas e verificar o que faz sentido ou não para nós.”
A camada analítica analisará os incidentes, sua escalabilidade, persistência, impacto e severidade. Permitirá também identificar os falsos positivos, explicou Cristina Godoy.
Finalmente, há camada de governança, que deve definir os objetivos do observatório. Segundo ela, as finalidades podem incluir, entre outras coisas, ajudar na implantação de um sandbox regulatório [ambiente de teste controlado sob supervisão de órgãos reguladores], colaborar com auditorias e seguradoras, subsidiar a elaboração de guias práticos e aumentar a segurança em compras públicas.
Fotos (a partir do alto): Leonor Calazans/IEA-USP; Bobbi Zapka/Wikipédia