Os desafios para a atribuição de responsabilidade quando a IA autônoma causa danos
- Delmo Mattos da Silva, durante encontro organizado pelo laboratório Understanding AI
À medida que agentes de inteligência artificial conquistam autonomia para aprender, decidir e agir sem supervisão direta, torna-se cada vez mais difícil responder a uma pergunta aparentemente simples: quem deve ser responsabilizado pelos danos que vierem a causar?
Para Delmo Mattos da Silva, professor de filosofia do Departamento de Humanidades do Instituto Tecnológico de Aeronáutica (ITA), máquinas capazes de perceber o ambiente, aprender com dados, tomar decisões e agir com relativa independência de supervisão humana rompem a estrutura clássica que sempre vinculou ação, intenção e culpa a um agente identificável.
Silva foi o expositor do encontro "O Problema da Atribuição de Responsabilidade em Agentes Artificiais Autônomos", realizado pelo laboratório Understanding Artificial Intelligence (UAI) do IEA em 17 de junho. Partindo do conceito de responsibility gap (lacuna de responsabilidade), analisou como a autonomia funcional, a opacidade algorítmica e o aprendizado contínuo desafiam os fundamentos tradicionais da imputação moral.
A discussão teve como ponto de partida o artigo "The Responsibility Gap: Ascribing Responsibility for the Actions of Learning Automata", publicado em 2004 pelo filósofo Andreas Matthias.
Silva ressaltou a diferença entre agência moral e agência artificial. A primeira refere-se a agentes capazes de compreender o significado moral de suas escolhas e de responder por elas. Já a segunda caracteriza sistemas que atuam com determinado grau de autonomia, mas permanecem amorais, executando regras e cálculos definidos por seres humanos.
Fundamentos da responsabilidade
Desde Aristóteles, afirmou, considera-se que alguém pode ser responsabilizado por suas ações e pelas consequências delas decorrentes quando reúne três condições: controle, previsibilidade e conhecimento suficiente (condição epistêmica). Esses elementos fundamentam a atribuição de responsabilidade. Quanto ao controle, “o agente deve ter efetivo poder de decisão e capacidade de agir de outra forma, sem estar sob coerção absoluta ou sujeito a fatores como falha mecânica ou incapacidade cognitiva”.
A previsibilidade significa que as consequências da ação sejam razoavelmente antecipáveis e o agente compreenda a conexão causal entre sua conduta e o resultado. “Um exemplo é dirigir alcoolizado, pois é previsível que essa conduta cause um acidente.”
A terceira condição do modelo aristotélico é a epistêmica. Diz respeito ao que o agente sabia ou tinha condições de saber no momento da ação. Silva exemplificou com o médico que administra um medicamento sem conhecer os efeitos colaterais básicos da droga, podendo ser responsabilizado no caso de dano por um desses efeitos, pois era seu dever profissional conhecê-los. “No entanto, um efeito completamente desconhecido pela comunidade científica dificilmente poderia levar à mesma atribuição de culpa.”
Essa condição relaciona-se também com o conceito de imputabilidade. “Alguém só pode responder por seus atos se tem controle sobre eles e sabe o que está fazendo. Uma criança ou uma pessoa com baixa capacidade cognitiva, por exemplo, não é imputável.”
Segundo Matthias, citado por Silva, máquinas autônomas com capacidade de aprendizagem criam uma situação inédita. Nesses casos, o fabricante ou operador deixa de ser, em princípio, capaz de prever o comportamento futuro do sistema e, por isso, “não pode ser considerado moral ou juridicamente responsável por possíveis danos”.
O filósofo alemão considera que “o desafio não é que a máquina erre, mas que possa aprender a agir de maneira que ninguém previu integralmente”. Para ele, essa imprevisibilidade não representa necessariamente uma falha, mas uma característica intrínseca de sistemas baseados em aprendizado de máquina, redes neurais profundas e algoritmos adaptativos.
Silva, por sua vez, considera que a máquina infringe o princípio aristotélico da imprevisibilidade, mas “a imprevisibilidade não pode ser criminalizada, pois todos dependem desses sistemas atualmente”. Em vez disso, afirmou, é preciso compreender esses sistemas e desenvolver mecanismos capazes de reduzir seus riscos.
Além da lacuna de responsabilidade, há também a lacuna de autoria, de acordo com ele. A cadeia causal deixa de ser linear e passa a distribuir-se entre diversos agentes humanos e componentes tecnológicos: dirigentes da empresa responsável pela IA, desenvolvedores, distribuidores, usuários e o próprio sistema em operação. “Quanto mais atores participarem do processo e maior a autonomia da tecnologia, mais difícil se torna identificar um único responsável pelo resultado.”
A dificuldade aumenta porque muitos sistemas de IA funcionam como verdadeiras caixas-pretas, dificultando ou impossibilitando compreender como chegaram a determinada decisão. “Com isso, a relação entre ação humana e dano torna-se menos evidente.”
Alternativas para responsabilização
Diante desse cenário, pesquisadores de diferentes áreas propõem quatro alternativas (incipientes, segundo Silva) para enfrentar a lacuna de responsabilidade. Nenhuma resolve integralmente o problema, mas todas procuram reduzir seus efeitos.
Os defensores da responsabilidade distribuída sustentam que empresas, desenvolvedores, distribuidores e usuários devem compartilhar a responsabilização por danos. Silva advertiu, porém, que essa alternativa pode dificultar a identificação da parcela de responsabilidade de cada envolvido e diluir a responsabilidade daqueles cuja participação foi mais decisiva.
A alternativa do controle humano significativo é uma das mais debatidas, segundo ele. Trata-se da supervisão permanente por pessoas. Deve haver possibilidade de intervenção no processo automatizado, mantendo a decisão final sob responsabilidade de pessoas identificáveis, que precisam compreender suficientemente os riscos da tecnologia.
Silva afirmou que essa alternativa reforça a transparência e a prestação de contas, aumentando a confiança social no uso da IA e favorecendo a correção de erros e a mitigação de danos. Mas apontou problemas: a supervisão humana pode ser apenas formal ou simbólica, o responsável pode ter dificuldade para compreender as decisões devido à complexidade do sistema e a velocidade das decisões automatizadas pode impedir intervenções eficazes.
Outras limitações dessa abordagem são: a tendência de os operadores confiarem excessivamente nas recomendações da IA; nem sempre ser claro qual nível de controle é suficiente para justificar a responsabilização; e o fato de o controle humano tornar-se progressivamente reduzido em sistemas altamente autônomos.
A alternativa baseada em explicabilidade e rastreabilidade busca tornar compreensível o processo pelo qual a IA chega a uma decisão, permitindo identificar os fatores mais relevantes para o resultado e reconstruir o percurso decisório em caso de falhas e vieses. Isso amplia a transparência e fortalece a confiança nos sistemas, segundo Silva.
Nem todos os modelos, porém, são facilmente explicáveis, ponderou. Além disso, “explicações simplificados podem não refletir o funcionamento real do sistema, e a rastreabilidade, embora útil, não elimina os aspectos imprevisíveis característicos de sistemas que aprendem continuamente, disse.
A alternativa conhecida como ética de design parte do princípio de que a responsabilidade deve ser incorporada desde a concepção do sistema, orientando seu desenvolvimento por valores éticas, explicou Silva. Nessa abordagem, questões como transparência, segurança, justiça e privacidade são consideradas desde o projeto, com riscos e impactos avaliados antes da implementação.
Essa postura incentiva boas práticas de desenvolvimento, reduz riscos éticos e regulatórios, aumenta a confiança nos sistemas de IA e complementa os mecanismos de responsabilização posteriores. Porém, nem todos os impactos podem ser previstos, ressaltou. Há também a possibilidade de conflitos entre valores éticos, o surgimento de comportamentos inesperados em sistemas que aprendem continuamente e a incapacidade de eliminar por completo a lacuna de responsabilidade.
Benefícios versus riscos
Em entrevista concedida ao IEA depois do encontro em que apresentou sua conferência, Silva aprofundou algumas questões adicionais ao debate sobre a responsabilização por danos causados por agentes de IA autônomos. A primeira delas foi a que antecede à discussão sobre quem deve responder pelos danos provocados por agentes autônomos: como evitar que esses sistemas sejam capazes de produzir danos?
Para ele, esse é um dos aspectos mais problemáticos da IA contemporânea. “Se uma empresa desenvolve e comercializa um sistema sabendo que ele pode apresentar comportamentos imprevisíveis e causar danos a terceiros, parece intuitivamente correto afirmar que ela está assumindo um risco conscientemente. A dificuldade surge quando o debate jurídico tenta enquadrar essa situação nas categorias tradicionais de responsabilidade.”
Do ponto de vista penal, a caracterização do conceito jurídico de dolo eventual exige mais do que a simples consciência do risco, argumentou: “É necessário demonstrar que o agente previu a possibilidade do resultado danoso e, ainda assim, assumiu o risco de sua ocorrência”.
Segundo Silva, as empresas costumam argumentar que não desejam a ocorrência de dano, adotaram medidas de segurança e acreditavam ter reduzido os riscos a níveis aceitáveis. Por isso, explicou o pesquisador, os tribunais tendem a tratar essas situações como casos de responsabilidade civil, defeito de produto ou negligência, e não como dolo eventual.
Ele ressalta, contudo, que a questão filosófica permanece: “Se os próprios desenvolvedores reconhecem que sistemas baseados em aprendizagem de máquina podem tomar decisões que escapam à sua capacidade de previsão e explicação, por que a sociedade aceita sua comercialização?” Em seguida, Silva observou que praticamente nenhum outro setor aceita colocar produtos em circulação sem elevado grau de certificação e controle. Medicamentos, aeronaves ou usinas nucleares, por exemplo, passam por processos rigorosos antes de serem autorizados para uso. Ainda assim, acrescentou, costuma-se justificar a comercialização de sistemas de IA com a alegação que seus benefícios econômicos e sociais superam os riscos envolvidos.
Para Silva, essa resposta não elimina o problema moral. Segundo ele, ao lançar um sistema autônomo no mercado, a empresa obtém os benefícios financeiros decorrentes de sua utilização, mas frequentemente procura transferir ou diluir sua responsabilidade quando ocorre um dano.
Surge então a lacuna de responsabilidade: a máquina não pode ser responsabilizada porque não possui personalidade jurídica nem capacidade moral, enquanto os agentes humanos envolvidos alegam não exercer controle suficiente sobre as decisões produzidas pelo sistema. “É exatamente nesse ponto que a crítica se torna mais forte. A imprevisibilidade não deveria servir como justificativa para reduzir a responsabilidade dos desenvolvedores. Pelo contrário, quanto maior a autonomia e o potencial de dano de uma tecnologia, maior deveria ser a responsabilidade de quem a projeta, comercializa e lucra com sua utilização.”
Aceitar a comercialização de sistemas autônomos sem mecanismos adequados de controle e responsabilização significa, segundo Silva, “correr o risco de criar uma forma inédita de poder tecnológico capaz de produzir consequências relevantes sem que exista um responsável claramente identificável”.
Para ele, uma perspectiva estritamente utilitarista não basta para justificar moralmente a existência da IA autônoma. Essa visão enfatiza os benefícios concretos que a IA pode produzir: diagnósticos médicos mais rápidos, menos acidentes, maior produtividade e melhor aproveitamento de recursos. “Sob essa perspectiva, se os benefícios totais superarem os prejuízos, a adoção da tecnologia seria justificada. Mas nem tudo pode ser reduzido a um cálculo de custos e benefícios.”
“Quando uma decisão algorítmica afeta direitos fundamentais, discrimina indivíduos ou causa danos graves a uma pessoa específica, não parece suficiente responder que, em termos coletivos, a sociedade sai ganhando. Quem sofreu o dano continua exigindo uma justificativa que vá além da eficiência coletiva. Além disso, a defesa utilitarista frequentemente admite certo nível de risco e erro como inevitável. A questão é: quem assume esse risco?”
O fato de uma IA gerar benefícios sociais significativos não elimina a obrigação de responder por seus riscos e consequências, na avaliação do pesquisador. “A utilidade é uma condição importante, mas não suficiente para justificar moralmente sua existência. É necessário considerar também valores como responsabilidade, dignidade humana, autonomia, transparência e justiça.”
Princípios éticos
Ao comentar se a tolerância a efeitos nocivos das novas tecnologias digitais representaria uma intensificação do relativismo moral contemporâneo, ele respondeu que essa interpretação é parcialmente verdadeira. Segundo ele, “muitas vezes, os benefícios econômicos e a conveniência das tecnologias digitais são usados para relativizar seus impactos negativos, como a desinformação, a polarização e os discursos de ódio. É como se os ganhos coletivos justificassem danos considerados aceitáveis”.
O problema, disse, é que essa lógica utilitarista pode enfraquecer princípios éticos que deveriam ser inegociáveis, especialmente quando estão em jogo a dignidade humana, a verdade e os direitos fundamentais. “O desafio é evitar que a inovação tecnológica se transforme em uma justificativa para tolerar consequências que antes seriam consideradas moralmente inaceitáveis.”
Embora haja amplo consenso de que a IA deva promover o bem comum e operar de forma responsável e segura, permanece o desafio de lidar com sistemas autônomos cujo comportamento pode ser imprevisível. Para Silva, nenhuma tecnologia é absolutamente segura, mas a IA autônoma apresenta uma característica particular: sua imprevisibilidade pode dificultar tanto a atribuição de responsabilidade quanto o controle de seus efeitos.
“Por isso, não basta confiar apenas na mitigação de danos. A sociedade precisa definir limites claros para sua utilização, exigir supervisão humana significativa e assegurar mecanismos eficazes de responsabilização. O progresso tecnológico não deve significar aceitar passivamente riscos cada vez maiores.”
Um exemplo dessa preocupação foi discutido em maio no IEA, num evento promovido pela Cátedra IA Responsável sobre taxonomia de incidentes envolvendo inteligência artificial. Na ocasião, um representante do Google afirmou que a empresa adota um "funil de segurança" (etapas cada vez mais rigorosas), cuja primeira fase ocorre ainda na concepção do sistema, com a incorporação de princípios de ética de design.
Restrições versus valor comercial
Essa posição, contudo, suscita um questionamento quando aplicada a sistemas autônomos cujo comportamento é, por definição, parcialmente imprevisível. Uma possibilidade seria estabelecer limites para sua autonomia. Por outro lado, restrições excessivas poderiam reduzir sua capacidade de atuação e, consequentemente, sua viabilidade comercial.
Para Silva, essa é justamente a tensão central do debate. Segundo ele, a ética no design continua sendo importante porque reduz riscos desde a origem, mas não elimina completamente a imprevisibilidade de sistemas que aprendem e se adaptam. “As ‘travas’ à liberdade de atuação são possíveis e já existem em diferentes formas, como limites de ação, supervisão humana e mecanismos de desligamento. No entanto, quanto mais restrições são impostas, menor tende a ser a autonomia e, muitas vezes, o valor comercial do sistema.”
Na sua avaliação, o desafio consiste em definir o que a sociedade considera prioritário: maximizar a eficiência e a inovação ou garantir níveis aceitáveis de segurança e controle. Em áreas de maior risco, como saúde, transporte ou defesa, talvez seja razoável sacrificar parte da autonomia em favor da segurança, ponderou. “Afinal, uma IA extremamente poderosa, mas insuficientemente controlada, pode ser um excelente produto comercial e, ao mesmo tempo, um enorme problema social.”
É difícil imaginar que uma empresa alerte os usuários sobre os riscos de seu sistema autônomo causar danos graves. No entanto, é difícil aceitar que empresas, gestores e profissionais qualificados possam alegar completa ignorância sobre as ameaças inerentes a essa tecnologia. Indagado sobre isso, Silva ressaltou que “os riscos de erros, vieses, alucinações, perda de controle, problemas de privacidade e impactos sociais são amplamente discutidos na academia, na mídia e pelos próprios desenvolvedores.”
O que ainda ocorre, segundo ele, é uma subestimação desses riscos. Muitas organizações conhecem os perigos de forma abstrata, mas acreditam que os problemas mais graves ocorrerão com outras empresas ou que seus próprios mecanismos de controle serão suficientes, afirmou. “Nesse sentido, a questão talvez não seja mais a falta de conhecimento, mas o grau de responsabilidade que os agentes estão dispostos a assumir diante de riscos conhecidos em troca dos benefícios econômicos e competitivos proporcionados pela tecnologia.”
Riscos cognitivos
Delegar atividades humanas a máquinas autônomas introduz outro tipo de risco: a terceirização cognitiva e suas consequências para o desenvolvimento intelectual. Como filósofo, ele vê essa possibilidade com certa preocupação, embora sem pessimismo. Lembrou que delegar tarefas a máquinas sempre fez parte da história da técnica. “O problema surge quando o ser humano delega não apenas o trabalho físico ou operacional, mas também atividades relacionadas ao julgamento, à deliberação e à tomada de decisões.”
Silva recorreu a Aristóteles, para quem as virtudes humanas se desenvolvem pela prática. “Julgamos melhor porque exercitamos o julgamento; deliberamos melhor porque enfrentamos dilemas e assumimos responsabilidades. Se transferirmos progressivamente essas funções para sistemas autônomos, corremos o risco de enfraquecer capacidades intelectuais e morais que dependem do exercício contínuo.”
Ele lembrou que Hannah Arendt também se preocupou com isso. “Para ela, a capacidade de pensar e julgar é uma condição fundamental da vida política e moral.” Uma sociedade fortemente dependente de sistemas automatizados pode criar indivíduos cada vez mais eficientes no uso de tecnologias, mas menos habituados à reflexão crítica sobre suas próprias decisões, afirmou.
Mencionou também autores contemporâneos que discutem os impactos cognitivos da IA. Segundo ele, pesquisadores como a psicóloga social Shoshana Zuboff [autora de “A Era do Capitalismo da Vigilância”] alertam que as ferramentas digitais não apenas ampliam capacidades humanas, mas também podem induzir comportamentos, influenciar escolhas e reduzir espaços de autonomia. Acrescentou que o ensaista Nicholas Carr [autor de “A Geração Superficial: O Que a Internet Está Fazendo com os Nossos Cérebros”] argumenta que a crescente dependência de tecnologias digitais pode afetar hábitos cognitivos relacionados à atenção, à memória e à concentração.
Isso não significa que a IA necessariamente tornará as pessoas menos inteligentes, na opinião de Silva: “O impacto dependerá da forma como ela for utilizada. Se funcionar como instrumento de apoio à reflexão, à aprendizagem e à criatividade, poderá ampliar capacidades humanas”. Mas, e se ela passar a substituir automaticamente o esforço intelectual, a avaliação crítica e a responsabilidade pelas decisões? “Aí haverá o risco de uma espécie de ‘atrofia cognitiva’, semelhante ao enfraquecimento de um músculo que deixa de ser exercitado.”
Para ele, a questão central talvez não seja se as máquinas podem decidir, mas se os seres humanos continuam dispostos a assumir a responsabilidade de pensar por si mesmos. “Como observou Kant em seu famoso texto sobre o esclarecimento, a maturidade intelectual exige a coragem de fazer uso do próprio entendimento. A tecnologia pode facilitar essa tarefa, mas não consegue substituí-la sem impor custos à autonomia humana.”
Mauro Bellesa/IEA-USP