Projeto Governança de Agentes de IA
O objetivo do projeto será investigar os riscos éticos e sociais associados ao avanço dos agentes de IA. A pesquisa adotará uma abordagem multidisciplinar para compreender os desafios desses sistemas autônomos. Além disso, buscará desenvolver propostas e mecanismos de governança que protejam a sociedade de possíveis consequências indesejáveis. As pesquisas devem procurar identificar os impactos potenciais desses agentes e avaliar soluções que promovam transparência, responsabilidade, visibilidade e alinhamento com valores éticos e sociais fundamentais, pilares-chave para mitigar riscos e assegurar o uso ético e responsável dessas tecnologias emergentes. Ademais, o contexto tecnológico e social dos países do Sul Global será uma consideração central nas pesquisas relacionadas aos agentes de IA.
Tópicos de pesquisa para o tema Agentes de IA
- Autonomia e Escala: Agentes de IA possuem a capacidade de agir de forma independente, o que aumenta os riscos de erros, mau uso ou consequências não intencionais. Diferentemente dos modelos de linguagem (LLM), suas ações podem impactar diretamente operações sem a necessidade de intervenção humana.
- Interpretabilidade: As decisões tomadas por agentes de IA frequentemente são pouco transparentes, dificultando o monitoramento, a identificação de falhas e a mitigação de riscos.
- Riscos Éticos: A autonomia desses agentes pode intensificar desigualdades sociais existentes ou criar tipos de danos, como discriminações, eliminação indiscriminada de postos de trabalho e a perpetuação de preconceitos em decisões críticas.
- Agência: O design e desenvolvimento de agentes de IA devem definir claramente sua autonomia e estabelecer mecanismos eficazes para garantir limites (``guardrails’’), responsabilidade e prestação de contas.
- Responsabilidade: é essencial estabelecer marcos legais claros que definam as atribuições de responsabilidade por danos causados por agentes de IA adaptando os princípios tradicionais ao contexto das entidades digitais.
- Visibilidade: As tecnologias devem assegurar que as ações e os processos decisórios dos agentes de IA sejam transparentes e sujeitos a auditoria.
- Inclusão: O desenvolvimento de agentes de IA deve incorporar perspectivas diversas para ampliar inclusão, reduzir vieses e evitar resultados injustos.
- Arquiteturas tecnológicas de agentes de IA: as arquiteturas referem-se à estruturação dos componentes e processos que permitem o funcionamento de agentes de inteligência artificial. Essas arquiteturas tecnológicas definem como os agentes percebem o ambiente, tomam decisões, planejam ações e interagem com outros sistemas ou usuários. Elas incluem elementos como modelos de linguagem e aprendizado, mecanismos de planejamento, interfaces de comunicação e sistemas de controle, garantindo que os agentes possam executar tarefas de forma autônoma e alinhada aos objetivos definidos.
- Governança Adaptativa e Colaborativa de Agentes de IA: Governos, empresas e organizações sociais devem explorar modelos flexíveis de governança dessas tecnologias, que acompanhem avanços tecnológicos e mudanças regulatórias, promovendo a colaboração entre múltiplos setores (``multistakeholder model’’) para alinhar padrões, princípios e compartilhar boas práticas. Além da conformidade imediata, é essencial adotar uma visão de longo prazo, tratando a governança de agentes de IA como uma estratégia para fortalecer a confiança, mitigar riscos e impulsionar a inovação.
Subtemas e cronograma
- Conferência de abertura da Cátedra Oscar Sala, Março de 2025.
- Reunião sobre a bibliografia relevante e definição de temas de pesquisa (abril 2025).
- Papel do ``design’’ na construção de Agentes de IA em busca de um equilíbrio entre ``human agency’’ e ``algorithm agency’’ (junho 2025).
- Estudo do comportamento de Agentes de IA (ex.: estudos empíricos e modelos teóricos) (julho 2025).
- Formação de um grupo de estudo e mini-workshop (setembro 2025).
- Estudo do comportamento humano nas relações com Agentes de IA: individual e coletivo (agosto 2025).
- Formação de um grupo de estudo e mini-workshop (outubro 2025).
- Debate sobre as formas de colaboração humano-Agentes-IA na saúde, trabalho e emprego, com análise de estudos de casos (setembro 2025).
- Debate sobre o papel dos Agentes de IA na sociedade, como por exemplo a discussão se agentes não humanos devem receber alguma consideração moral e legal como outras entidades que interagem socialmente (novembro 2025).
- Seminário Internacional (presencial-online) com o tema ``O papel dos Agentes de IA e seus Impactos Sociais, Econômicos e Políticos em Países em Desenvolvimento’’ com participação de conferencistas internacionais (novembro 2025).
- Governança de Agentes de IA, com apresentação de propostas e estudos de caso. O foco será a integração de ciências sociais, governança, direito, saúde, engenharias e computação para gerenciar mudanças aceleradas pela disseminação de Agentes Autônomos de IA (dezembro 2025).