Principais modelos de linguagem de IA não estão preparados para cumprir com o AI Act da UE.

Uma equipe de pesquisadores de Stanford relatou em uma pesquisa que os dez principais modelos de linguagem de IA do mundo estão prestes a falhar nos rigorosos padrões estabelecidos pelo iminente AI Act da União Europeia. Caso não cumpram as regulamentações, essas entidades de IA podem enfrentar riscos regulatórios significativos.

O AI Act da UE, aprovado em votação parlamentar em 14 de junho, está atualmente no caminho para se tornar uma lei oficial. Como o primeiro conjunto abrangente de regulamentos de IA do mundo, trata-se de uma norma que vai impactar mais de 450 milhões de indivíduos, e servirá de exemplo de modelo de regulação para diversos países no mundo, inclusive o Brasil, que já conta com um projeto de lei em trâmite inspirado na regulação europeia.

Os modelos de IA generativos, como o ChatGPT, estão sujeitos a uma série de requisitos sob o AI Act, que incluem o registro obrigatório com autoridades relevantes e divulgações essenciais de transparência, áreas em que muitos modelos falham.

O preço da não conformidade é alto: as multas podem ultrapassar €20.000.000 ou chegar a 4% da receita mundial de uma empresa. Além disso, os modelos de IA generativos de código aberto devem atender aos mesmos padrões que seus equivalentes de código fechado, levantando questões dentro da comunidade de código aberto sobre risco legal e exposição.

A Paisagem de Não Conformidade

No estudo, os pesquisadores avaliaram dez dos principais modelos de IA em relação aos 12 requisitos fundamentais de conformidade do projeto AI Act. Chama atenção que a maioria dos modelos obteve menos de 50% em conformidade geral (veja a imagem abaixo, em inglês).

Model compliance against 12 key requirements in the EU's AI Act. Credit: Stanford

Os modelos de código fechado, como o GPT-4 da OpenAI, obtiveram apenas 25 de um total de 48 pontos possíveis. O PaLM 2 do Google teve um desempenho ligeiramente melhor com uma pontuação de 27, enquanto o Command LLM da Cohere conseguiu apenas 23. O Claude da Anthropic ficou perto do fundo com meros 7 pontos.

Por outro lado, o modelo de código aberto BLOOM da Hugging Face teve o melhor desempenho, garantindo 36 pontos. No entanto, outros modelos de código aberto, como o LLaMA da Meta e o Stable Diffusion v2, alcançaram apenas 21 e 22 pontos, respectivamente.

Padrões e Observações Notáveis

Os modelos de código aberto geralmente superaram os modelos de código fechado em várias áreas críticas, incluindo transparência das fontes de dados e utilização de recursos. Por outro lado, modelos de código fechado se destacaram em áreas como documentação abrangente e mitigação de riscos.

Por fim, o estudo aponta áreas significativas de incerteza quando o assunto é regulação de IAs generativas. Os pesquisadores de Stanford alertam que a falta de conhecimento técnico poderia dificultar a capacidade da UE de regular efetivamente esses modelos fundamentais. Apesar disso, os pesquisadores defendem a implementação do AI Act da UE. Eles argumentam que isso serviria "como um catalisador para que os criadores de IA estabeleçam coletivamente padrões da indústria que aumentem a transparência" e proporcionem "uma mudança positiva significativa no ecossistema do modelo fundamental".

Adaptado de: https://www.artisana.ai/articles/leading-ai-language-models-fall-short-of-upcoming-eu-regulations-stanford