O Meta AI Bot contribuiu com pesquisas falsas e sem sentido antes de ser colocado offline

meta pausou o dele Robô de inteligência artificial (IA) na semana passada, apenas dois dias depois de ir ao ar para o público. O bot, chamado Galactica, foi treinado “em 106 bilhões de tokens de texto e dados científicos de código aberto. Isso inclui artigos, livros didáticos, sites científicos, enciclopédias, materiais de referência, bases de conhecimento, etc. “, disse a empresa. a besta diária.

Era para ajudar estudiosos e pesquisadores a encontrar artigos e estudos de forma rápida e sucinta, mas em vez disso foi sobrecarregado com grandes quantidades de desinformação citando cientistas respeitáveis.

A reputação dos cientistas pode estar em jogo quando eles são citados erroneamente no texto e Carl Bergstrom, professor de biologia da Universidade de Washington, disse CBS que o problema da Galactica é que ela foi apresentada como um meio de obter fatos e informações. Mas, em vez disso, ele disse que agia como “uma versão sofisticada do jogo em que você começa com meia frase e deixa o preenchimento automático preencher o resto da história”.

Horas depois que Galactica entrou no ar, os usuários começaram a denunciar postagens racistas e imprecisas, com uma pessoa poste uma foto respondendo a uma solicitação sobre viés de linguagem. A resposta do bot afirmou falsamente que os negros “não têm língua própria” e que os imigrantes “não falam uma língua diferente da língua do país para o qual imigram”.

Outras informações geradas incluíam um estudo falso sobre os benefícios de comer vidro moído e informações falsificadas sobre pesquisadores da Universidade de Stanford criando um software “gaydar” para encontrar gays no facebook.

Um porta-voz da Meta AI disse à CNET: “Galactica não é uma fonte de verdade, é um experimento de pesquisa usando [machine learning] sistemas para aprender e resumir informações. Ele acrescentou que a Galactica “é uma pesquisa exploratória de natureza de curto prazo, sem um plano de produto”. O cientista-chefe da Meta AI, Yann LeCun, disse à agência que o bot foi retirado porque a equipe estava “muito chateada com o vitríolo no Twitter”.

Dois dias após o lançamento do Galactica, a equipe do Meta AI pausou o bot do Meta e o cientista-chefe de IA Yann LeCun twittou“A demo Galactica está offline no momento. Não é mais possível se divertir abusando dela casualmente. Feliz?”

A Meta AI (anteriormente chamada Facebook Artificial Intelligence Research) desenvolveu a Galactica como uma forma de “organizar a ciência” e condensar uma quantidade impressionante de informações científicas encontradas online. A ideia era que a IA fizesse coisas como resolver problemas matemáticos, escrever códigos científicos e escrever resumos de pesquisas.

meta nota no site da Galactica que o modelo de IA tem limitações que podem torná-lo “alucinante”. O site aconselha os usuários a verificar qualquer informação que apareça e diz “Não há garantia de saída verdadeira ou confiável de modelos de linguagem, mesmo grandes em dados de alta qualidade como Galactica”, acrescentando que o texto gerado pode parecer ” muito autêntico e muito confiante”, mas ainda pode estar errado.

“Imagino que, mesmo com suas muitas falhas previsíveis, haja usos desejáveis ​​para tal sistema”, disse Vincent Conitzer, professor de ciência da computação da Carnegie Mellon University em Pittsburgh, ao The Daily Beast.

“Minha impressão é que a Meta teria feito melhor colocando mais esforço neste lançamento público, fazendo primeiro estudos de usuários mais sérios, chamando a atenção para os usos desejáveis ​​do sistema e sendo honesto e aberto em usos indesejáveis.”