A inteligência artificial não segue a lógica do progresso científico

Escrevemos muitas vezes em MT sobre pesquisadores e profissionais que proclamam os sistemas de aprendizado de máquina como “caixas pretas” (1) mesmo para aqueles que os constroem. Isso dificulta a avaliação de resultados e a reutilização de algoritmos emergentes.

Redes neurais - a técnica que nos dá bots de conversão inteligentes e geradores de texto engenhosos que podem até criar poesia - permanece um mistério incompreensível para observadores externos.

Eles estão ficando maiores e mais complexos, lidando com grandes conjuntos de dados e usando enormes matrizes de computação. Isso torna a replicação e análise dos modelos obtidos onerosa e às vezes impossível para outros pesquisadores, exceto para grandes centros com grandes orçamentos.

Muitos cientistas estão bem cientes deste problema. Entre eles está Joel Pino (2), presidente da NeurIPS, a principal conferência sobre reprodutibilidade. Os especialistas sob sua liderança querem criar uma "lista de verificação de reprodutibilidade".

A ideia, disse Pino, é incentivar os pesquisadores a oferecer a outros um roteiro para que possam recriar e usar o trabalho já feito. Você pode se maravilhar com a eloquência de um novo gerador de texto ou a destreza sobre-humana de um robô de videogame, mas mesmo os melhores especialistas não têm ideia de como essas maravilhas funcionam. Portanto, a reprodução de modelos de IA é importante não apenas para identificar novos objetivos e direções de pesquisa, mas também como um guia puramente prático de uso.

Outros estão tentando resolver este problema. Os pesquisadores do Google ofereceram "cartões modelo" para descrever em detalhes como os sistemas foram testados, incluindo resultados que apontam para possíveis bugs. Pesquisadores do Allen Institute for Artificial Intelligence (AI2) publicaram um artigo que visa estender a lista de verificação de reprodutibilidade de Pinot para outras etapas do processo experimental. “Mostre seu trabalho”, eles pedem.

Às vezes faltam informações básicas porque o projeto de pesquisa é de propriedade, especialmente de laboratórios que trabalham para a empresa. Mais frequentemente, no entanto, é um sinal de incapacidade de descrever métodos de pesquisa em mudança e cada vez mais complexos. As redes neurais são uma área muito complexa. Para obter os melhores resultados, muitas vezes é necessário o ajuste fino de milhares de "botões e botões", que alguns chamam de "magia negra". A escolha do modelo ótimo está frequentemente associada a um grande número de experimentos. A magia fica muito cara.

Por exemplo, quando o Facebook tentou replicar o trabalho do AlphaGo, sistema desenvolvido pela DeepMind Alphabet, a tarefa se mostrou extremamente difícil. Enormes requisitos computacionais, milhões de experimentos em milhares de dispositivos ao longo de muitos dias, combinados com a falta de código, tornaram o sistema "muito difícil, se não impossível, de recriar, testar, melhorar e estender", segundo funcionários do Facebook.

O problema parece ser especializado. No entanto, se pensarmos mais longe, o fenômeno dos problemas com a reprodutibilidade de resultados e funções entre uma equipe de pesquisa e outra mina toda a lógica de funcionamento da ciência e dos processos de pesquisa que conhecemos. Via de regra, os resultados de pesquisas anteriores podem ser usados ​​como base para pesquisas futuras que estimulem o desenvolvimento de conhecimento, tecnologia e progresso geral.