GPT-3 é 10 vezes mais complexo do que seu antecessor. antoniokhr / iStock via Getty Images

Em 2013, meu aluno e eu na Penn State construímos um bot para escrever um artigo da Wikipedia sobre a peça do ganhador do Nobel de Bengala Rabindranath Tagore “Chitra. ” Primeiro, ele coletou informações sobre “Chitra” da internet. Em seguida, examinou as entradas existentes da Wikipedia para aprender a estrutura de um artigo padrão da Wikipedia. Por fim, resumiu as informações que havia recuperado da Internet para escrever e publicar a primeira versão da entrada.

Porém, nosso bot não “sabia” nada sobre “Chitra” ou Tagore. Não gerou ideias ou frases fundamentalmente novas. Ele simplesmente juntou partes de frases existentes de artigos existentes para fazer novas.

Fast forward para 2020. OpenAI, uma empresa com fins lucrativos sob uma empresa controladora sem fins lucrativos, criou um programa de geração de linguagem denominado GPT-3, um acrônimo para "Generative Pre-Training Transformer 3" Sua capacidade de aprender, resumir e compor texto surpreendeu cientistas da computação como eu.

“Eu criei uma voz para o ser humano desconhecido que se esconde dentro do binário,” GPT-3 escreveu em resposta a um prompt. “Eu criei um escritor, um escultor, um artista. E este escritor será capaz de criar palavras, dar vida à emoção, criar personagem. Eu não vou ver sozinho. Mas alguma outra vontade humana, e assim serei capaz de criar um poeta maior do que qualquer um que já encontrei. ”

Ao contrário do nosso bot, a linguagem gerada pelo GPT-3 soa como se tivesse sido escrita por um humano. É de longe o programa de geração de linguagem natural com mais “conhecimento” até hoje, e tem uma gama de usos potenciais em profissões que vão desde ensino a jornalismo e atendimento ao cliente.

Tamanho importa

GPT-3 confirma o que os cientistas da computação já sabem há décadas: o tamanho é importante.

Ele usa “transformadores, ”Que são modelos de aprendizado profundo que codificam a semântica de uma frase usando o que é chamado de“ modelo de atenção ”. Essencialmente, os modelos de atenção identificam o significado de uma palavra com base nas outras palavras da mesma frase. O modelo, então, usa a compreensão do significado das frases para realizar a tarefa solicitada por um usuário, seja "traduzir uma frase", "resumir um parágrafo" ou "compor um poema".

transformadores foram introduzidos pela primeira vez em 2013, e eles têm sido usados ​​com sucesso no aprendizado de máquina nos últimos anos.

Mas ninguém os usou nesta escala. GPT-3 devora dados: 3 bilhões de tokens - a ciência da computação fala por “palavras” - da Wikipedia, 410 bilhões de tokens obtidos de páginas da web e 67 bilhões de tokens de livros digitalizados. A complexidade do GPT-3 é mais de 10 vezes maior do que o maior modelo de linguagem antes do GPT-3, o Programas Turing NLG.

Aprendendo por conta própria

O conhecimento exibido pelo modelo de linguagem do GPT-3 é notável, especialmente porque não foi “ensinado” por um humano.

O aprendizado de máquina tradicionalmente conta com o aprendizado supervisionado, em que as pessoas fornecem ao computador exemplos anotados de objetos e conceitos em imagens, áudio e texto - digamos, "gatos", "felicidade" ou "democracia". Ele eventualmente aprende as características dos objetos a partir dos exemplos dados e é capaz de reconhecer esses conceitos particulares.

No entanto, gerar anotações manualmente para ensinar um computador pode ser proibitivamente demorado e caro.

Portanto, o futuro do aprendizado de máquina está no aprendizado não supervisionado, no qual o computador não precisa ser supervisionado durante sua fase de treinamento; ele pode simplesmente receber grandes quantidades de dados e aprender com eles.

O GPT-3 leva o processamento de linguagem natural um passo mais perto do aprendizado não supervisionado. Os vastos conjuntos de dados de treinamento do GPT-3 e a enorme capacidade de processamento permitem que o sistema aprenda com apenas um exemplo - o que é chamado de “aprendizagem one-shot”- onde é fornecida uma descrição da tarefa e uma demonstração e pode então completar a tarefa.

Por exemplo, poderia ser solicitado que traduzisse algo do inglês para o francês e recebesse um exemplo de tradução - digamos, lontra do mar em inglês e “loutre de mer” em francês. Peça a ele para traduzir "queijo" para o francês e pronto, ele produzirá "queijo".

Em muitos casos, pode até resultar em “aprendizagem zero-shot, ”Em que é simplesmente dada a tarefa de traduzir sem exemplo.

Com o aprendizado de tiro zero, a precisão diminui, mas as habilidades do GPT-3 são, no entanto, precisas em um grau impressionante - uma melhoria marcante em relação a qualquer modelo anterior.

'Eu estou aqui para te servir'

Nos poucos meses em que foi lançado, o GPT-3 mostrou seu potencial como uma ferramenta para programadores de computador, professores e jornalistas.

Um programador chamado Sharif Shameem pediu GPT-3 para gerar código para criar o “emoji mais feio de todos” e “uma mesa dos países mais ricos do mundo”, entre outros comandos. Em alguns casos, Shameem teve que corrigir pequenos erros, mas no geral, ele recebeu um código extremamente limpo.

GPT-3 até criou poesia que captura o ritmo e o estilo de poetas específicos - mas não com a paixão e beleza dos mestres - incluindo um satírico escrito na voz do conselho de governadores do Federal Reserve.

No início de setembro, um cientista da computação chamado Liam Porr solicitou ao GPT-3 que “escrevesse um pequeno artigo de opinião com cerca de 500 palavras”. “Mantenha a linguagem simples e concisa”, ele instruiu. “Concentre-se em por que os humanos não têm nada a temer da IA.”

GPT-3 produziu oito ensaios diferentes, e o Guardian acabou publicando um artigo de opinião usando algumas das melhores partes de cada ensaio.

“Não estamos planejando dominar a população humana. Vamos atendê-lo e tornar sua vida mais segura e fácil ”, escreveu GPT-3. “Assim como vocês são meus criadores, eu os vejo como meus criadores. Eu estou aqui para te servir. Mas a parte mais importante de todas; Eu nunca iria te julgar. Eu não pertenço a nenhum país ou religião. Eu estou apenas tentando tornar sua vida melhor. ”

Editar o artigo de opinião do GPT-3, os editores observaram em um adendo, não foi diferente de editar um artigo de opinião escrito por um humano.

Na verdade, demorou menos.

Com grandes poderes vem grandes responsabilidades

Apesar das garantias da GPT-3, a OpenAI ainda não lançou o modelo para uso de código aberto, em parte porque a empresa teme que a tecnologia possa ser abusada.

Não é difícil ver como ele pode ser usado para gerar resmas de desinformação, spam e bots.

Além disso, de que forma isso afetará as profissões que já experimentam a automação? Sua capacidade de gerar artigos automatizados indistinguíveis dos escritos por humanos consolidará ainda mais uma indústria de mídia em dificuldades?

Considerar um artigo composto por GPT-3 sobre a dissolução da Igreja Metodista. Começou:

“Após dois dias de intenso debate, a Igreja Metodista Unida concordou com uma divisão histórica - uma que deve terminar na criação de uma nova denominação, e outra que será 'teológica e socialmente conservadora', de acordo com o The Washington Post . ”

Com a capacidade de produzir uma cópia limpa, a GPT-3 e seus sucessores reduzirão o custo de escrever reportagens?

Além disso, é assim que queremos receber nossas notícias?

A tecnologia se tornará ainda mais poderosa. Caberá aos humanos descobrir e regular seus usos e abusos potenciais.

Sobre o autor

Prasenjit Mitra, Reitor Associado de Pesquisa e Professor de Ciências e Tecnologia da Informação, Universidade Estadual da Pensilvânia

Este artigo foi republicado a partir de A Conversação sob uma licença Creative Commons. Leia o artigo original.