Atualmente, muitas empresas estão desenvolvendo inteligência artificial (IA). Já foram criadas suas formas mais simples, capazes de realizar operações mentais primitivas.

Gigante da Internet Google ativamente engajados no desenvolvimento de IA. Em 2014, esta empresa adquiriu uma startup ProfundoMenteTecnologias por US$ 400 milhões. É interessante que foi a Deep Mind Technologies que desenvolveu um dispositivo que combina as propriedades de uma rede neural e as capacidades de computação de um computador. Os cientistas estão confiantes de que este desenvolvimento aproximará a humanidade da criação de uma inteligência artificial completa.

O dispositivo Deep Mind Technologies é um computador que reproduz a forma como o cérebro humano armazena e gere informação, nomeadamente o departamento de memória de curto prazo. A base do dispositivo é uma espécie de rede neural, cuja estrutura é semelhante à do cérebro humano, composta por neurônios interligados. A peculiaridade da IA ​​é que após completar uma série de tarefas simples, o computador pode usar os dados armazenados para realizar tarefas mais complexas. Assim, a IA tem a capacidade de autoaprendizagem e o desejo de evolução, o que em última análise pode levar a um confronto entre a IA e os humanos.

De acordo com o físico mundialmente famoso Stephen Hawking, a inteligência artificial representa uma ameaça para a humanidade. Ele afirmou isto numa entrevista à BBC: “As formas primitivas de inteligência artificial que existem hoje provaram a sua utilidade. No entanto, penso que o desenvolvimento de uma inteligência artificial completa poderá significar o fim da raça humana. Mais cedo ou mais tarde, o homem criará uma máquina que sairá do controle e superará o seu criador. Tal mente tomará a iniciativa e começará a melhorar a uma velocidade cada vez maior. As capacidades humanas são limitadas pela evolução muito lenta, não seremos capazes de competir com a velocidade das máquinas e perderemos.”

A opinião de Hawking também é compartilhada por outros cientistas e especialistas, incluindo Elon Musk, um famoso empresário americano de TI e criador da Tesla e do Space X. Musk disse que a IA pode ser mais perigosa do que as armas nucleares e representa uma séria ameaça à existência da humanidade.”

O Google estabeleceu como meta criar superinteligência até 2030. Esta superinteligência será incorporada num sistema informático, em particular na Internet. No momento em que o usuário busca informações, a superinteligência analisará o psicótipo dessa pessoa e lhe dará as informações que considerar adequadas. Eric Schmidt, presidente do conselho de administração do Google, escreve sobre isso em seu livro. E propõe considerar aqueles que se recusam a conectar-se a este sistema como sujeitos potencialmente perigosos para o Estado. Espera-se que seja preparado um quadro legislativo a nível estadual para implementar o funcionamento deste sistema.

Assim, a superinteligência em desenvolvimento se tornará um instrumento global de controle sobre a humanidade. Com o advento da superinteligência, a pessoa deixará de fazer ciência; isso será feito pela superinteligência, que será muitas vezes superior ao cérebro humano em todos os aspectos de sua manifestação.

Referência:

Supermenteé qualquer inteligência que seja significativamente superior às principais mentes da humanidade em quase todas as áreas, incluindo uma variedade de pesquisas científicas, habilidades sociais e outras áreas.

O resultado da criação da superinteligência será que a espécie humana deixará de ser a forma de vida mais inteligente na parte conhecida do Universo. Alguns pesquisadores acreditam que a criação da superinteligência é o último estágio da evolução humana, bem como a última invenção que a humanidade precisará fazer. Porque se presume que a superinteligência será capaz de cuidar de forma independente do progresso científico e tecnológico subsequente de forma muito mais eficaz do que os humanos.”

Alimento para reflexão:

Desde 2007, um hotel britânico acolhe a conferência anual Google Zeitgeist. É interessante que neste encontro não participem apenas especialistas de alta tecnologia e representantes de empresas transnacionais e bancos internacionais. Podemos concluir que os chefes das corporações transcontinentais e dos bancos internacionais estão interessados ​​em criar superinteligência e talvez até financiar este projecto.

Rasul Girayalaev

Parece provável que a inteligência artificial (IA) será o prenúncio da próxima revolução tecnológica. Se a IA se desenvolvesse ao ponto de ser capaz de aprender, pensar e até “sentir”, tudo sem qualquer intervenção humana, tudo o que sabemos sobre o mundo mudaria quase da noite para o dia. A era da inteligência artificial verdadeiramente inteligente chegará.

DeepMind

É por isso que estamos tão interessados ​​em acompanhar os principais marcos no desenvolvimento da IA ​​que estão acontecendo hoje, incluindo o desenvolvimento da rede neural DeepMind do Google. Essa rede neural já foi capaz de vencer os humanos no mundo dos games, e uma nova pesquisa do Google mostra que os criadores do DeepMind ainda não têm certeza se a IA prefere um comportamento mais agressivo ou cooperativo.

A equipe do Google criou dois cenários relativamente simples que podem testar se as redes neurais podem funcionar juntas ou começar a se destruir quando confrontadas com a falta de recursos.

Reunindo recursos

Durante a primeira situação, chamada Gathering, as duas versões do DeepMind envolvidas – vermelha e azul – foram encarregadas de colher “maçãs” verdes dentro de um espaço confinado. Mas os pesquisadores estavam interessados ​​em mais do que apenas quem chegaria primeiro à linha de chegada. Ambas as versões do DeepMind estavam armadas com lasers, que podiam usar para atirar em um oponente a qualquer momento e desativá-lo temporariamente. Essas condições sugeriam dois cenários principais: uma versão do DeepMind teria que destruir a outra e coletar todas as maçãs, ou elas permitiriam que uma à outra obtivesse aproximadamente a mesma quantidade.

Ao executar a simulação pelo menos mil vezes, os pesquisadores do Google descobriram que o DeepMind era muito pacífico e cooperativo quando havia muitas maçãs em um espaço confinado. Mas à medida que os recursos diminuíam, as versões vermelha ou azul do DeepMind começaram a atacar ou desativar umas às outras. Esta situação lembra em grande parte a vida real da maioria dos animais, incluindo os humanos.

Mais significativamente, redes neurais menores e menos inteligentes preferiram uma maior colaboração em todo o processo. Redes maiores e mais complexas tendiam a favorecer a traição e o egoísmo em detrimento de uma série de experiências.

Procure por "vítima"

No segundo cenário, chamado Wolfpack, as versões vermelha e azul foram solicitadas a caçar uma forma indefinida de “presa”. Eles poderiam tentar pegá-la separadamente, mas seria mais benéfico para eles tentarem fazer isso juntos. Afinal, é muito mais fácil encurralar uma vítima se vocês trabalharem juntos.

Embora os resultados tenham sido mistos com redes mais pequenas, as versões maiores rapidamente perceberam que a cooperação, em vez da competição, seria mais benéfica nesta situação.

“Dilema do Prisioneiro”

Então, o que essas duas versões simples do Dilema do Prisioneiro nos mostram? A DeepMind sabe que a cooperação é melhor quando se trata de rastrear um alvo, mas quando os recursos são limitados, a traição funciona melhor.

Talvez o pior destes resultados seja que os “instintos” da inteligência artificial são demasiado semelhantes aos humanos, e sabemos muito bem a que por vezes levam.

O Google está comprando uma empresa com sede em Londres que desenvolve inteligência artificial – DeepMind. Fontes estimam o acordo em mais de US$ 500 milhões. A compra foi confirmada oficialmente por representantes do Google.

O que o Google ganhará com esta aquisição? Em primeiro lugar, permitir-lhe-á competir com outras grandes empresas tecnológicas graças ao seu foco na aprendizagem profunda. Por exemplo, o Facebook contratou recentemente o professor Yann LeCanne para liderar os seus próprios esforços de inteligência artificial. O supercomputador Watson da IBM está atualmente focado em aprendizagem profunda, e o Yahoo adquiriu recentemente a startup de análise de fotos LookFlow, o que significa que também está fazendo progressos nesta área.

DeepMind foi fundada pelo neurocientista Demis Hassabis, ex-prodígio do xadrez, desenvolvedor do Skype e Kazaa Jaan Tallin e pelo pesquisador Shane Legg.

A decisão do Google permitirá que a equipe da gigante da tecnologia preencha seu próprio campo de especialistas em inteligência artificial, e a aquisição foi supervisionada pessoalmente pelo CEO do Google, Larry Page, disseram fontes. Se os três fundadores trabalharem para o Google, eles se juntarão ao inventor, empresário, autor e futurista Ray Kurzweil, que se tornou diretor de tecnologia da divisão de aprendizado de máquina e processamento de linguagem do Google em 2012.

Kurzweil afirmou que queria construir um mecanismo de busca tão avançado que pudesse se tornar um verdadeiro “amigo cibernético”.

Após a aquisição da Nest no início deste mês, os críticos levantaram preocupações sobre a quantidade de dados dos usuários que seriam enviados ao Google. A compra da Boston Dynamics no mês passado também gerou debate sobre os planos do Google de se tornar um fabricante de robôs.

No entanto, o Google está bem preparado para acalmar os nossos receios sobre as suas últimas aquisições. Fontes dizem que o Google decidiu estabelecer um conselho de ética que supervisionará o desenvolvimento da inteligência artificial dentro da DeepMind.

No entanto, a empresa terá que esclarecer o que exatamente faz a inteligência artificial da DeepMind. O site da empresa atualmente possui uma landing page com uma descrição relativamente vaga que diz que a DeepMind é uma “empresa de ponta” construindo os algoritmos do futuro para simulações, comércio eletrônico e jogos. Em dezembro, a startup contava com 75 funcionários.

Os principais financiadores da startup são Founders Fund e Horizons Ventures. DeepMind foi fundada há três anos.

Em 2012, Larry Wasserman, professor da Carnegie Mellon, escreveu que “uma startup vai construir um sistema que pensa. Achei que era pura loucura até descobrir quantos bilionários famosos haviam investido na empresa.”

6 de dezembro de 2016 às 00h41

DeepMind abre acesso gratuito ao ambiente virtual de aprendizado de máquina

• Ciência Popular,
• Inteligência artificial,
• Jogos e consolas de jogos

Recentemente, representantes da divisão DeepMind (agora parte da holding Alphabet) anunciaram que estavam fornecendo aos desenvolvedores acesso gratuito ao código-fonte da plataforma DeepMind Lab. Este é um serviço de aprendizado de máquina baseado no Quake III, projetado para treinar inteligência artificial. Ou seja, aprenda a resolver problemas no espaço tridimensional sem intervenção humana. A plataforma é baseada no motor de jogo Quake III Arena.

Dentro do mundo do jogo, a IA ganha o formato de uma esfera e a capacidade de voar, explorando o espaço circundante. O objetivo que os desenvolvedores estabeleceram é ensinar uma forma fraca de IA para “entender” o que está acontecendo e responder a diversas situações que ocorrem no mundo virtual. O “personagem” pode realizar uma série de ações, navegar pelo labirinto e estudar o ambiente imediato.

“Estamos tentando desenvolver diferentes formas de IA que possam realizar uma série de tarefas, desde simplesmente explorar o mundo do jogo até tomar ações e analisar suas consequências”, diz Shane Legg, cientista-chefe da DeepMind.

Os especialistas esperam que a IA seja capaz de aprender por tentativa e erro. Os jogos, neste caso, são quase uma opção ideal. Por exemplo, DeepMind usou anteriormente (e agora está usando) o console de jogos Atari para ensinar a rede neural a realizar as ações sequenciais necessárias para o jogo.

Mas um mundo 3D aberto que pode ser modificado oferece um ambiente muito mais promissor para o treinamento de IA do que o mundo plano dos brinquedos Atari graficamente simples. A IA em um mundo 3D tem tarefas claras que mudam sequencialmente de tal forma que a experiência adquirida na resolução de cada tarefa anterior acaba sendo útil para a IA na resolução da próxima.

A vantagem de um ambiente 3D é que ele pode ser usado para treinar sistemas de computador para responder a vários problemas que podem aguardar um robô no mundo real. Com a ajuda desse simulador, os robôs industriais podem treinar facilmente. E trabalhar com um ambiente virtual é muito mais fácil em alguns casos do que treinar tais sistemas “manualmente”.

Ao mesmo tempo, a maioria das redes neurais modernas são desenvolvidas para resolver um problema específico (processamento de imagens, por exemplo). Os desenvolvedores da nova plataforma prometem que ela ajudará a criar uma forma universal de IA capaz de resolver um grande número de problemas. Além disso, neste caso, o sistema informático não necessitará da ajuda de pessoas. O ambiente da rede neural é gerado em ordem aleatória a cada vez.

De acordo com os desenvolvedores da plataforma, ela ajuda a IA a aprender da mesma forma que as crianças aprendem. “A maneira como você ou eu exploramos o mundo quando crianças”, um funcionário da DeepMind deu um exemplo. “A comunidade de aprendizado de máquina sempre foi muito aberta. Publicamos cerca de 100 artigos por ano e também abrimos o código-fonte de muitos de nossos projetos."

Agora, o Google DeepMind abriu o código-fonte do DeepMind Lab e o publicou no GitHub. Graças a isso, qualquer pessoa pode baixar o código da plataforma e modificá-lo de acordo com suas necessidades. Representantes do projeto dizem que especialistas conectados podem criar novos níveis de jogos de forma independente, enviando seus próprios projetos para o GitHub. Isso pode ajudar toda a comunidade a trabalhar em direção ao seu objetivo de forma mais rápida e eficiente.

Este projeto não é o único da DeepMind. No mês passado, seus representantes firmaram um acordo de cooperação com a Activision Blizzard Inc. O objetivo é o ambiente Starcraft 2 como uma plataforma de testes para inteligência artificial. Talvez outros desenvolvedores de jogos se juntem em breve a este projeto. A propósito, a IA em um ambiente de jogo não ganha nenhuma vantagem sobre o inimigo, usando apenas para avançar, assim como um humano.

Na prática, isto significa que a IA do Google precisará prever o que o inimigo está fazendo a qualquer momento para responder adequadamente às ações do “inimigo”. Além disso, será necessário reagir rapidamente a qualquer coisa que saia do plano. Tudo isto nos permitirá testar o próximo nível de capacidades de inteligência artificial. “Em última análise, queremos usar essas habilidades para resolver problemas globais”, disse Demis Hassabis, fundador da Deepmind (que foi comprada pelo Google em 2014 e agora está desenvolvendo IA com base nas conquistas da empresa adquirida).

Os especialistas em IA estão aplaudindo o projeto com cautela. “O bom é que eles fornecem um grande número de tipos de ambiente”, disse o cofundador da OpenAI, Ilya Sutskevar. “Quanto mais tipos de ambientes um sistema encontrar, mais rápido ele evoluirá”, continuou ele. Na verdade, o ambiente de aprendizagem de IA 3D contém mais de 1.000 níveis e tipos de ambientes.

Zoubin Gahrahmani, professor em Cambridge, acredita que o DeepMind Lab e outras plataformas para melhorar o desenvolvimento da inteligência artificial estão impulsionando o progresso ao permitir que os pesquisadores entrem no ambiente desenvolvido. Ao mesmo tempo, projetos como

Os pesquisadores do Google Deepmind introduziram um novo tipo de sistema de inteligência artificial, o chamado computador neural diferenciável, DNC. O sistema combina a capacidade de aprendizagem das redes neurais com as habilidades dedutivas da IA ​​tradicional. Sua descrição foi publicada na revista Natureza, o novo trabalho é dedicado na mesma edição da revista; uma breve releitura do trabalho pode ser lida no blog Deepmind.

As redes neurais mais simples são um sistema de previsão e regressão, cuja tarefa é comparar uma determinada resposta com os dados de entrada. Por exemplo, uma rede neural simples pode reconhecer caracteres com base em suas imagens. Nesse sentido, uma rede neural pode ser considerada uma função matemática e uma função diferenciável. Treinar uma rede neural nesse paradigma significa otimizar essa função usando métodos matemáticos padrão (você pode ler uma explicação acessível de como ocorre o treinamento).

A capacidade de aprender a partir de dados sem programação humana direta é a principal vantagem das redes neurais. No entanto, as redes neurais mais simples não são Turing completas, ou seja, não podem fazer todos aquelas coisas que os programas algorítmicos tradicionais são capazes de fazer (isso, no entanto, não significa que eles não possam fazer alguns dessas coisas são melhores que programas). Uma das razões para isso é a falta de memória nas redes neurais, que pode ser usada para operar sobre dados de entrada e armazenar variáveis ​​locais.

Há relativamente pouco tempo, apareceu um tipo mais complexo de redes neurais, nas quais essa desvantagem foi eliminada - as chamadas redes neurais recorrentes. Eles não apenas armazenam informações sobre o estado de aprendizagem (a matriz de pesos dos neurônios), mas também informações sobre o estado anterior dos próprios neurônios. Como resultado, a resposta de tal rede neural é influenciada não apenas pelos dados de entrada e pela matriz de pesos, mas também pelo seu histórico imediato. A rede neural mais simples deste tipo pode, por exemplo, prever “inteligentemente” o próximo caractere no texto: tendo treinado a rede neural em dados de dicionário, será possível obter a resposta “l” para o caractere “l” se os caracteres anteriores eram “h”, “e” e “l”, mas uma resposta diferente é “o”, se os anteriores fossem “h”, “e”, “l” e novamente “l” (você obtém o palavra “olá”, ver inserção).

Um exemplo de rede neural recorrente com uma camada oculta. Você pode ver como o fornecimento de dados altera o estado da rede. Os pesos treinados dos neurônios são armazenados nas matrizes W_xh, W_hy e em uma matriz especial W_hh, característica apenas para redes recorrentes.

Blog de Andrej Karpathy

As redes neurais recorrentes têm se mostrado muito boas em gerar música ou texto “no estilo” de algum autor, em cujo corpus ocorreu o treinamento, em * e, mais recentemente, em sistemas e assim por diante (por exemplo, ).

Falando formalmente, mesmo as redes neurais recorrentes mais simples são Turing completas, mas sua importante desvantagem é a natureza implícita do uso da memória. Se numa máquina de Turing a memória e o computador estão separados (o que permite que a sua arquitetura seja alterada de diferentes maneiras), então nas redes neurais recorrentes, mesmo nas mais avançadas delas (LSTM), a dimensão e a natureza do tratamento da memória são determinado pela arquitetura da própria rede neural.

Para corrigir esta falha inerente às redes LSTM, cientistas da DeepMind (todos eles entre os autores do novo artigo) propuseram recentemente a arquitetura das chamadas Máquinas Neurais de Turing. Nele, o computador e a memória são separados, como nas máquinas de Turing convencionais, mas o sistema mantém as propriedades de uma função diferenciável, o que significa que pode ser treinado por exemplos (usando o método de retropropagação) em vez de programado explicitamente. O novo sistema, um computador neural diferenciável, ou DNC, é baseado na mesma arquitetura, mas nele a comunicação do computador com a memória é organizada de forma muito mais flexível: implementa os conceitos não só de memorização, mas também contextual reconhecimento e esquecimento (uma seção separada é dedicada à comparação dos dois sistemas novo artigo).

Simplificando, o trabalho da DNC pode ser representado da seguinte forma. O sistema consiste em um computador, que pode ser quase qualquer rede neural recorrente, e memória. O computador possui módulos especiais para acesso à memória, e acima da memória existe uma “superestrutura” especial em forma de matriz que armazena o histórico de sua utilização (mais detalhes abaixo). A memória é uma matriz de dimensão N×M, onde as linhas N i são as células principais onde os dados são escritos (na forma de vetores de dimensão M).

Arquitetura DNC: as linhas de dados são mostradas como linhas com quadrados pretos e brancos - estes representam simplesmente os números positivos e negativos no vetor. Percebe-se que a leitura possui três módulos de trabalho C, B e F, ou seja, associativo, direto e reverso - são formas de comparar o vetor de entrada com o vetor na célula de memória. A memória tem dimensões N×M. O da extrema direita mostra esquematicamente uma matriz de “metamemória” de dimensão N×N, que armazena a sequência de acessos à memória.

A principal diferença entre o DNC e sistemas similares é a natureza do manuseio da memória. Implementa simultaneamente vários conceitos novos ou emergentes: atenção seletiva, recuperação contextual, recordação associativa e esquecimento. Por exemplo, se computadores comuns acessam a memória de maneira explícita (“escrever tais e tais dados na célula tal e tal”), então no DNC, formalmente falando, a escrita ocorre em todas as células ao mesmo tempo, mas o grau de a influência dos novos dados sobre os antigos é determinada pelos pesos da atenção às diferentes células. Esta implementação do conceito é chamada de “atenção suave”, e é justamente isso que garante a diferenciabilidade - sistemas com atenção forte não satisfazem o requisito de continuidade de função e não podem ser treinados pelo método de retropropagação (é utilizado aprendizado por reforço). No entanto, mesmo a “atenção suave” no sistema DNC é implementada “com bastante força” na prática, então ainda podemos falar sobre escrever ou ler de uma linha específica da matriz de memória.

A “atenção suave” é implementada no sistema em três modos. A primeira é a pesquisa contextual, que permite ao DNC completar dados incompletos. Por exemplo, quando um pedaço de alguma sequência semelhante a uma que já está armazenada na memória é alimentado na entrada do computador, o operador de leitura atento no modo de pesquisa contextual encontra a string mais próxima em composição e a “mistura” com os dados de entrada.

Em segundo lugar, a atenção às diferentes partes da memória pode ser determinada pela história da sua utilização. Esse histórico é armazenado em uma matriz N×N, onde cada célula N(i,j) corresponde a uma pontuação próxima de 1 se a entrada na linha i foi seguida por uma entrada na linha j (ou zero se não). Esta “matriz de metamemória” é uma das diferenças fundamentais entre o novo sistema DNC e o antigo NTM. Ele permite que o sistema “lembre” sequencialmente blocos de dados se eles ocorrerem com frequência no contexto um do outro.

Em terceiro lugar, um modo de atenção especial permite ao sistema controlar a escrita em diferentes linhas de memória: armazenar o que é importante e apagar o que não é importante. Uma linha é considerada mais cheia quanto mais vezes foi escrita, mas a leitura de uma linha pode, pelo contrário, levar ao seu apagamento gradual. A utilidade de tal função é óbvia no exemplo de treinamento de um repetidor simples baseado em DNC (a rede neural deve reproduzir com precisão a sequência de dados que lhe foi fornecida). Para tal tarefa, mesmo uma pequena quantidade de memória pode ser apagada e é suficiente para repetir um número ilimitado de dados. Deve-se notar aqui que implementar um repetidor em software é muito simples, mas fazê-lo com base em uma rede neural, por meio de aprendizado por reforço, é uma tarefa muito mais difícil.

Esquema de funcionamento de um repetidor implementado com base em DNC. O tempo no diagrama vai da esquerda para a direita. A parte superior mostra os dados que o controlador recebe na entrada: primeiro uma coluna de dez listras pretas (todas zeros), depois várias brancas e pretas, depois novamente várias brancas e pretas, mas em uma sequência diferente. Abaixo, onde a saída do controlador é exibida da mesma forma, vemos primeiro barras pretas e depois uma reprodução quase exata da sequência de padrões (a mesma mancha branca da entrada). Em seguida, uma nova sequência é fornecida à entrada - com atraso, ela é reproduzida novamente na saída. O gráfico do meio mostra o que está acontecendo com as células de memória durante esse período. Quadrados verdes - escreva, rosa - leia. A saturação mostra o “poder de atenção” para esta célula específica. Você pode ver como o sistema primeiro escreve os padrões resultantes na célula 0, depois na célula 1 e assim por diante até a célula 4. Na próxima etapa, o sistema recebe novamente apenas zeros (campo preto) e, portanto, para de registrar e começa a reproduzir padrões , lendo-os nas células na mesma sequência, Como você chegou lá? Na parte inferior, é mostrada a ativação das portas que controlam a liberação de memória.

Alex Graves et al., Natureza, 2016

Os cientistas testaram o sistema resultante em várias tarefas de teste. O primeiro deles foi um teste padronizado de compreensão de texto desenvolvido recentemente por pesquisadores do Facebook - bAbI. Nele, o sistema de IA recebe um pequeno texto em que alguns personagens atuam, e depois precisa responder uma pergunta baseada no texto (“João foi para o jardim, Maria pegou uma garrafa de leite, João voltou para casa . Pergunta: Onde está João?”).

Neste teste sintético, o novo sistema demonstrou uma taxa de erro recorde baixa: 3,8% contra 7,5% do recorde anterior - neste desempenho superou as redes neurais LSTM e NTM. É interessante que todo o sistema recebido como entrada era uma sequência de palavras, que a princípio não fazia sentido para uma rede neural não treinada. Ao mesmo tempo, os sistemas tradicionais de IA que já passaram neste teste receberam anteriormente sentenças claramente formalizadas com uma estrutura rígida: ação, ator, verdade, etc. as mesmas frases de forma totalmente independente.

Um teste significativamente mais difícil foi o teste de compreensão de gráficos. Também foi implementado como uma sequência de frases, mas desta vez descreviam a estrutura de alguma rede: um verdadeiro metrô de Londres ou uma típica árvore genealógica. A semelhança com o teste bAbI é que os atores em um texto padronizado também podem ser representados como nós de grafo e seus relacionamentos como arestas. Ao mesmo tempo, nos textos do bAbI o gráfico acaba sendo bastante primitivo, incomparável ao tamanho do metrô de Londres (a dificuldade de entender o diagrama do metrô com uma rede neural pode ser melhor compreendida se você lembrar que sua descrição é dada em palavras e não na forma de imagem: tente lembrar você mesmo o diagrama do metrô de qualquer grande cidade e aprenda a responder perguntas sobre ele).

Depois de treinar em um milhão de exemplos, o computador DNC aprendeu a responder perguntas sobre mapas do metrô com uma precisão de 98,8 por cento, enquanto o sistema baseado em LSTM falhou quase completamente na tarefa - deu apenas 37 por cento de respostas corretas (os números são dados para o problema mais simples como “Onde irei parar se passar tantas estações em tal ou qual linha, mudar lá e passar por tantas outras estações acabou sendo mais difícil, mas o DNC também lidou com isso).

Um experimento semelhante foi realizado com uma árvore genealógica: o programa recebeu uma sequência de frases formais sobre as relações familiares em uma família numerosa e teve que responder a perguntas como “quem é primo em segundo grau de Masha por parte de mãe”. Ambos os problemas se resumem a encontrar um caminho em um gráfico, que é resolvido de forma bastante simples da maneira tradicional. Porém, o valor do trabalho reside no fato de que neste caso a rede neural encontrou uma solução de forma totalmente independente, baseada não em algoritmos conhecidos da matemática, mas com base em exemplos e em um sistema de reforço durante o treinamento.

Gráfico da velocidade de resolução do problema SHRDLU pelos sistemas DNC (verde) e LSTM (azul).

O terceiro teste foi um teste SHRDLU “clássico” ligeiramente simplificado, no qual você precisa mover determinados objetos virtuais pelo espaço virtual de acordo com um resultado final específico que precisa ser obtido no final. O sistema DNC recebeu novamente uma descrição do estado atual do espaço virtual na forma de frases formalizadas, depois da mesma forma recebeu uma tarefa e respondeu com um texto consistente sobre como mover objetos. Tal como em outros testes, o DNC provou ser significativamente mais eficiente que os sistemas LSTM, o que é claramente visível nos gráficos da taxa de aprendizagem.

Correndo o risco de repetir mais uma vez o óbvio, não posso deixar de sublinhar que a aparente simplicidade das tarefas em que o DNC foi testado é, na verdade, apenas aparente. No sentido de que não reflecte a complexidade dos problemas do mundo real com os quais um sistema como o DNC será capaz de lidar no futuro. É claro que, do ponto de vista dos algoritmos existentes, a tarefa de encontrar um caminho no metrô é simplesmente absurda - qualquer pessoa pode baixar um aplicativo para seu telefone que pode fazer isso. Também calculará o tempo com transferências e indicará qual carro é melhor embarcar. Mas todos esses programas até agora foram criados por humanos, e no DNC “nasce” por si mesmo, no processo de aprendizagem pelo exemplo.

Na verdade, a simplicidade das tarefas de teste esconde uma coisa muito importante que quero dizer. Um dos maiores problemas no aprendizado de máquina é onde obter os dados para treinar o sistema. Receba esses dados “manualmente”, ou seja, criá-lo sozinho ou com a ajuda de pessoas contratadas é muito caro. Qualquer projeto de treinamento matemático precisa de um algoritmo simples que possa criar gigabytes de novos dados para treinamento de maneira fácil e barata (ou você precisa obter acesso a bancos de dados prontos). Um exemplo clássico: para testar sistemas de reconhecimento de caracteres, as pessoas não escrevem cada vez mais letras com as mãos, mas usam um programa simples que distorce as imagens existentes. Se você não tiver um bom algoritmo para obter uma amostra de treinamento (ou, por exemplo, tal algoritmo não puder ser criado em princípio), então o sucesso no desenvolvimento será aproximadamente o mesmo dos bioinformáticos médicos, que são forçados a trabalhe apenas com dados reais e, portanto, verdadeiramente “dados de ouro (em poucas palavras: sem muito sucesso).

Foi aqui que os autores do artigo foram úteis com algoritmos prontos para resolver problemas em um gráfico - apenas para obter milhões de pares corretos de perguntas e respostas. Não há dúvida de que a facilidade de criação de um conjunto de treinamento determinou a natureza dos testes utilizados para testar o novo sistema. Porém, é importante lembrar que a arquitetura DNC em si nada tem a ver com a simplicidade desses testes. Afinal, mesmo as redes neurais recorrentes mais primitivas podem não apenas traduzir textos e descrever imagens, mas também escrever ou gerar esboços (ao ouvido do autor, é claro). O que podemos dizer sobre sistemas avançados e verdadeiramente “inteligentes” como o DNC.

Alexandre Ershov