Actualmente, muchas empresas están desarrollando inteligencia artificial (IA). Ya se han creado sus formas más simples, que son capaces de realizar operaciones mentales primitivas.

gigante de internet Google Participa activamente en el desarrollo de la IA. En 2014, esta empresa adquirió una empresa de nueva creación. ProfundoMenteTecnologías por 400 millones de dólares Es interesante que fue Deep Mind Technologies quien desarrolló un dispositivo que combina las propiedades de una red neuronal y las capacidades informáticas de una computadora. Los científicos confían en que este desarrollo acercará a la humanidad a la creación de una inteligencia artificial completa.

El dispositivo de Deep Mind Technologies es una computadora que reproduce la forma en que el cerebro humano almacena y administra la información, es decir, el departamento de memoria a corto plazo. La base del dispositivo es una especie de red neuronal, cuya estructura es similar a la del cerebro humano y consta de neuronas interconectadas. La peculiaridad de la IA es que después de completar una serie de tareas sencillas, la computadora puede utilizar los datos almacenados para realizar otras más complejas. Por tanto, la IA tiene la capacidad de autoaprender y el deseo de evolucionar, lo que en última instancia puede conducir a un enfrentamiento entre la IA y los humanos.

Según el físico mundialmente famoso. Stephen Hawking, la inteligencia artificial representa una amenaza para la humanidad. Así lo afirmó en una entrevista con la BBC: “Las formas primitivas de inteligencia artificial que existen hoy en día han demostrado su utilidad. Sin embargo, creo que el desarrollo de una inteligencia artificial completa podría significar el fin de la raza humana. Tarde o temprano, el hombre creará una máquina que se saldrá de control y superará a su creador. Una mente así tomará la iniciativa y comenzará a mejorarse a una velocidad cada vez mayor. Las capacidades humanas están limitadas por una evolución demasiado lenta; no podremos competir con la velocidad de las máquinas y perderemos”.

La opinión de Hawking también la comparten otros científicos y especialistas, entre ellos Elon Musk, un famoso empresario estadounidense de TI y creador de Tesla y Space X. Musk dijo que la IA puede ser más peligrosa que las armas nucleares y representa una grave amenaza para la existencia de la humanidad”.

Google se ha fijado el objetivo de crear superinteligencia para 2030. Esta superinteligencia estará integrada en un sistema informático, en particular en Internet. En el momento en que el usuario busca información, la superinteligencia analizará el psicotipo de esta persona y le dará la información que considere oportuna. Eric Schmidt, presidente de la junta directiva de Google, escribe sobre esto en su libro. Y propone considerar a quienes se niegan a conectarse a este sistema como sujetos potencialmente peligrosos para el Estado. Se espera que se prepare un marco legislativo a nivel estatal para implementar el funcionamiento de este sistema.

Así, la superinteligencia que se está desarrollando se convertirá en un instrumento global de control sobre la humanidad. Con la llegada de la superinteligencia, una persona dejará de hacer ciencia; esto lo hará la superinteligencia, que será muchas veces superior al cerebro humano en todos los aspectos de su manifestación.

Referencia:

mente suprema Es cualquier inteligencia que sea significativamente superior a las mentes líderes de la humanidad en casi todas las áreas, incluida una variedad de investigaciones científicas, habilidades sociales y otras áreas.

El resultado de la creación de la superinteligencia será que la especie humana dejará de ser la forma de vida más inteligente en la parte conocida del Universo. Algunos investigadores creen que la creación de la superinteligencia es la última etapa de la evolución humana, así como el último invento que la humanidad necesitará realizar. Porque se supone que la superinteligencia podrá encargarse de forma independiente del progreso científico y tecnológico posterior de forma mucho más eficaz que los humanos”.

Comida para el pensamiento:

Desde 2007, un hotel británico acoge la conferencia anual Google Zeitgeist. Es interesante que en esta reunión no sólo participen especialistas en alta tecnología, sino también representantes de corporaciones transnacionales y bancos internacionales. Podemos concluir que los jefes de las corporaciones transcontinentales y los bancos internacionales están interesados ​​en crear superinteligencia y tal vez incluso financiar este proyecto.

Rasul Girayalaev

Parece probable que la inteligencia artificial (IA) sea el presagio de la próxima revolución tecnológica. Si la IA se desarrollara hasta el punto en que fuera capaz de aprender, pensar e incluso “sentir”, todo ello sin ningún aporte humano, todo lo que sabemos sobre el mundo cambiaría casi de la noche a la mañana. Llegará la era de la inteligencia artificial verdaderamente inteligente.

Mente profunda

Es por eso que estamos tan interesados ​​en seguir los principales hitos en el desarrollo de la IA que están ocurriendo hoy en día, incluido el desarrollo de la red neuronal DeepMind de Google. Esta red neuronal ya ha podido vencer a los humanos en el mundo de los videojuegos, y una nueva investigación de Google muestra que los creadores de DeepMind aún no están seguros de si la IA prefiere un comportamiento más agresivo o cooperativo.

El equipo de Google ha creado dos escenarios relativamente simples que pueden probar si las redes neuronales pueden funcionar juntas o comenzar a destruirse entre sí cuando se enfrentan a una falta de recursos.

Reuniendo recursos

Durante la primera situación, llamada Gathering, las dos versiones de DeepMind involucradas (roja y azul) tenían la tarea de cosechar "manzanas" verdes dentro de un espacio reducido. Pero los investigadores estaban interesados ​​en algo más que quién llegaría primero a la meta. Ambas versiones de DeepMind estaban armadas con láseres, que podían usar para disparar a un oponente en cualquier momento y desactivarlo temporalmente. Estas condiciones sugirieron dos escenarios principales: una versión de DeepMind tendría que destruir a la otra y recolectar todas las manzanas, o se permitirían mutuamente obtener aproximadamente la misma cantidad.

Al ejecutar la simulación al menos mil veces, los investigadores de Google descubrieron que DeepMind era muy pacífico y cooperativo cuando quedaban muchas manzanas en un espacio reducido. Pero a medida que los recursos disminuyeron, las versiones roja o azul de DeepMind comenzaron a atacarse o desactivarse entre sí. Esta situación se parece en gran medida a la vida real de la mayoría de los animales, incluidos los humanos.

Más significativamente, las redes neuronales más pequeñas y menos inteligentes prefirieron una mayor colaboración en todo momento. Las redes más complejas y más grandes tendieron a favorecer la traición y el egoísmo frente a una serie de experimentos.

Búsqueda de la "víctima"

En el segundo escenario, llamado Wolfpack, se pidió a las versiones roja y azul que cazaran una forma de "presa" anodina. Podrían intentar atraparla por separado, pero sería más beneficioso para ellos intentar hacerlo juntos. Después de todo, es mucho más fácil acorralar a una víctima si trabajan juntos.

Aunque los resultados fueron mixtos con redes más pequeñas, las versiones más grandes rápidamente se dieron cuenta de que la cooperación en lugar de la competencia sería más beneficiosa en esta situación.

"El dilema del prisionero"

Entonces, ¿qué nos muestran estas dos versiones simples del dilema del prisionero? DeepMind sabe que la cooperación es mejor cuando se trata de rastrear un objetivo, pero cuando los recursos son limitados, la traición funciona mejor.

Quizás lo peor de estos resultados es que los “instintos” de la inteligencia artificial son demasiado similares a los humanos, y sabemos muy bien a qué conducen en ocasiones.

Google está comprando una empresa con sede en Londres que desarrolla inteligencia artificial: DeepMind. Las fuentes cifran el valor del acuerdo en más de 500 millones de dólares. La compra fue confirmada oficialmente por representantes de Google.

¿Qué ganará Google con esta adquisición? En primer lugar, le permitirá competir con otras grandes empresas tecnológicas gracias a su enfoque en el aprendizaje profundo. Por ejemplo, Facebook contrató recientemente al profesor Yann LeCanne para liderar sus propios esfuerzos de inteligencia artificial. La supercomputadora Watson de IBM se centra actualmente en el aprendizaje profundo, y Yahoo adquirió recientemente la startup de análisis de fotografías LookFlow, lo que significa que también está avanzando en esta área.

DeepMind fue fundada por el neurocientífico Demis Hassabis, el ex prodigio del ajedrez, desarrollador de Skype y Kazaa, Jaan Tallin, y el investigador Shane Legg.

La medida de Google permitirá que el equipo del gigante tecnológico llene su propio campo de expertos en inteligencia artificial, y la adquisición fue supervisada personalmente por el CEO de Google, Larry Page, dijeron las fuentes. Si los tres fundadores trabajan para Google, se unirán al inventor, empresario, autor y futurista Ray Kurzweil, quien se convirtió en director de tecnología de la división de procesamiento de lenguaje y aprendizaje automático de Google en 2012.

Kurzweil afirmó que quería construir un motor de búsqueda tan avanzado que pudiera convertirse en un verdadero "amigo cibernético".

Tras la adquisición de Nest a principios de este mes, los críticos expresaron su preocupación sobre la cantidad de datos de los usuarios que se enviarían a Google. La compra de Boston Dynamics el mes pasado también generó un debate sobre los planes de Google de convertirse en un fabricante de robots.

Sin embargo, Google está bien preparado para disipar nuestros temores sobre sus últimas adquisiciones. Las fuentes dicen que Google ha decidido establecer una junta de ética que supervisará el desarrollo de la inteligencia artificial dentro de DeepMind.

Sin embargo, la empresa tendrá que aclarar qué hace exactamente la inteligencia artificial de DeepMind. El sitio web de la compañía actualmente tiene una página de inicio con una descripción relativamente vaga que dice que DeepMind es una "compañía de vanguardia" que está construyendo los algoritmos del futuro para simulaciones, comercio electrónico y juegos. En diciembre, la startup cuenta con 75 empleados.

Los principales patrocinadores de la startup son Founders Fund y Horizons Ventures. DeepMind se fundó hace tres años.

En 2012, Larry Wasserman, profesor de Carnegie Mellon, escribió que “una startup va a construir un sistema que piensa. Pensé que era pura locura hasta que descubrí cuántos multimillonarios famosos habían invertido en la empresa”.

6 de diciembre de 2016 a las 00:41

DeepMind abre acceso gratuito al entorno de aprendizaje de máquinas virtuales

• Ciencia popular,
• Inteligencia artificial ,
• Juegos y consolas de juegos.

Recientemente, representantes de la división DeepMind (ahora parte del holding Alphabet) anunciaron que proporcionarían a los desarrolladores acceso gratuito al código fuente de la plataforma DeepMind Lab. Este es un servicio de aprendizaje automático basado en Quake III, que está diseñado para entrenar inteligencia artificial. Es decir, aprender a resolver problemas en un espacio tridimensional sin intervención humana. La plataforma se basa en el motor de juego Quake III Arena.

Dentro del mundo del juego, la IA adquiere la forma de una esfera y la capacidad de volar, explorando el espacio circundante. El objetivo que se propusieron los desarrolladores es enseñar a una forma débil de IA a "comprender" lo que está sucediendo y responder a diversas situaciones que ocurren en el mundo virtual. El "personaje" puede realizar una serie de acciones, navegar por el laberinto y estudiar el entorno inmediato.

"Estamos tratando de desarrollar diferentes formas de IA que puedan realizar una variedad de tareas, desde simplemente explorar el mundo del juego hasta tomar acciones y analizar sus consecuencias", dice Shane Legg, científico jefe de DeepMind.

Los expertos esperan que la IA pueda aprender mediante prueba y error. Los juegos en este caso son casi una opción ideal. Por ejemplo, DeepMind usó anteriormente (y ahora usa) la consola de juegos Atari para enseñar a la red neuronal a realizar las acciones secuenciales necesarias para el juego.

Pero un mundo abierto en 3D que puede modificarse ofrece un entorno mucho más prometedor para el entrenamiento de IA que el mundo plano de los juguetes Atari gráficamente simples. La IA en un mundo 3D tiene tareas claras que cambian secuencialmente de tal manera que la experiencia adquirida al resolver cada tarea anterior resulta útil para la IA a la hora de resolver la siguiente.

La ventaja de un entorno 3D es que se puede utilizar para entrenar sistemas informáticos para que respondan a diversos problemas que podrían aguardar a un robot en el mundo real. Con la ayuda de un simulador de este tipo, los robots industriales pueden entrenarse fácilmente. Y trabajar con un entorno virtual es en algunos casos mucho más fácil que entrenar estos sistemas "manualmente".

Al mismo tiempo, la mayoría de las redes neuronales modernas se desarrollan para resolver un problema específico (procesamiento de imágenes, por ejemplo). Los desarrolladores de la nueva plataforma prometen que ayudará a crear una forma universal de IA capaz de resolver una gran cantidad de problemas. Además, en este caso, el sistema informático no necesitará la ayuda de personas. El entorno de la red neuronal se genera cada vez en orden aleatorio.

Según los desarrolladores de la plataforma, ayuda a la IA a aprender de la misma manera que aprenden los niños. “La forma en que tú o yo exploramos el mundo cuando éramos niños”, dio un ejemplo un empleado de DeepMind. “La comunidad de aprendizaje automático siempre ha sido muy abierta. Publicamos alrededor de 100 artículos al año y muchos de nuestros proyectos son de código abierto”.

Ahora Google DeepMind abrió el código fuente de DeepMind Lab y lo publicó en GitHub. Gracias a esto, cualquiera puede descargar el código de la plataforma y modificarlo según sus necesidades. Los representantes del proyecto dicen que los especialistas conectados pueden crear nuevos niveles de juego de forma independiente cargando sus propios proyectos en GitHub. Esto puede ayudar a toda la comunidad a trabajar hacia su objetivo de manera más rápida y eficiente.

Este proyecto no es el único de DeepMind. El mes pasado, sus representantes firmaron un acuerdo de cooperación con Activision Blizzard Inc. El objetivo es el entorno Starcraft 2 como banco de pruebas para la inteligencia artificial. Quizás otros desarrolladores de juegos pronto se unan a este proyecto. Por cierto, la IA en un entorno de juego no obtiene ninguna ventaja sobre el enemigo, utilizando sólo flechas para avanzar, al igual que un humano.

En la práctica, esto significa que la IA de Google necesitará predecir lo que está haciendo el enemigo en un momento dado para poder responder adecuadamente a las acciones del "enemigo". Además, será necesario reaccionar rápidamente ante cualquier cosa que se salga del plan. Todo esto nos permitirá probar el siguiente nivel de capacidades de inteligencia artificial. "En última instancia, queremos utilizar estas capacidades para resolver problemas globales", dijo Demis Hassabis, fundador de Deepmind (que fue comprada por Google en 2014 y ahora está desarrollando inteligencia artificial basada en los logros de la empresa adquirida).

Los expertos en IA aplauden con cautela el proyecto. "Lo bueno es que proporcionan una gran cantidad de tipos de entornos", dijo el cofundador de OpenAI, Ilya Sutskevar. "Cuantos más tipos de entornos encuentre un sistema, más rápido evolucionará", continuó. De hecho, el entorno de aprendizaje de IA 3D contiene más de 1000 niveles y tipos de entornos.

Zoubin Gahrahmani, profesor de Cambridge, cree que DeepMind Lab y otras plataformas para mejorar el desarrollo de la inteligencia artificial están impulsando el progreso al permitir a los investigadores acceder al entorno desarrollado. Al mismo tiempo, proyectos como

Los investigadores de Google Deepmind han introducido un nuevo tipo de sistema de inteligencia artificial, el llamado ordenador neuronal diferenciable, DNC. El sistema combina la capacidad de aprendizaje de las redes neuronales con las capacidades deductivas de la IA tradicional. Su descripción fue publicada en la revista. Naturaleza, al que está dedicado el nuevo trabajo en el mismo número de la revista; se puede leer un breve recuento del trabajo en el blog de Deepmind.

Las redes neuronales más simples son un sistema de predicción y regresión, cuya tarea es comparar una determinada respuesta con los datos de entrada. Por ejemplo, una red neuronal simple puede reconocer personajes basándose en sus imágenes. En este sentido, una red neuronal puede considerarse como una función matemática y una función diferenciable. Entrenar una red neuronal en tal paradigma significa optimizar esta función utilizando métodos matemáticos estándar (puede leer una explicación accesible sobre cómo se produce el entrenamiento).

La capacidad de aprender de los datos sin programación humana directa es la principal ventaja de las redes neuronales. Sin embargo, las redes neuronales más simples no son completas de Turing, es decir, no pueden hacer todos aquellas cosas que los programas algorítmicos tradicionales son capaces de hacer (esto, sin embargo, no significa que no puedan hacer alguno de estas cosas son mejores que los programas). Una de las razones de esto es la falta de memoria en las redes neuronales, que pueden usarse para operar con datos de entrada y almacenar variables locales.

Hace relativamente poco tiempo, apareció un tipo más complejo de redes neuronales en las que se eliminó este inconveniente: las llamadas redes neuronales recurrentes. No sólo almacenan información sobre el estado de aprendizaje (la matriz de pesos de las neuronas), sino también información sobre el estado previo de las propias neuronas. Como resultado, la respuesta de dicha red neuronal está influenciada no sólo por los datos de entrada y la matriz de peso, sino también por su historia inmediata. La red neuronal más simple de este tipo puede, por ejemplo, predecir "inteligentemente" el siguiente carácter del texto: al entrenar la red neuronal con datos del diccionario, será posible obtener la respuesta "l" al carácter "l" si los caracteres anteriores eran “h”, “e” y “l”, pero una respuesta diferente es “o”, si los anteriores eran “h”, “e”, “l” y nuevamente “l” (obtienes el palabra “hola”, ver recuadro).

Un ejemplo de una red neuronal recurrente con una capa oculta. Puedes ver cómo el suministro de datos cambia el estado de la red. Los pesos entrenados de las neuronas se almacenan en las matrices W_xh, W_hy y una matriz especial W_hh, característica sólo de redes recurrentes.

Blog de Andrej Karpathy

Las redes neuronales recurrentes han demostrado ser muy buenas para generar música o texto "al estilo" de algún autor cuyo corpus se utilizó para entrenamiento, en * y, más recientemente, en sistemas, etc. (por ejemplo, ).

Hablando formalmente, incluso las redes neuronales recurrentes más simples son completas de Turing, pero su importante inconveniente es la naturaleza implícita del uso de la memoria. Si en una máquina de Turing la memoria y la computadora están separadas (lo que permite cambiar su arquitectura de diferentes maneras), entonces en las redes neuronales recurrentes, incluso en las más avanzadas (LSTM), la dimensión y naturaleza del manejo de la memoria es determinado por la arquitectura de la propia red neuronal.

Para corregir este defecto inherente de las redes LSTM, los científicos de DeepMind (todos ellos entre los autores del nuevo artículo) propusieron recientemente la arquitectura de las llamadas Máquinas Neurales de Turing. En él, la computadora y la memoria están separadas, como en las máquinas de Turing convencionales, pero el sistema conserva las propiedades de una función diferenciable, lo que significa que puede entrenarse mediante ejemplos (usando el método de retropropagación) en lugar de programarse explícitamente. El nuevo sistema, una computadora neuronal diferenciable, o DNC, se basa en la misma arquitectura, pero en ella la comunicación de la computadora con la memoria se organiza de una manera mucho más flexible: implementa los conceptos no solo de memorización, sino también contextuales. reconocimiento y olvido (una sección separada está dedicada a la comparación de los dos sistemas en el nuevo artículo).

Simplificado, el trabajo del Comité Nacional Demócrata se puede representar de la siguiente manera. El sistema consta de una computadora, que puede ser casi cualquier red neuronal recurrente, y una memoria. La computadora tiene módulos especiales para acceder a la memoria, y encima de la memoria hay una "superestructura" especial en forma de matriz que almacena el historial de su uso (más detalles a continuación). La memoria es una matriz de dimensión N×M, donde las filas Ni son las celdas principales donde se escriben los datos (en forma de vectores de dimensión M).

Arquitectura DNC: las líneas de datos se muestran como líneas con cuadrados blancos y negros; estos simplemente representan los números positivos y negativos en el vector. Se puede ver que la lectura tiene tres módulos de trabajo C, B y F, es decir, asociativo, directo e inverso; estas son formas de comparar el vector de entrada con el vector en la celda de memoria. La memoria tiene dimensiones N×M. El del extremo derecho muestra esquemáticamente una matriz de “metamemoria” de dimensión N×N, que almacena la secuencia de accesos a la memoria.

La principal diferencia entre DNC y sistemas similares es la naturaleza del manejo de la memoria. Implementa simultáneamente varios conceptos nuevos o surgidos recientemente: atención selectiva, recuperación contextual, recuerdo asociativo y olvido. Por ejemplo, si las computadoras comunes acceden a la memoria de manera explícita (“escribe tal o cual dato en tal o cual celda”), entonces en DNC, formalmente hablando, la escritura ocurre en todas las celdas a la vez, pero el grado de La influencia de los datos nuevos sobre los antiguos está determinada por el peso de la atención a las diferentes celdas. Esta implementación del concepto se denomina "atención suave", y es precisamente esto lo que garantiza la diferenciabilidad: los sistemas con atención dura no satisfacen el requisito de continuidad de la función y no pueden entrenarse mediante el método de retropropagación (se utiliza el aprendizaje por refuerzo). Sin embargo, incluso la "atención suave" en el sistema DNC se implementa "bastante difícilmente" en la práctica, por lo que todavía podemos hablar de escribir o leer desde una fila específica de la matriz de memoria.

La “atención suave” se implementa en el sistema en tres modos. La primera es la búsqueda contextual, que permite al DNC completar datos incompletos. Por ejemplo, cuando se suministra a la entrada de la computadora una parte de alguna secuencia que se parece a una que ya está almacenada en la memoria, el operador de lectura atenta en el modo de búsqueda contextual encuentra la cadena que tiene la composición más cercana y la "mezcla" con los datos de entrada.

En segundo lugar, la atención a diferentes partes de la memoria puede estar determinada por la historia de su uso. Este historial se almacena en una matriz N×N, donde cada celda N(i,j) corresponde a una puntuación cercana a 1 si la entrada en la fila i fue seguida por una entrada en la fila j (o cero si no). Esta “matriz de metamemoria” es una de las diferencias fundamentales entre el nuevo sistema DNC y el antiguo NTM. Permite que el sistema "recuerde" secuencialmente bloques de datos si ocurren con frecuencia en el contexto de otros.

En tercer lugar, un modo de atención especial permite al sistema controlar la escritura en diferentes líneas de memoria: almacenar lo importante y borrar lo que no es importante. Una línea se considera más completa cuantas más veces se haya escrito en ella, pero la lectura de una línea puede, por el contrario, llevar a su borrado gradual. La utilidad de tal función es obvia en el ejemplo del entrenamiento de un repetidor simple basado en DNC (la red neuronal debe reproducir con precisión la secuencia de datos que se le proporcionó). Para tal tarea, se puede borrar incluso una pequeña cantidad de memoria y es suficiente para repetir una cantidad ilimitada de datos. Cabe señalar aquí que implementar un repetidor en software es muy sencillo, pero hacerlo sobre la base de una red neuronal, mediante aprendizaje por refuerzo, es una tarea mucho más difícil.

Esquema de funcionamiento de un repetidor implementado sobre la base de DNC. El tiempo en el diagrama va de izquierda a derecha. En la parte superior se muestran los datos que el controlador recibe en la entrada: primero una columna de diez franjas negras (todas ceros), luego varias blancas y negras, luego nuevamente varias blancas y negras, pero en una secuencia diferente. A continuación, donde se muestra la salida del controlador de la misma manera, primero vemos barras negras y luego una reproducción casi exacta de la secuencia de patrones (la misma mancha blanca que en la entrada). Luego se suministra una nueva secuencia a la entrada; con un retraso, se reproduce nuevamente en la salida. El gráfico del medio muestra lo que les sucede a las células de memoria durante este tiempo. Cuadrados verdes: escribe, rosa: lee. La saturación muestra el "poder de atención" a esta célula en particular. Puede ver cómo el sistema primero escribe los patrones resultantes en la celda 0, luego en la 1, y así sucesivamente hasta la 4. En el siguiente paso, al sistema nuevamente se le dan solo ceros (campo negro) y por lo tanto deja de grabar y comienza a reproducir patrones. , leyéndolos de las celdas en la misma secuencia, ¿Cómo llegaste allí? En la parte inferior se muestra la activación de las puertas que controlan la liberación de memoria.

Alex Graves et al., Naturaleza, 2016

Los científicos probaron el sistema resultante en varias tareas de prueba. El primero de ellos fue una prueba estandarizada de comprensión de textos desarrollada recientemente por investigadores de Facebook: bAbI. En él, el sistema de inteligencia artificial recibe un texto breve en el que actúan algunos personajes y luego debe responder una pregunta basada en el texto (“John fue al jardín, Mary tomó una botella de leche, John regresó a la casa . Pregunta: ¿Dónde está Juan?”).

En esta prueba sintética, el nuevo sistema demostró una tasa de error récord: 3,8 por ciento frente al 7,5 por ciento del récord anterior; en esto superó tanto a las redes neuronales LSTM como a NTM. Es interesante que todo lo que el sistema recibió como entrada fue una secuencia de palabras, que al principio no tenía sentido para una red neuronal no entrenada. Al mismo tiempo, a los sistemas tradicionales de IA que ya pasaron esta prueba se les dieron oraciones claramente formalizadas con una estructura rígida: acción, actor, verdad, etc. Una red neuronal recurrente con memoria dedicada pudo descubrir el papel de las palabras en las mismas oraciones de forma completamente independiente.

La prueba de comprensión de gráficos se convirtió en una prueba significativamente más difícil. También se implementó como una secuencia de frases, pero esta vez describían la estructura de alguna red: un metro de Londres real o un árbol genealógico típico. La similitud con la prueba bAbI es que los actores en un texto estandarizado también pueden representarse como nodos del gráfico y sus relaciones como aristas. Al mismo tiempo, en los textos de BABI el gráfico resulta bastante primitivo, incomparable al tamaño del metro de Londres (la dificultad de entender el diagrama del metro con una red neuronal se puede entender mejor si recuerdas que se da su descripción en palabras y no en forma de imagen: intenta recordar tú mismo el diagrama del metro de cualquier gran ciudad y aprende a responder preguntas al respecto).

Después de entrenar con un millón de ejemplos, la computadora DNC aprendió a responder preguntas sobre mapas del metro con una precisión del 98,8 por ciento, mientras que el sistema basado en LSTM falló casi por completo en la tarea: solo dio el 37 por ciento de respuestas correctas (los números se dan para el problema más simple como "¿Dónde terminaré si paso tantas estaciones en tal o cual línea, cambio allí y paso por tantas más estaciones?" El problema de la distancia más corta entre dos estaciones resultó ser más difícil. pero el DNC también se enfrentó a ello).

Se llevó a cabo un experimento similar con un árbol genealógico: al programa se le dio una secuencia de oraciones formales sobre las relaciones familiares en una familia numerosa, y tuvo que responder preguntas como "¿quién es el primo segundo de Masha por parte de su madre?". Ambos problemas se reducen a encontrar una ruta en un gráfico, lo que se resuelve de forma bastante sencilla de la forma tradicional. Sin embargo, el valor del trabajo radica en el hecho de que en este caso la red neuronal encontró una solución de forma completamente independiente, no basándose en algoritmos conocidos en matemáticas, sino en ejemplos y un sistema de refuerzo durante el entrenamiento.

Gráfico de la velocidad de resolución del problema SHRDLU por los sistemas DNC (verde) y LSTM (azul).

La tercera prueba fue una prueba SHRDLU "clásica" ligeramente simplificada, en la que es necesario mover ciertos objetos virtuales por el espacio virtual de acuerdo con un resultado final específico que debe obtenerse al final. El sistema DNC nuevamente recibió una descripción del estado actual del espacio virtual en forma de oraciones formalizadas, luego de la misma manera se le asignó una tarea y respondió con un texto coherente sobre cómo mover objetos. Como en otras pruebas, DNC demostró ser significativamente más eficiente que los sistemas LSTM, lo que se puede ver claramente en los gráficos de tasa de aprendizaje.

A riesgo de repetir una vez más cosas obvias, no puedo evitar enfatizar que la aparente simplicidad de las tareas en las que se puso a prueba el Comité Nacional Demócrata es en realidad sólo aparente. En el sentido de que no refleja la complejidad de los problemas del mundo real que un sistema como el Comité Nacional Demócrata podrá abordar en el futuro. Por supuesto, desde el punto de vista de los algoritmos existentes, la tarea de encontrar un camino en el metro es simplemente una tontería: cualquiera puede descargar una aplicación en su teléfono que pueda hacer esto. También calculará el tiempo con los traslados e indicará qué coche es mejor para abordar. Pero hasta ahora todos estos programas han sido creados por humanos, y en el Comité Nacional Demócrata “nacen” por sí mismos, en el proceso de aprender con el ejemplo.

De hecho, la simplicidad de las tareas de prueba esconde una cosa muy importante que quiero decir. Uno de los mayores problemas del aprendizaje automático es dónde obtener los datos con los que entrenar el sistema. Reciba estos datos “a mano”, es decir. crearlo usted mismo o con la ayuda de personas contratadas es demasiado caro. Cualquier proyecto de formación matemática necesita un algoritmo simple que pueda crear de forma fácil y económica gigabytes de nuevos datos para la formación (o necesita obtener acceso a bases de datos ya preparadas). Un ejemplo clásico: para probar los sistemas de reconocimiento de caracteres, la gente no escribe cada vez más letras con las manos, sino que utiliza un programa sencillo que distorsiona las imágenes existentes. Si no tiene un buen algoritmo para obtener una muestra de entrenamiento (o, por ejemplo, dicho algoritmo no se puede crear en principio), entonces el éxito en el desarrollo será aproximadamente el mismo que el de los bioinformáticos médicos, que se ven obligados a trabajar sólo con datos reales y, por tanto, verdaderamente “datos de oro” (en pocas palabras: no muy exitosos).

Aquí es donde los autores del artículo resultaron útiles con algoritmos preparados para resolver problemas en un gráfico, solo para obtener millones de pares correctos de preguntas y respuestas. No hay duda de que la facilidad para crear un conjunto de entrenamiento determinó la naturaleza de las pruebas que se utilizaron para probar el nuevo sistema. Sin embargo, es importante recordar que la arquitectura DNC en sí no tiene nada que ver con la simplicidad de estas pruebas. Después de todo, incluso las redes neuronales recurrentes más primitivas no sólo pueden traducir textos y describir imágenes, sino también escribir o generar bocetos (para oídos del autor, por supuesto). ¿Qué podemos decir acerca de sistemas tan avanzados y verdaderamente “inteligentes” como DNC?

Alexander Ershov