Redes neuronales (A2C23B1D01)

Este documento complementa al vídeo A2C23B1V03, “Redes Neuronales Artificiales y Privacidad”.

Las redes neuronales son un tipo de modelo de aprendizaje automático. Su origen fue imitar el funcionamiento de las neuronas biológicas. En la actualidad, estos algoritmos tienen características propias y su objetivo de reconocer patrones en datos complejos. Esto los hace útiles en una variedad de aplicaciones, siendo hoy día sistemas capaces de procesar grandes cantidades de información y realizar tareas complejas a partir de datos de entrada.

Las redes neuronales se han vuelto cada vez más populares en la última década debido a sus impresionantes resultados en áreas como la visión por computadora, el procesamiento del lenguaje natural y, sobre todo, para programar máquinas que realizan tareas cada vez más complejas de modo eficiente.

En este documento, ahondaremos en los conceptos relacionados con las redes neuronales, sus diferentes arquitecturas, sus técnicas de entrenamiento y aplicaciones. Veremos los retos y desafíos que plantean para el futuro.

Las redes neuronales están compuestas por múltiples capas de neuronas artificiales interconectadas. Cada neurona artificial está conectada a varias otras neuronas en la capa anterior y posterior. Así, cada neurona recibe una entrada y produce una salida que se transmite a las neuronas en la capa posterior. Así, como mínimo, una red neuronal tiene 3 capas: una capa de entrada, una capa intermedia (oculta) y una capa de salida. Las redes neuronales suelen tener varias capasocultas, que les permiten aprender características complejas de los datos de entrada y realizar tareas más sofisticadas. Estas múltiples capas hacen que las redes neuronales sean altamente adaptables. Pueden ajustarse para diferentes tipos de entradas, salidas y tareas, lo que las hace útiles en una variedad de aplicaciones en la industria, la investigación y la academia.

Para adaptarse a diversos problemas, tenemos distintos tipos de redes neuronales. Los tipos más comunes incluyen las redes neuronales feedforward, las redes neuronales recurrentes y las redes neuronales convolucionales.

Tipos de redes neuronales

Los distintos tipos de redes se diferencian en poseer distintas arquitecturas, distintas capas, distintos modos de relacionar neuronas. Esto hace que se especialicen en aplicaciones concretas. Veamos con detalle los tipos de redes neuronales más comunes.

• Redes neuronales feedforward.
  Son las más simples y comunes. Los datos se mueven en una sola dirección, desde la entrada a través de capas ocultas hacia la salida.
  
  
• Redes neuronales recurrentes (RNNs).
  En contraste con las redes neuronales feedforward, las RNN tienen la capacidad de “recordar” información de entradas anteriores y usarla para influir en la salida, en el resultado. Por ejemplo, pensemos en una red neuronal que deba construir una palabra, a partir de algunas de sus letras, que les llegan en secuencia. Supongamos que la secuencia de entrada de datos es: “a”...”l”...”e”...”f”...”a”...”n”...”t”...e”. La red usará la información de las últimas letras para corregir la primera de ellas, dando como salida “elefante”. Esto se logra mediante la inclusión de una conexión recurrente, donde la salida de una capa alimenta a la entrada de una capa anterior. Esto crea una especie de bucle temporal en la red. Se utilizan para modelar datos secuenciales. Existen muchos ejemplos de redes neuronales recurrentes (RNN) utilizados en diferentes aplicaciones. Aquí hay algunos ejemplos de ellas:
  
  
  • Modelos de lenguaje: las RNN se utilizan en modelos de lenguaje para predecir la siguiente palabra en una oración. Estos modelos se entrenan en grandes conjuntos de datos de texto y se utilizan en aplicaciones como el reconocimiento de voz, la traducción automática y la generación de texto.
    
    
  • Predicción de series de tiempo: las RNN se utilizan en la predicción de series de tiempo, como las series financieras o las series climáticas. Las RNN pueden modelar las relaciones temporales y predecir los valores futuros basándose en los valores pasados.
    
    
  • Reconocimiento de voz: las RNN se utilizan en sistemas de reconocimiento de voz para transcribir el habla a texto. La entrada de audio se procesa como una secuencia de vectores de características y se alimenta a una RNN para que produzca la transcripción de texto.
    
    
  • Análisis de sentimientos: las RNN se utilizan en el análisis de sentimientos para clasificar el sentimiento de un texto o una conversación. Las RNN pueden procesar la secuencia de palabras y producir una etiqueta de sentimiento para todo el texto.
    
    
  • Generación de música: las RNN se pueden utilizar para generar música. La RNN se entrena en una base de datos de música y se utiliza para producir nuevas melodías basadas en patrones aprendidos de la música existente.

Estos son solo algunos ejemplos de aplicaciones de las RNN, pero hay muchos otros campos donde las RNN pueden ser útiles, como las aplicaciones en medicina.

• Redes neuronales convolucionales (CNNs).
  Están diseñadas para procesar datos con una estructura de cuadrícula, como imágenes y señales de audio. Utilizan operaciones de convolución para extraer características importantes de los datos de entrada. Por ejemplo, supongamos una red neuronal que deba identificar a una persona en una foto. Una de las capas de la red identificará el fondo de la imagen, y lo separará de los objetos o animales que contenga. Otra capa identificará partes de un cuerpo, como la cabeza, los brazos, las piernas. Otra capa, más en detalle, los ojos, la boca. Y una última capa reunirá toda esta información para identificar a una persona dada. citemos aquí algunos ejemplos de aplicaciones de redes neuronales convolucionales (CNNs).
  
  
  • Reconocimiento de objetos: las CNNs se utilizan para el reconocimiento de objetos en imágenes y videos. La red aprende patrones visuales para identificar objetos y clasificarlos en categorías. Las aplicaciones incluyen la detección de objetos en automóviles autónomos, el reconocimiento facial, la seguridad y la vigilancia, y la identificación de objetos en imágenes médicas.
    
    
  • Análisis de imágenes médicas: las CNNs se utilizan para el análisis de imágenes médicas, como resonancias magnéticas (MRI), tomografías computarizadas (CT) y radiografías. La red puede ayudar a identificar patrones de tejido y anomalías que pueden ser difíciles de detectar para los médicos humanos.
    
    
  • Procesamiento de lenguaje natural: las CNNs también se pueden utilizar en el procesamiento de lenguaje natural para analizar texto y realizar tareas como la clasificación de sentimientos, la generación de texto y la traducción automática.
    
    
  • Sistemas de recomendación: las CNNs también se utilizan en sistemas de recomendación para personalizar y mejorar la experiencia del usuario. Por ejemplo, una red puede aprender las preferencias de un usuario para recomendar productos, música, películas y programas de televisión.
    
    
  • Análisis de videos: las CNNs también se utilizan para el análisis de videos, incluyendo la identificación de objetos en movimiento, el reconocimiento facial y la clasificación de eventos.

En resumen, las CNNs tienen muchas aplicaciones y se utilizan en una variedad de campos, incluyendo la visión por computadora, el procesamiento de lenguaje natural y los sistemas de recomendación, entre otros.

• Redes neuronales generativas.
  Estas redes tienen la capacidad de generar nuevos datos de manera autónoma después de aprender a partir de un conjunto de datos de entrenamiento. Son adecuadas para aplicaciones como la generación de imágenes, música y texto. Por ejemplo, una red de este tipo puede crear un retrato realista de una persona que nunca existió. O una pieza de música. Las redes neuronales generativas son muy versátiles y se utilizan en una amplia variedad de aplicaciones. Presentemos algunos ejemplos:
  
  
  • Generación de imágenes: las redes neuronales generativas pueden utilizarse para generar imágenes realistas a partir de unos pocos datos de entrada. Un ejemplo de esto es el proyecto open source de la compañía Stability AI. Esta compañía se autodefine así: “We are the world’s leading open source generative AI company” (“Somos la empresa de IA generativa de código abierto líder en el mundo”). Ofrece un software de libre distribución denominado “Stable Diffusion”. Introduciendo un texto, el software “crea” una imagen realista. Por ejemplo, si introducimos como texto: “The façade of the Tobacco Factory building of the University of Seville, HQ, 4k”, el resultado es:

Figura 1. Imagen creada por Stable Diffusion (Términos de uso de la imagen: the terms of Stable Diffusion’s fair use policy include a permissive license allowing for commercial and non- commercial use).

Es una imagen inventada, el software no puede acceder a la información “real”, que es la siguiente:

Figura 2: Fachada del edificio de la antigua Fábrica de Tabacos, Universidad de Sevilla.

La información de entrada determina la salida. Si se solicita algo más genérico, podemos impresionarnos con el resultado.

Texto: “portrait photo of an african old warrior chief, tribal panther make up, gold on white, side profile, looking away, serious eyes, 50mm portrait photography, hard rim lighting photography beta –ar 2:3 –beta”

Figura 3. Imagen creada por Stable Diffusion (Términos de uso de la imagen: the terms of Stable Diffusion’s fair use policy include a permissive license allowing for commercial and non- commercial use).

• • Creación de música: las redes neuronales generativas también se pueden utilizar para crear música. Por ejemplo, el proyecto “Magenta” de Google utiliza redes neuronales para crear música original a partir de unos pocos datos de entrada.
    
    
  • Creación de texto: las redes neuronales generativas también se utilizan para generar texto. Por ejemplo, se pueden utilizar para crear resúmenes automáticos de artículos, o para generar texto en un estilo determinado.
    
    
  • Modificación de imágenes: las redes neuronales generativas también se pueden utilizar para modificar imágenes existentes. Por ejemplo, se pueden utilizar para cambiar el color de una imagen o para eliminar elementos no deseados.
    
    
  • Creación de videos: las redes neuronales generativas también se pueden utilizar para crear videos. Por ejemplo, se pueden utilizar para generar videos de caras en movimiento, o para crear animaciones.

Estos son solo algunos ejemplos de uso de redes neuronales generativas. En general, se utilizan en cualquier aplicación en la que se quiera crear algo nuevo a partir de datos existentes.

• Transformers.
  Los Transformers son una arquitectura de red neuronal utilizada principalmente en tareas de procesamiento de lenguaje natural (NLP, por sus siglas en inglés), como la traducción automática, el análisis de sentimientos y la generación de texto. Fueron introducidos por Vaswani et al. en 2017 en su artículo “Attention is All You Need”. En lugar de utilizar capas recurrentes como las redes neuronales recurrentes o capas convolucionales como las redes neuronales convolucionales, los Transformers se basan en mecanismos de atención para procesar la información de entrada. Los mecanismos de atención permiten que la red se centre en partes específicas de la entrada y aprenda la relación entre ellas. Para ello, se componen de codificadores y decodificadores. Los codificadores se encargan de procesar la entrada y los decodificadores se utilizan para generar la salida. En cada capa de la red, los Transformers calculan una puntuación de atención para cada elemento de la entrada en función de su relación con los demás elementos. Estas puntuaciones se utilizan para ponderar la información de entrada y producir una representación de salida. Los Transformers han demostrado ser muy efectivos en tareas de NLP, superando a otras arquitecturas. También se han utilizado en otros campos, como la visión por computadora y la generación de música, con éxito. Aquí hay algunos ejemplos de aplicaciones de los Transformers:
  
  
  • Traducción automática: los Transformers se han utilizado en modelos de traducción automática de alta calidad, como Google Translate. La capacidad de los Transformers para aprender representaciones vectoriales de alta calidad y capturar patrones complejos en el texto ha mejorado significativamente la calidad de las traducciones.
    
    
  • Resumen de texto: los Transformers también se utilizan para resumir texto automáticamente, extrayendo información clave y generando resúmenes precisos y concisos.
    
    
  • Diálogo basado en texto: los Transformers se utilizan en aplicaciones de chatbot y diálogo basado en texto para generar respuestas coherentes y relevantes a las preguntas de los usuarios.
    
    
  • Generación de texto: los Transformers se pueden utilizar para generar texto automáticamente, como la generación de subtítulos de imagen y la generación de descripciones de imágenes.
    
    
  • Reconocimiento de voz: los Transformers también se utilizan en sistemas de reconocimiento de voz, como los asistentes de voz, para transcribir el habla a texto.
    
    
  • Clasificación de texto: Los Transformers se utilizan para clasificar texto automáticamente, como la identificación de sentimientos en el texto y la detección de spam en el correo electrónico.

Estos son solo algunos ejemplos de aplicaciones de los Transformers, pero hay muchos otros campos donde se pueden utilizar, como la generación de música y la predicción de series de tiempo.

En el proceso de entrenamiento, la red ajusta los pesos de las conexiones entre las neuronas para que la salida de la red sea lo más cercana posible a la salida deseada para una entrada dada. Esto lo hace mediante sucesivos ejemplos, o datos de entrenamiento, para los cuales la salida deseada es conocida (“datos etiquetados”). Por ejemplo, supongamos una red neuronal que deba identificar un animal en una foto. Un perro, por ejemplo. Los datos de entrenamiento tienen dos partes: unos datos de entrada, que serán muchas fotos con perros, y unos datos de salida, que serán los píxeles de cada foto que pertenezcan a un perro. La red neuronal, a partir de un solo dato de entrenamiento de entrada (una foto) intentará “predecir” los píxeles que pertenezcan a la imagen de un perro. No usa para ello la información de entrenamiento de salida. Una vez propuesta la salida, comparará la salida “predicha” con la salida “real”, conocida. Así “aprende”. Ajustará sus pesos para minimizar el error, y repetirá el proceso con otra foto. Las redes neuronales son capaces de aprender a través de un algoritmo llamado “retropropagación del error”. Este proceso ajusta los pesos de las conexiones de manera iterativa, para minimizar la diferencia entre las salidas producidas por la red y las salidas deseadas.

Durante la retropropagación del error se calcula cómo se debe ajustar cada peso en función de la magnitud del error y la contribución de cada peso a la salida de la red. El proceso de retropropagación del error se repite iterativamente para todo el conjunto de datos de entrenamiento. Se utiliza un algoritmo de optimización para ajustar los pesos de manera que se minimice la función de pérdida (una medida del error).

Una vez entrenada la red, los pesos no cambian. En la fase de prueba, se usan los pesos ajustados para producir salidas para nuevas entradas.

Es importante tener en cuenta que el conjunto de datos de entrenamiento debe ser representativo del problema que se está tratando de resolver. Debe ser lo suficientemente grande para permitir que el modelo capture la variabilidad en los datos. Este proceso puede llevar mucho tiempo (semanas), especialmente para redes neuronales grandes y complejas, y puede requerir una gran cantidad de datos y potencia de cómputo.

Una vez que se ha entrenado una red neuronal, se puede utilizar para predecir la salida para nuevas entradas nunca antes vistas. Sin embargo, es importante tener en cuenta que el modelo solo será bueno si lo es el conjunto de datos utilizado para entrenarlo.

Pasos para entrenar una red neuronal

El entrenamiento de redes neuronales es el proceso de ajustar los parámetros de la red para que pueda realizar una tarea específica. El objetivo es minimizar una función de coste que mide la diferencia entre la salida de la red y el valor esperado. Este proceso requiere unos pasos establecidos:

• Preprocesamiento de los datos. Debemos asegurarnos de que los datos están en el formato correcto y que hayan sido divididos en conjuntos de entrenamiento, validación y prueba. También puede realizarse un proceso previo de normalización de los datos, para ayudar a la red a converger más rápido.
  
  
• Selección de la arquitectura. Debe seleccionarse una arquitectura que sea apropiada para el problema que se está tratando de resolver. Esto puede requerir algo de experimentación para encontrar la arquitectura adecuada.
  
  
• Inicialización de los pesos. Los pesos de la red deben tomar unos valores iniciales adecuados al problema. La inicialización incorrecta puede llevar a la red a no converger o a converger muy lentamente.
  
  
• Algoritmo de optimización. Debe seleccionarse un algoritmo de optimización que se adapte al problema y a la arquitectura de la red. El algoritmo más comúnmente utilizado es el Descenso de Gradiente Estocástico (SGD), pero hay muchas variaciones y mejoras.
  
  
• Entrenamiento de la red. Debe entrenarse la red utilizando los datos de entrenamiento y el algoritmo de optimización. En cada iteración, la red produce una salida y se calcula el coste. Luego, los pesos se ajustan para minimizar dicha función de coste. Esto se repite hasta que la red alcance una precisión aceptable en el conjunto de validación.
  
  
• Evaluación del modelo. El rendimiento del modelo debe evaluarse con el conjunto de datos de prueba. Si el rendimiento no es satisfactorio, se ajustan los hiperparámetros y se reentrena la red.

El entrenamiento de redes neuronales puede parecer un proceso intensivo en recursos computacionales y de tiempo, especialmente si se trabaja con grandes conjuntos de datos y arquitecturas complejas. Sin embargo, los avances en hardware y software de aprendizaje automático han hecho que el entrenamiento de redes neuronales sea mucho más accesible que en el pasado.

Además de las citadas, resumamos en este apartado el conjunto de aplicaciones de interés de las redes neuronales:

• Finanzas y predicción de series de tiempo. Las redes neuronales pueden utilizarse para predecir el comportamiento de las series de tiempo, como el precio de las acciones, el tipo de cambio o el precio del petróleo.

Esto puede ser útil para tomar decisiones de inversión y de planificación financiera.

• Medicina. Las redes neuronales se utilizan en medicina para ayudar en el diagnóstico y tratamiento de enfermedades. Por ejemplo, pueden ser entrenadas para identificar patrones en imágenes médicas o para predecir la eficacia de ciertos tratamientos.
  
  
• Industria del automóvil. Las redes neuronales se utilizan en la industria del automóvil para la detección de objetos, como señales de tráfico o semáforos, y para la conducción autónoma. Los vehículos autónomos dependen en gran medida del aprendizaje automático y de las redes neuronales para detectar y responder a su entorno.
  
  
• Seguridad y vigilancia. Las redes neuronales se utilizan en sistemas de seguridad y vigilancia para la detección de objetos, la identificación de personas y la clasificación de comportamientos sospechosos. Esto puede ayudar a mejorar la seguridad en lugares públicos y privados.
  
  
• Publicidad personalizada. Las redes neuronales se usan para personalizar anuncios en línea y recomendaciones de productos. Al analizar el historial de navegación y compra de un usuario, las redes neuronales pueden predecir qué productos o servicios serían de interés para él o ella.

Como retos en el uso de esta potente herramienta, podemos mencionar:

Las limitaciones en el hardware y software disponibles

La capacidad de una red neuronal está limitada tanto por el hardware como por el software. Las redes neuronales requieren un gran poder de procesamiento y memoria para funcionar, lo que puede ser un desafío para los dispositivos móviles y otros sistemas con recursos limitados. En particular, a menudo se requiere el uso de unidades de Procesamiento Gráfico (GPUs). Estas favorecen el entrenamiento de redes neuronales debido a su capacidad para realizar cálculos en paralelo y para procesar grandes cantidades de datos simultáneamente (como los píxeles de una foto, por ejemplo).

Al entrenar una red neuronal, las operaciones matemáticas usan matrices de números. El cómputo puede llevar mucho tiempo si se realiza en una CPU (Unidad Central de Procesamiento) tradicional. Las GPUs tienen cientos o miles de núcleos de procesamiento que pueden realizar estas  operaciones matemáticas en paralelo, lo que hace que el entrenamiento de la red neuronal sea mucho más rápido.

Para utilizar una GPU en el entrenamiento de una red neuronal, necesitas asegurarte de que las  funciones usadas (recogidas en una biblioteca como TensorFlow, PyTorch, Keras) estén configurada para utilizar la GPU en lugar de la CPU. También es importante tener en cuenta que no todas las tareas de aprendizaje profundo se benefician por igual de la utilización de la GPU.

Uso de grandes cantidades de datos

Las redes neuronales necesitan grandes cantidades de datos para ser entrenadas de manera efectiva. Además, como hemos dicho, el entrenamiento de redes neuronales puede requerir amplios recursos de computación, lo que implica no sólo una gran cantidad de tiempo, sino un alto coste.

Problemas éticos y de privacidad

La recopilación y uso de grandes cantidades de datos pueden plantear problemas éticos y de privacidad. Es importante asegurarse de que se cumplan todas las leyes y regulaciones de privacidad de datos y de proteger los datos personales.

Interpretación y confianza en los resultados de las redes neuronales

Aunque las redes neuronales pueden producir resultados precisos, puede ser difícil entender cómo funciona la red y cómo llegó a una decisión en particular. Esto puede hacer que sea difícil confiar en que los resultados de una red neuronal sean robustos, es decir, que la red sea precisa en el futuro.

Sobreajuste y subajuste

Una red neuronal puede tener demasiados parámetros, y que estos estén ajustados en exceso a los datos de entrenamiento (sobreajuste). Esto implica que no generaliza bien, o sea, que no responde bien a nuevos datos. O bien que esté ajustada por defecto, es decir, subajustada. Así, los resultados no son precisos.

Dificultad para seleccionar la arquitectura y los parámetros adecuados de la red neuronal

La selección de la arquitectura y los parámetros adecuados de la red neuronal puede ser un desafío. Hay muchas opciones y no siempre está claro cuál es la mejor. La selección de la arquitectura de una red neuronal depende en gran medida del problema que estés tratando de resolver. No existe una “arquitectura perfecta” que funcione para todos los problemas de aprendizaje automático. Algunos pasos que pueden seguirse para seleccionar la arquitectura adecuada son:

• Definir bien el problema
  Debe entenderse bien el problema que debe resolverse y los datos disponibles para ello. ¿Es un problema de clasificación o de regresión? ¿Cuántas clases hay? ¿Cuántos datos están disponibles? ¿Son datos fiables? ¿Están bien etiquetados? ¿Pueden buscarse datos similares u otros que complementen la información disponible?
  
  
• Hacer una revisión bibliográfica
  Debe investigarse cómo se han abordado problemas similares en la literatura. Deben consultarse artículos científicos de fuentes fiable y otro tipo de información (blogs, webs) para tener conocer qué arquitecturas que funcionan bien para problemas similares.
  
  
• Prueba diferentes arquitecturas
  Una vez realizada la revisión bibliográfica, debe experimentarse con diferentes arquitecturas, para el conjunto de datos disponible. Debe comenzarse con una arquitectura simple y aumentar gradualmente la complejidad, para evaluar cómo se ve afectado el rendimiento.
  
  
• Ajuste de los hiperparámetros
  La selección de la arquitectura también implica la elección de los llamados hiperparámetros, como la tasa de aprendizaje, el tamaño del lote y el número de capas. El ajuste de estos hiperparámetros lleva a la obtención del mejor rendimiento en el proceso de aprendizaje automático.
  
  
• Evaluación del rendimiento
  En este punto, debe evaluarse el rendimiento conjunto de la red neuronal, con los datos de prueba. Si el rendimiento no es satisfactorio, deben repetirse los pasos anteriores. Deberán revisarse las diferentes arquitecturas y el ajuste de los hiperparámetros.

Problemas de falta de claridad y transparencia

Es posible que se requiera una explicación clara de cómo la red neuronal llegó a una decisión en particular. Esto puede ser un desafío debido a la complejidad de las redes neuronales y la falta de transparencia en el proceso de toma de decisiones.

En conclusión, las redes neuronales son una herramienta poderosa y versátil en el campo del  aprendizaje automático y tienen aplicaciones en una amplia variedad de campos, desde la visión artificial hasta la medicina y la publicidad personalizada. Sin embargo, también existen desafíos y retos que deben ser abordados para que se pueda aprovechar todo su potencial.

En cuanto a las perspectivas futuras para el desarrollo de redes neuronales, esperamos avances en la arquitectura de la red, los algoritmos de entrenamiento y la capacidad de interpretar y explicar los resultados. Además, si las redes neuronales, como algoritmos que son, se combinan con otras tecnologías, como la robótica, podrán ayudar a crear máquinas complejas que desarrollen tareas que hoy solo realizan las personas. Ayudaran a construir máquinas inteligentes.

Como reflexiones finales y recomendaciones, es importante destacar la necesidad de un enfoque ético y responsable en el desarrollo y uso de redes neuronales. Además, es importante tener en cuenta la importancia de la transparencia en el proceso de toma de decisiones de la red neuronal, y que estas decisiones puedan explicarse, especialmente en áreas donde la vida humana puede verse afectada, como en la medicina y la seguridad.

En resumen, las redes neuronales son una tecnología emocionante y prometedora que tiene el potencial de transformar muchos aspectos de nuestra vida. Al mismo tiempo, es importante abordar los desafíos y retos asociados con su desarrollo y uso para garantizar que se utilicen de manera responsable y efectiva.