En las últimas décadas, la Inteligencia Artificial (IA) ha trazado una trayectoria de crecimiento sin precedentes, ha transformado nuestra relación con la tecnología y redefinido los límites de lo posible.
Hemos evolucionado desde las primeras etapas de los sistemas basados en reglas hasta las redes neuronales profundas, cada salto tecnológico ha traído consigo nuevas posibilidades. Sin embargo, es en el dominio del lenguaje donde hemos presenciado algunos de los avances más asombrosos.
Los modelos de lenguaje a gran escala (LLM – Large Language Models) han emergido como colosos en el campo de la IA, cambiando nuestra percepción de lo que las máquinas pueden comprender y expresar. Estos modelos, impulsados por arquitecturas descentralizadas y vastos conjuntos de datos, no solo están decodificando la complejidad del lenguaje humano, sino también generando textos que, a menudo, son indistinguibles de las escrituras humanas.
Gracias a este Big Bang, vamos a transformar gran parte de los aspectos de nuestra vida aumentando la productividad de esta hasta límites insospechados.
En este artículo, navegaremos a través del viaje evolutivo de la IA, con un enfoque particular en los LLM, explorando sus orígenes, capacidades y el potencial impacto transformador en nuestra sociedad y cultura.
1. La verdadera historia de la IA
La inteligencia artificial (IA) es un campo de estudio que ha experimentado un crecimiento exponencial en las últimas décadas. Sin embargo, sus raíces se remontan a mucho antes de lo que muchos podrían pensar.
La verdadera historia de la IA comienza a mediados del siglo XX, con el desarrollo de las primeras máquinas de computación. En 1950, el matemático británico Alan Turing propuso una prueba, ahora conocida como la Prueba de Turing, para determinar si una máquina podía demostrar inteligencia humana. Según Turing, si una máquina podía suplantar a un humano haciéndole creer que estaba interactuando con otro humano, entonces esa máquina podía considerarse inteligente. Este concepto sentó las bases para el desarrollo futuro de la IA.
En 1956, se celebró la Conferencia de Dartmouth, donde se acuñó el término «inteligencia artificial». Durante esta conferencia, los investigadores John McCarthy, Marvin Minsky, Nathaniel Rochester y Claude Shannon propusieron que «cada aspecto del aprendizaje o cualquier otra característica de la inteligencia puede, en principio, describirse con tanta precisión que una máquina puede hacerlo». Este evento marcó el nacimiento oficial de la IA como campo de estudio.
En la década de 1960, la IA experimentó un período de optimismo y crecimiento con el desarrollo de los primeros programas que podían imitar la inteligencia humana en tareas específicas. «Logic Theorist», desarrollado por Alan Newell y Herbert Simon, fue uno de los primeros en esta línea, capaz de demostrar teoremas matemáticos. El perceptrón, introducido por Frank Rosenblatt en 1958, se considera como el precursor de las redes neuronales modernas. Esta invención provocó un gran entusiasmo por su capacidad de aprender y adaptarse. A pesar de su innovación, Marvin Minsky y Seymour Papert identificaron limitaciones en el modelo, particularmente su incapacidad para resolver problemas no lineales, lo que condujo a un escepticismo inicial sobre el potencial de las redes neuronales.
Newell y Simon desarrollaron programas para juegos, como el ajedrez. Aunque estas máquinas eran rudimentarias en comparación con las modernas, abrieron la puerta a la idea de que las computadoras podían emular funciones cognitivas complejas. Sin embargo, se dieron cuenta rápidamente de que emular la inteligencia humana no era simplemente una cuestión de calcular más rápidamente, sino de entender y replicar la complejidad del pensamiento humano.
John McCarthy, considerado uno de los padres de la IA desarrolló LISP, el primer lenguaje de programación de IA. Su enfoque se basaba en la idea de que la inteligencia podía emularse mediante la manipulación de símbolos, una visión que formaría la base de la IA simbólica en las décadas siguientes.
Aunque todos estos sistemas estaban limitados por la capacidad computacional de la época y la falta de datos de entrenamiento, este período estuvo marcado por la sobreestimación de las capacidades de la IA, lo que produjo un período de desilusión en la década de 1970, conocido como el «invierno de la IA».
A pesar de este revés, la investigación continuó, y en la década de 1980 la IA experimentó un resurgimiento con el desarrollo de los sistemas expertos. Estos sistemas utilizaban reglas y heurísticas para simular la capacidad de un experto humano para resolver problemas en un área específica.
Es en este escenario donde Geoffrey Hinton, junto con David Rumelhart y Ronald Williams, presentó en 1986 un trabajo seminal sobre el algoritmo de retropropagación (1). Aunque la idea básica de retropropagación ya se había propuesto antes, fue la formulación y promoción de Hinton y su equipo lo que realmente capturó la atención del mundo de la investigación.
El algoritmo permitió que las redes neuronales ajustaran sus pesos de manera efectiva, facilitando el entrenamiento de modelos más profundos y complejos. Esto convirtió a la retropropagación en el motor del renacimiento del aprendizaje profundo y las redes neuronales.
La importancia del trabajo de Hinton y sus coautores reside no sólo en el algoritmo en sí, sino también en cómo reorientó el interés y las inversiones hacia el estudio de redes neuronales, estableciendo las bases para avances posteriores.
En la década de 1990 se producen mejoras sustanciales en algoritmos de aprendizaje automático como máquinas de soporte vectorial y árboles de decisión; en 1998, Yann LeCun y su equipo presentaron la red «LeNet-5» (2), una red neuronal convolucional que podía reconocer dígitos escritos a mano, sentando las bases para los futuros avances en visión por computadora.
La capacidad de las redes neuronales para procesar secuencias temporales siempre fue un desafío. En 1997, Sepp Hochreiter y Jürgen Schmidhuber publicaron el diseño de las LSTM (3), una variación de las redes neuronales recurrentes (RNN) diseñadas específicamente para abordar problemas de dependencia a largo plazo. Este diseño se convertiría en fundamental para muchos sistemas modernos, incluyendo aplicaciones de procesamiento del lenguaje natural y reconocimiento de voz.
En los primeros años de los 2000 vino una explosión en la generación y disponibilidad de datos. El advenimiento de Internet y luego las redes sociales, junto con la reducción de los costos de almacenamiento, significaron que había una cantidad sin precedentes de datos disponibles para entrenar modelos de IA. Estos grandes conjuntos de datos jugaron un papel crucial en el éxito de los algoritmos de aprendizaje automático.
Se produce un periodo floreciente de artículos y trabajos de investigación, que refinaron las técnicas de aprendizaje automático. Por ejemplo, el algoritmo Random Forest, introducido por Leo Breiman en 2001 (4), proporcionó una mejora sobre los árboles de decisión, ofreciendo un rendimiento y precisión superiores en muchas tareas.
En 2012, un equipo dirigido por Alex Krizhevsky, Ilya Sutskever y Geoffrey Hinton presentó una red neuronal profunda llamada AlexNet (5) basada en redes neuronales convolucionales en la competición ImageNet Large Scale Visual Recognition Challenge (ILSVRC). Esta red superó significativamente a las técnicas tradicionales en la tarea de clasificación de imágenes, marcando el comienzo de una nueva era para el aprendizaje profundo en la visión por computadora. También fue uno de los primeros modelos en ser entrenado usando GPUs (Graphic Processing Units, unidades gráficas de procesamiento), lo que permitió manejar la gran cantidad de parámetros y aceleró significativamente el proceso de entrenamiento.
Es en este período cuando las redes neuronales profundas (DNN) demostraron su verdadera potencia, liderando avances en tareas como la visión por computadora y el procesamiento del lenguaje natural. La capacidad de entrenar modelos más profundos y complejos, gracias a la creciente disponibilidad de hardware especializado (como las GPUs) y grandes conjuntos de datos, permitió a la comunidad de IA abordar problemas que antes se consideraban insuperables.
En 2014, Google adquirió DeepMind, una empresa de IA que más tarde desarrollaría AlphaGo, un programa de IA que derrotó al campeón mundial de Go en 2016. Este fue un logro significativo, ya que Go es un juego extremadamente complejo que requiere intuición y creatividad, habilidades que se consideraban exclusivas de los humanos.
En 2015, Microsoft desarrolló una IA que superó a los humanos en una prueba de reconocimiento de imágenes, lo que demostró la capacidad de las máquinas para interpretar el mundo visual de manera similar a los humanos. Ese mismo año, Google lanzó RankBrain, un algoritmo de IA que utiliza el aprendizaje automático para mejorar los resultados de búsqueda.
La idea de utilizar modelos preentrenados y afinarlos para tareas específicas usando lo que se llama transfer-learning (transferencia de aprendizaje) se volvió popular durante este período. Modelos como BERT, GPT y ResNet, entre otros, ofrecieron capacidades avanzadas en procesamiento del lenguaje natural y visión por computadora, respectivamente. La importancia del transfer-learning está en que ya no es necesario entrenar un modelo de forma completa, con los costes que esto supone, podemos disponer de modelos que han sido entrenados por grandes compañías y usarlos de forma libre, si necesitamos reajustarlos para nuestras necesidades podemos hacerlo de manera sencilla mediante técnicas de afinado (fine-tuning).
En 2014 Ian Goodfellow y sus colegas de la Universidad de Montreal presentan el artículo «Generative Adversarial Nets» (GANs) (6) y dan comienzo a la IA generativa (IAG). Las GANs son un tipo de algoritmo de aprendizaje automático que utiliza dos redes neuronales, una generadora y una discriminadora, en un juego competitivo. La red generadora crea nuevos datos, mientras que la red discriminadora evalúa la calidad de estos datos. A través de este proceso iterativo, la red generadora aprende a producir datos cada vez más realistas.
A diferencia de la IA tradicional, que se basa en el análisis de datos y la toma de decisiones basada en patrones, la IAG se centra en la creación de algo nuevo a partir de los datos existentes. Esto puede incluir una amplia gama de contenidos, desde imágenes y música hasta texto y diseño de productos.
Las aplicaciones de la IAG son muy diversas comienzan una rápida expansión. En el campo del arte se utilizan para crear nuevas obras, algunas de las cuales se venden por sumas considerables en subastas. Proyectos como Google’s Magenta han explorado cómo las máquinas pueden contribuir al proceso creativo musical. En el diseño de productos, la IAG genera prototipos de nuevos productos basados en las preferencias y necesidades de los consumidores. En la medicina, imágenes médicas para la formación y la investigación, o incluso para la simulación de resultados de tratamientos.
Uno de los artículos más influyentes de esta era fue «Attention is All You Need» por Vaswani et al. en 2017 (7). Este trabajo introdujo la arquitectura Transformer, que utiliza mecanismos de atención para procesar datos de entrada en paralelo en lugar de secuencialmente. Los Transformers se convirtieron rápidamente en el estándar de oro para una variedad de tareas de procesamiento del lenguaje natural, llevando a desarrollos como BERT, GPT, y T5.
En 2018, OpenAI desarrolló GPT-2, un modelo de lenguaje que puede generar texto coherente y gramaticalmente correcto. Este fue un avance significativo en la comprensión del lenguaje natural por parte de las máquinas.
En 2020, GPT-3, la tercera generación del modelo de lenguaje de OpenAI, demostró una capacidad aún mayor para generar texto coherente y relevante, lo que indica un progreso significativo en la capacidad de las máquinas para comprender y generar lenguaje humano.
El 30 de noviembre de 2022 OpenAI lanza ChatGPT, una aplicación de chatbot. El servicio se lanza inicialmente como gratuito, con la intención de monetizarlo posteriormente. El resto de las compañías sigue la estela de OpenAI y se lanzan BARD (Google) o Claude (Anthropic), en sólo unos meses todas las grandes compañías sacan al mercado su propio LLM, la primera tendencia parecía que iba hacia modelos más grandes y propiedad de grandes empresas, pero la comunidad empieza a desarrollar maneras de afinar y de hacer estos modelos más ligeros y manejables, modelos de la clase Falcon (8) o LlaMA (9) devuelven el protagonismo a la comunidad open-source, se empiezan a implementar modelos mucho más eficientes que empiezan a poder compararse con los modelos más grandes en algunas tareas.
Hugging Face (10) ha lanzado una alternativa de código abierto a ChatGPT llamada HuggingChat (11), que permite a las personas interactuar con un asistente de chat de código abierto llamado Open Assistant.123. El CEO de Hugging Face, Clem Delangue, tuiteó que cree que las alternativas de código abierto a ChatGPT son necesarias para la transparencia, la inclusión, la responsabilidad y la distribución del poder (12).
2. ¿Qué son los Large Language Models (LLM)?
Los modelos grandes de lenguaje (LLM) son modelos de inteligencia artificial diseñados para procesar lenguaje natural. Se entrenan usando técnicas de aprendizaje profundo y grandes cantidades de datos, con el objeto de capturar en la medida de lo posible, todos los matices y complejidades que tiene el lenguaje humano.
Estos modelos han demostrado ser muy efectivos en tareas como la generación de texto, la traducción automática, el reconocimiento de voz, el análisis de sentimientos o la respuesta automática a preguntas.
A nivel científico, hay tres artículos que sientan las bases de los LLM:
Como mencionamos anteriormente, el modelo Transformer, introducido en el paper «Attention is All You Need» por Vaswani et al. en 2017, cambió fundamentalmente la forma en que se abordaban las tareas relacionadas con el lenguaje. Al ofrecer un mecanismo de atención que podía pesar la importancia relativa de diferentes palabras en una frase, los Transformers establecieron el camino para la evolución de los LLM.
Desarrollado por investigadores de Google, BERT (Bidirectional Encoder Representations from Transformers) (13) revolucionó la comprensión del lenguaje en máquinas al entrenar representaciones de palabras basadas en su contexto completo, es decir, considerando palabras anteriores y posteriores en una frase. El artículo «BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding» detalla cómo BERT estableció nuevos estándares en múltiples tareas del procesamiento del lenguaje natural.
OpenAI introdujo el modelo Generative Pre-trained Transformer (GPT). Mientras que BERT se centró en la comprensión del lenguaje, GPT fue diseñado para generar texto. A partir de GPT-2 y su sucesor más avanzado, GPT-3, vimos ejemplos asombrosos de generación de texto, desde la redacción de ensayos hasta la creación de poesía. El paper «Language Models are Few-shot Learners» (14) proporciona una visión detallada del diseño y las capacidades de GPT-3.
Estos modelos son la tecnología detrás de chatbots como ChatGPT o Bard. Pero ChatGPT no es un LLM en sí, sino una app de chatbot impulsada por LLMs. GPT-3.5 y GPT-4, los modelos que hacen funcionar ChatGPT, sí lo son (en realidad cada uno de ellos es un conjunto de modelos).
Analicemos los términos detrás de las siglas: Gran Modelo de Lenguaje.
El término “modelo” se refiere a un modelo matemático probabilístico. En esencia, los LLMs calculan las probabilidades de que cierta palabra siga a una cadena de palabras dada previamente.
¿De qué datos extrae esa probabilidad? Aquí es donde entra el término “grande”, ya que los LLMs se nutren de corpus o conjuntos de datos muy grandes (por ejemplo: toda la Wikipedia en inglés, un subconjunto representativo de las páginas de internet, etc).
Estos modelos están entrenados sobre corpus del orden de GigaBytes (570 GB en el caso de ChatGPT- gpt-3.5 el modelo de OpenAI-), y tiene 175 mil millones de parámetros (175B), (los modelos generativos anteriores -gpt-2, el anterior modelo de OpenAI- estaban en torno a 1.5B de parámetros).
Por lo tanto, ¿qué hace posible la creación de modelos de estos órdenes de magnitud?
Una arquitectura que permite la paralelización de los cálculos a la hora de entrenar los modelos de IA. Esto hace que estos modelos puedan escalarse de manera eficiente y podamos entrenar cada vez modelos con mayor número de parámetros (el número de parámetros es directamente proporcional a la capacidad del modelo de aprender aquello para lo que se está entrenando, en este caso, predecir la próxima palabra dado un conjunto previo de ellas).
Desde la aparición de ChatGPT (175B), su hermano mayor, GPT-4 (1760 B) y las respuestas de Google (PALM 540B) o Anthropic (Claude 175B) parecía que la nueva tendencia iba a ir en la dirección de grandes modelos gestionados por grandes empresas, quedando de lado la comunidad open-source. Sin embargo, desde el primer momento se empezaron a desarrollar métodos para reducir el tamaño de los modelos y hacer los entrenamientos más eficientes, de esta forma modelos como los de la familia Falcon, empezaron a hacer posible el uso por parte de la comunidad de estas herramientas para aplicaciones en las que la privacidad de los datos es necesaria, por otra parte, las soluciones que nos brindan este tipo de modelos son efectivas, nos resuelven el problema, sin embargo no son eficientes en cuanto a la magnitud de recursos necesarios para resolver los problemas a que nos enfrentamos en los casos de uso habituales.
En los siguientes gráficos se puede observar la evolución en tamaño (número de parámetros), de los modelos actualmente desarrollados y en vías de desarrollo. ⏬
En estos momentos, modelos de código abierto desarrollados por Meta (Modelos de la familia LlaMA) son los más eficientes según una tabla comparativa de diferentes métricas entre este tipo de modelos (se utilizan diferentes métricas ya que son modelos multipropósito, que pueden ser usados para diferentes tareas) (15).
LlaMA-2 no es GPT4, en un informe de investigación de META, admiten que todavía existe una gran diferencia de rendimiento entre ambos, sin embargo, no es necesario tan grande y sofisticado para todos los casos de uso (16).
3. Casos de uso de la Inteligencia Artificial Generativa (IAG)
En redes sociales:
Creación de contenido de forma automática.
Creación de blogs/posts.
Generación de descripción de productos.
En comercio online y minorista (retail):
Traducción de texto en tiempo real.
Traducción de documentos para comercio global.
Localización de herramientas de software y sitios web.
En finanzas:
Prevención y detección de fraude.
Análisis de noticias financieras y de comercio.
Suscripción de préstamos y evaluación de riesgo crediticio.
En marketing y publicidad:
Categorización de contenidos para sistemas de recomendación.
Publicidad y marketing dirigidos.
Mejora de máquinas de búsqueda de contenidos.
En legislación:
Análisis y cumplimiento de la política de privacidad.
Búsqueda y análisis de casos legales.
Respuesta a incidentes de ciberseguridad.
En salud:
Asistencia a la diagnosis médica.
Revisión y análisis de la literatura científica asociada.
Análisis de los datos de los pacientes para tratamientos personalizados.
4. Momento Actual
Con la introducción de los LLM la generación de texto ha alcanzado niveles impresionantes. Estos modelos pueden componer ensayos, poesía, historias y más, a menudo con una calidad que puede ser confundida con la escritura humana. Puede ir desde la generación de noticias hasta la escritura de guiones de películas. Sin embargo, también plantea importantes cuestiones éticas, ya que la capacidad de generar texto realista puede ser utilizada para fines malintencionados, como la desinformación y el spam.
A pesar de su gran potencial, la IAG también plantea desafíos significativos. Uno de los más importantes es la cuestión de la originalidad y la propiedad intelectual. Si un algoritmo de IAG crea una obra de arte o un diseño de producto, ¿quién es el propietario de los derechos de autor? ¿El creador del algoritmo, el usuario del algoritmo o el propio algoritmo? Estas son preguntas complejas que aún no tienen respuestas claras.
Otro desafío es la cuestión de la calidad y la coherencia. Aunque los algoritmos de IAG pueden generar contenido que es superficialmente realista, a menudo carecen de la coherencia y la profundidad que caracterizan a las creaciones humanas. Esto es particularmente evidente en el campo de la generación de texto, donde los algoritmos de IAG a menudo producen texto que es gramaticalmente correcto, pero semánticamente incoherente.
Las consecuencias del mal uso de la IAG han tomado cuerpo como un problema a resolver, personalidades como Geoffrey Hinton, el llamado padre de la IA, ha advertido de los riesgos que
entraña una tecnología que no está sujeta a ningún tipo de control (17) y que puede tener potenciales usos maliciosos. En Europa el acceso a ChatGPT se ha vetado en algunos países por los problemas de privacidad asociados al uso de datos supuestamente privados en el entrenamiento de los modelos. La legislación, en este caso, va muy por detrás del uso de la herramienta. Google ha lanzado hace unos días una herramienta de marca de agua que etiqueta si las imágenes han sido etiquetadas con IA (18).
La propiedad y privacidad de los datos se han convertido en un problema crítico en la era digital. A medida que este tipo de tecnología avanza, la recopilación y el análisis de datos se han vuelto omnipresentes, generando preocupaciones significativas sobre quién posee estos datos y cómo se protege la privacidad del individuo. Desde una perspectiva científica, los datos son una herramienta valiosa para la investigación y el desarrollo, pero su uso indebido puede llevar a violaciones de la privacidad y la seguridad.
Desde la perspectiva empresarial, la propiedad de los datos y el desarrollo de soluciones que no compartan información con el exterior se ha convertido en una nueva línea de desarrollo: modelos de código abierto que nos permitan disfrutar de las ventajas de la IA generativa, pero sin tener que preocuparnos por el uso posterior que reciben nuestros datos porque en ningún momento van a filtrarse a red.
La propiedad de los datos se refiere a quién tiene el derecho legal de poseer y controlar el uso de los datos recopilados. En muchos casos, los términos de servicio ambiguos y las políticas de privacidad permiten a las empresas recopilar y utilizar datos de los usuarios de formas que pueden no ser completamente comprendidas por el individuo. Por otro lado, la privacidad de los datos se refiere a cómo se protegen estos datos de ser accedidos o utilizados sin el consentimiento del propietario. A pesar de las leyes y regulaciones existentes, la rápida evolución de la tecnología a menudo supera la capacidad de las políticas para mantenerse al día, lo que resulta en brechas de seguridad y violaciones de la privacidad. Este problema complejo requiere un enfoque multidisciplinario que combine la ciencia de datos, la ética y el derecho para garantizar que los datos se utilicen de manera responsable y segura.
5. ¿Cómo usamos estos modelos en Scalian?
Desde el Centro de excelencia de Scalian Spain nos esforzamos por situarnos como early adopters de las tecnologías de creemos que van a transformar la forma de trabajar de nuestros clientes. Por ello desde temprano empezamos a evaluar la diferente diversidad de modelos LLM y sus aplicaciones.
Gracias a este esfuerzo contamos con varios casos de uso para clientes tanto del sector financiero, acero, asegurador y automoción. Estos casos de uso los podríamos clasificar en:
Implementación de modelos LLM en un entorno bastionado que garantice la privacidad de los datos que se comparte con la IA Generativa
Indexación de bases de datos documentales que te permitan acceder a la información que contiene a través de un lenguaje natural
Interacción a través de canales comunicativos tanto auditivos como textuales para generar documentos de auditoría, partes de asistencia en carretera…
Generación de documentos y presentaciones a partir de toda la información con la que se reentrenan los modelos
Generación de código fuente con objetivo de acelerar el time2market en proyectos de desarrollo.
Para ello, dependiendo del caso de uso, usamos modelos preentrenados como:
- ChatGPT
- Falcon
- Llama2
- Vicuña
- Etc
6. ¿Hacia dónde vamos?
Desde un punto de vista técnico pensamos que nos vamos a mover hacia desarrollos que reduzcan la demanda computacional necesaria para usarlos. Para ello se está investigando tanto en la evolución de técnicas de entrenamiento y afinado (19, 20) como en la reducción de tamaño (21) manteniendo niveles de rendimiento similares a los grandes LLM, aquí los modelos del tipo GPT-4 o PALM-2 y posteriores marcarán los niveles a alcanzar.
El tipo de modelo también cambiará, de modelos conversacionales con entradas de tipo texto nos moveremos a modelos multimodales, capaces de procesar texto, imagen, vídeo o voz. (PALM-E)
La irrupción de estos modelos va a tener un impacto significativo en la vida cotidiana y profesional de las personas en los próximos 5 años. Algunas formas en las que se espera que estos modelos transformen nuestras vidas son:
Mejora de la productividad: Los LLM pueden utilizarse para automatizar tareas repetitivas y de baja complejidad en el trabajo y en la vida cotidiana. Esto incluye la redacción de correos electrónicos, informes, resúmenes de documentos y más, lo que liberará tiempo para actividades más creativas y estratégicas.
Asistencia en la toma de decisiones: Los LLM pueden analizar grandes cantidades de datos en tiempo real para proporcionar información valiosa que respalde la toma de decisiones en empresas, gobiernos y la vida personal. Esto podría tener un impacto significativo en la eficiencia y la precisión de las decisiones.
Educación personalizada: Los LLM pueden adaptarse para brindar tutoría y apoyo educativo personalizado a los estudiantes. Esto podría revolucionar la educación al permitir que las personas aprendan a su propio ritmo y reciban explicaciones adaptadas a sus necesidades.
Traducción instantánea: Los LLM pueden mejorar aún más la traducción automática y permitir una comunicación fluida entre personas que hablan diferentes idiomas. Esto podría ser útil en el ámbito profesional y en situaciones de viaje y turismo.
Atención médica mejorada: Los LLM pueden analizar datos médicos y ofrecer diagnósticos preliminares, lo que podría ayudar a los profesionales de la salud a tomar decisiones más informadas y mejorar la atención médica en general.
Generación de contenido creativo: Los LLM pueden ayudar a generar contenido creativo, como música, arte y escritura, lo que podría tener un impacto en la industria del entretenimiento y la creatividad en general.
Automatización de servicio al cliente: Los LLM ya se utilizan en la automatización de servicios al cliente a través de chatbots y sistemas de respuesta automática. En los próximos años, es probable que estos sistemas sean aún más sofisticados y capaces de brindar un mejor servicio al cliente.
Personalización de recomendaciones: Los LLM pueden mejorar la personalización de recomendaciones en plataformas en línea, desde recomendaciones de productos hasta contenido en redes sociales, lo que podría aumentar la satisfacción del usuario y las tasas de conversión.
Avances en la investigación científica: Los LLM pueden acelerar la investigación científica al analizar grandes conjuntos de datos y generar hipótesis que los investigadores pueden explorar.
Estamos en un momento apasionante de la evolución de la IA, es imperativo que equilibremos innovación con regulación, asegurando un uso responsable y ético, para así construir juntos un futuro donde la inteligencia artificial no solo potencie nuestras capacidades, sino también refleje lo mejor de nuestra sociedad.
- Learning representations by back-propagating errors https://www.nature.com/articles/323533a0
- GradientBased Learning Applied to Document Recognition http://vision.stanford.edu/cs598_spring07/papers/Lecun98.pdf
- LONG SHORT-TERM MEMORY https://www.bioinf.jku.at/publications/older/2604.pdf
- RANDOM FORESTS https://www.stat.berkeley.edu/~breiman/randomforest2001.pdf
- ImageNet Classification with Deep Convolutional Neural Networks
- https://proceedings.neurips.cc/paper_files/paper/2012/file/c399862d3b9d6b76c8436e924a68c45b-Paper.pdf
- Generative Adversarial Networks https://arxiv.org/abs/1406.2661
- Attention Is All You Need https://arxiv.org/abs/1706.03762
- Falcon https://falconllm.tii.ae/
- LlaMA https://ai.meta.com/llama/
- https://huggingface.co/
- https://alternativeto.net/news/2023/4/hugging-face-introduces-huggingchat-a-new-open-source-alternative-to-chatgpt/
- https://www.escudodigital.com/tecnologia/huggingchat-como-chatgpt-pero-codigo-abierto_55683_102.html
- BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding
- https://arxiv.org/abs/1810.04805
- Language Models are Few-shot Learners https://arxiv.org/abs/2005.14165
- https://huggingface.co/spaces/HuggingFaceH4/open_llm_leaderboard
- https://www.technologyreview.es/s/15557/todo-sobre-llama-2-la-nueva-ia-de-meta-para-competir-con-chatgpt
- https://www.technologyreview.es/s/15649/google-lanza-una-marca-de-agua-para- detectar-imagenes-generadas-por-ia
- LoRA: Low-Rank Adaptation of Large Language Models https://arxiv.org/abs/2106.09685
- LLaMA-Adapter: Efficient Fine-tuning of Language Models with Zero-init Attention
- https://arxiv.org/abs/2303.16199
- Quantized Distributed Training of Large Models with Convergence Guarantees
- https://arxiv.org/pdf/2302.02390.pdf
- Dr Alan D. Thompson, LifeArchitect.ai (Sept/2023) https://lifearchitect.ai
