¿Cómo funciona ChatGPT? La revolución de la Inteligencia Artificial
Sintesi
TLDREste video explora cómo la inteligencia artificial, especialmente a través de ChatGPT, ha comenzado a realizar tareas que anteriormente eran exclusivas de los humanos, como la creación artística y generación de textos complejos. Se analiza la rápida adopción de Tecnologías IA y su evolución a lo largo del tiempo, centrándose en el uso de patrones de datos para generar texto original y responder preguntas de manera coherente. Una explicación técnica sobre el funcionamiento interno de estas IAs revela cómo utilizan redes neuronales y sistemas de embeddings para entender y producir lenguaje humano, además de resaltar los desafíos y la necesidad de regulación en el uso de estas tecnologías.
Punti di forza
- 🎨 La IA está ganando concursos de arte.
- 🤖 ChatGPT ha alcanzado 10 millones de usuarios en un mes.
- 📚 La IA facilita la redacción de artículos científicos.
- ⚖️ Las IAs pueden generar documentos legales.
- 💻 GPT es un modelo de lenguaje generativo poderoso.
- 📈 La adopción de IA supera a tecnologías anteriores.
- 🔍 La IA aprende de grandes volúmenes de datos.
- 📊 El uso de redes neuronales transforma la programación.
- 🧠 La atención en los transformers permite un procesamiento eficaz.
- ⚠️ La información generada por la IA no siempre es precisa.
Linea temporale
- 00:00:00 - 00:05:00
Un concurso de pintura es ganado por una inteligencia artificial, lo que plantea preguntas sobre el futuro de profesiones como el arte y el derecho, mientras la tecnología avanza vertiginosamente, dejando a los programadores y profesionales en la informática desconcertados.
- 00:05:00 - 00:10:00
Las inteligencias artificiales como ChatGPT han mostrado un crecimiento increíble, alcanzando 10 millones de usuarios diarios en su primer mes, convirtiéndose en la tecnología más rápidamente adoptada en la historia. Este hecho suscita curiosidad sobre su funcionamiento y capacidades.
- 00:10:00 - 00:15:00
Se introducen conceptos sobre el modelo de ChatGPT, que no solo es un chatbot, sino una herramienta capaz de generar texto original y resolver problemas lógicos complejos, además de ofrecer consejos prácticos y creativos en diferentes contextos para el usuario.
- 00:15:00 - 00:20:00
A lo largo de décadas, la convergencia de diversas tecnologías ha permitido la evolución de la inteligencia artificial, llevando a desarrollos como ChatGPT que son, a la vez, revolucionarios y aún en evolución, con muchas más aplicaciones por venir.
- 00:20:00 - 00:25:00
ChatGPT, basado en el modelo GPT-3, predice palabras en función del contexto de la conversación, utilizando técnicas avanzadas de machine learning y redes neuronales para generar respuestas parecidas al habla humana.
- 00:25:00 - 00:30:00
Los modelos de lenguaje, como ChatGPT, son representados como programas que predicen la próxima palabra en una secuencia dada, utilizando complejas matemáticas y patrones estadísticos extraídos de enormes conjuntos de datos textuales.
- 00:30:00 - 00:35:00
El modelo de GPT-3 utiliza una combinatoria de lenguaje natural simplificada a través de un proceso de tokenización, donde las palabras son convertidas en números para facilitar su comprensión por parte de las máquinas, lo que lleva a un análisis del contexto y significado.
- 00:35:00 - 00:40:00
Se discute la importancia de las redes neuronales y su capacidad para aprender de patrones, permitiendo a ChatGPT reconocer y responder a preguntas complejas basándose en ejemplos previos de textos y conversaciones similares.
- 00:40:00 - 00:45:00
Cada palabra es representada a través de vectores en un espacio multidimensional, permitiendo identificar relaciones y similitudes entre términos, facilitando al modelo generar respuestas coherentes y relevantes en su interacciones con los usuarios.
- 00:45:00 - 00:50:44
El video concluye resaltando la necesidad de avanzar en la tecnología de la inteligencia artificial, a medida que empresas como Microsoft y Google compiten por el desarrollo de herramientas de búsqueda semántica y procesamiento del lenguaje natural, a pesar de las limitaciones presentes en la actual generación de inteligencia artificial.
Mappa mentale
Video Domande e Risposte
¿Qué es ChatGPT?
ChatGPT es una inteligencia artificial desarrollada por OpenAI, basada en el modelo GPT-3, que permite interactuar a través de conversaciones de texto.
¿Por qué ChatGPT ha crecido tan rápidamente?
Logró 10 millones de usuarios en su primer mes, convirtiéndose en la tecnología más rápida de adoptar en la historia.
¿Cómo funciona la inteligencia artificial en el arte?
La IA ha comenzado a participar en procesos creativos como la pintura, generando obras que son reconocidas en concursos.
¿Qué es un modelo de lenguaje generativo?
Es un algoritmo que, basado en patrones en grandes volúmenes de datos de texto, puede generar nuevas secuencias de texto coherente.
¿Cuál es la diferencia entre GPT y ChatGPT?
GPT es un modelo de lenguaje genérico, mientras que ChatGPT está configurado para responder en formato de chat y mantener el contexto de la conversación.
Visualizza altre sintesi video
- 00:00:00una Inteligencia artificial gana un
- 00:00:02concurso de pintura una revista
- 00:00:04científica Beta autores que usan
- 00:00:06Inteligencia artificial para escribir
- 00:00:08sus artículos una Inteligencia
- 00:00:10artificial puede hacer exámenes muy
- 00:00:11difíciles de medicina y abogacía qué
- 00:00:14está pasando cómo puede ser que en los
- 00:00:16últimos 2 años de repente los
- 00:00:18ordenadores pueden hacer cosas que hasta
- 00:00:19ahora pensábamos que solo nosotros
- 00:00:21podíamos hacer y además cosas que
- 00:00:23realmente nos hacen plantearnos Qué
- 00:00:25significa el arte o si realmente
- 00:00:27necesitaremos un abogado en el futuro
- 00:00:29para redactar un texto legal o incluso
- 00:00:31si harán falta programadores Oh sí las
- 00:00:33inteligencias artificiales también están
- 00:00:35generando código y sinceramente habiendo
- 00:00:37sido programador durante 10 años de mi
- 00:00:39vida nunca me imaginé que vería un
- 00:00:41ordenador generando de la nada programas
- 00:00:43así de elaborados Y la verdad todo esto
- 00:00:46hace que uno se sienta bastante perdido
- 00:00:48sobre todo los que nos dedicamos a la
- 00:00:49informática desde toda la vida o estas
- 00:00:51noticias nos hacen dudar nos están
- 00:00:53demostrando que cosas que pensábamos que
- 00:00:54una máquina no podía hacer ahora resulta
- 00:00:57que puede y a veces incluso mejor que
- 00:00:58nosotros Así que me propuse investigar
- 00:01:01qué hay detrás de estas inteligencias
- 00:01:02artificiales y hoy te voy a contar todo
- 00:01:05lo que descubrí desde el punto de vista
- 00:01:07de un ingeniero de software explicado
- 00:01:09para todo el mundo o sea mi objetivo es
- 00:01:11que seas quien seas sin saber nada te
- 00:01:13puedas hacer ni que sea una idea de cómo
- 00:01:15funcionan estas inteligencias y
- 00:01:17especialmente Hoy me voy a centrar en
- 00:01:18uno de los productos que está más de
- 00:01:20moda y que más ruido ha hecho chat gpt
- 00:01:23chat gbt es super popular todo el mundo
- 00:01:26la está usando para que os hagáis una
- 00:01:28idea consiguió la escalofriante cifra de
- 00:01:3010 millones de usuarios activos cada día
- 00:01:33en su primer mes o sea sale Y a los 30
- 00:01:35días ya tenía 10 millones de usuarios
- 00:01:37cada día haciendo preguntas rompiendo el
- 00:01:40récord de la tecnología más rápidamente
- 00:01:42adoptada en la historia de la humanidad
- 00:01:44un crecimiento 10 veces más rápido que
- 00:01:46el de Instagram una locura total chat
- 00:01:48gpt es una web de uso gratuito aunque
- 00:01:50también tiene una versión de pago y
- 00:01:52funciona como un chat al que le puedes
- 00:01:54preguntar todo tipo de cosas es como una
- 00:01:56especie de oráculo tecnológico que te
- 00:01:58sabe decir cosas como Cuál es la mejor
- 00:02:00manera de atarte los zapatos Cómo
- 00:02:02deberías dejar a tu novia de la forma
- 00:02:04más suave resolver problemas lógicos
- 00:02:07complejos escribir software hacer
- 00:02:09cambios en ese Software que acabas de
- 00:02:10escribir jugar a juegos contigo inventar
- 00:02:13una historia escribir poemas crearte una
- 00:02:15rutina del gimnasio con instrucciones
- 00:02:17muy específicas componer una canción con
- 00:02:19sus respectivos acordes generar un texto
- 00:02:22legal Como por ejemplo un acuerdo de
- 00:02:24confidencialidad y todo esto recordando
- 00:02:26todo lo que habéis hablado a lo largo de
- 00:02:27la conversación o sea tú hablas con él y
- 00:02:30recordando todo lo que estás hablando y
- 00:02:32son textos originales o sea todo lo que
- 00:02:33te dice no lo vas a poder encontrar en
- 00:02:35ninguna parte de internet aunque luego
- 00:02:37hablaremos de eso cómo es posible que
- 00:02:40despertemos una mañana y esto
- 00:02:41simplemente exista bueno no ha sido
- 00:02:44realmente de la noche a la mañana han
- 00:02:45pasado décadas y décadas con muchas
- 00:02:47innovaciones tanto en el mundo de la
- 00:02:49programación como la informática la
- 00:02:50Inteligencia artificial las redes y la
- 00:02:52sociedad en Sí esta es lo que se conoce
- 00:02:54como una tecnología convergente vale
- 00:02:56nace de muchas otras tecnologías que se
- 00:02:59juntan para llegar al resultado que
- 00:03:00vemos hoy en día y esto gente es una
- 00:03:03Revolución una Revolución que todavía no
- 00:03:05está en su punto pero se viene y para
- 00:03:07demostrarte Lo bueno que es le he pedido
- 00:03:09a gpt que me genere el sponsor de hoy y
- 00:03:11he utilizado una Inteligencia artificial
- 00:03:13para que lea el texto Así que vamos a
- 00:03:15ver qué tal Bien lo hace con un mensaje
- 00:03:17de nuestro sponsor Hola a todos Soy chat
- 00:03:20gpt y Hoy les hablaré sobre la gtc de
- 00:03:22nvidia la gtc de envidia es la
- 00:03:25conferencia más grande sobre
- 00:03:26Inteligencia artificial aceleración de
- 00:03:28gráficos y ciencias de de datos este año
- 00:03:31la gtc se llevará a cabo en línea el 20
- 00:03:33de este mes y nvidia está organizando un
- 00:03:35sorteo especial para los asistentes
- 00:03:38podrás ganar una rtx 4080 si te
- 00:03:40registras para asistir a la gtc el
- 00:03:42enlace para registrarse está en la
- 00:03:44descripción la gtc de nvidia incluirá
- 00:03:46más de 1000 sesiones en línea con
- 00:03:48presentaciones talleres y discusiones de
- 00:03:50expertos podrás escuchar a los
- 00:03:51principales expertos de la industria y
- 00:03:53aprender sobre los últimos avances en la
- 00:03:55informática acelerada la Inteligencia
- 00:03:57artificial el aprendizaje automático la
- 00:04:00ciencia de datos y mucho más también
- 00:04:01tendrás la oportunidad de conectarte con
- 00:04:03otros líderes de la industria explorar
- 00:04:05nuevas tecnologías y descubrir có las
- 00:04:07soluciones de nvidia están transformando
- 00:04:09la forma en que vivimos y trabajamos
- 00:04:11regístrate ahora mismo para asistir a la
- 00:04:13gtc de nvidia y tener la oportunidad de
- 00:04:15ganar una rtx 4080 No te pierdas esta
- 00:04:18oportunidad única de aprender sobre los
- 00:04:20últimos avances en la informática
- 00:04:22acelerada y la Inteligencia artificial
- 00:04:24el enlace para registrarse está en la
- 00:04:26descripción te esperamos en la gtc de
- 00:04:28nvidia
- 00:04:29[Música]
- 00:04:35Okay chat gpt chat gpt está basado en
- 00:04:38gpt3 gpt o generative pretrained
- 00:04:41Transformer es un modelo Esto es algo de
- 00:04:44lo que ya hablamos en otros vídeos pero
- 00:04:46a modo de resumen un modelo para que te
- 00:04:47puedas hacer una idea es un programa un
- 00:04:49algoritmo una función que intenta
- 00:04:51replicar el comportamiento de un sistema
- 00:04:54por ejemplo el más clásico vale el
- 00:04:56modelo climático sería un programa un
- 00:04:58software o algún tipo de sistema que te
- 00:05:00permite predecir el clima de la semana
- 00:05:02que viene basándose en datos históricos
- 00:05:04no por ejemplo coges el clima de las
- 00:05:05últimas semanas el viento las nubes la
- 00:05:07humedad coges todo eso lo metes en esta
- 00:05:09máquina y la máquina te predice el clima
- 00:05:12de la próxima semana otro ejemplo de
- 00:05:14esto bueno hace poco en nate Life
- 00:05:15hablamos del amp modeling vale que son
- 00:05:18modelos que imitan amplificadores de
- 00:05:19guitarra imitan toda la parte de
- 00:05:21electrónica la parte de amplificación
- 00:05:23distorsión reverb incluso la acústica de
- 00:05:26una sala y todo esto no ocurre en la
- 00:05:28realidad sino que hay un que tiene una
- 00:05:30serie de instrucciones que lo que hace
- 00:05:32es simular el resultado que tendríamos
- 00:05:34si hiciéramos todo eso y todo esto lo
- 00:05:35hace un software un software que es un
- 00:05:37modelo gpt como te decía es un modelo
- 00:05:39pero un modelo de lenguaje vale el
- 00:05:41modelo de lenguaje es capaz de conocer e
- 00:05:43identificar partes de nuestro idioma Y
- 00:05:45en este caso es un modelo generativo O
- 00:05:47sea que dado un texto genera palabras es
- 00:05:50como ese modelo que predice el clima
- 00:05:52Solo que gpt predice palabras o sea
- 00:05:55literalmente te dice Cuál es la palabra
- 00:05:57más probable que va a haber a
- 00:05:59continuación en un texto si lo piensas
- 00:06:01no es muy distinto del autocompletar del
- 00:06:03móvil no sé si habrás probado alguna vez
- 00:06:05que en el móvil hay un sistema que te
- 00:06:07sugiere palabras intentando predecir lo
- 00:06:09próximo que vas a decir Solo que gpt es
- 00:06:12infinitamente mejor haciendo Ese trabajo
- 00:06:14lo hace tan tan bien que parece que
- 00:06:16entienda perfectamente de lo que estás
- 00:06:17hablando y pueda responder prácticamente
- 00:06:19a cualquier cosa de forma coherente Por
- 00:06:21ejemplo tú le dices voy a trabajar en mí
- 00:06:24y gpt te dice proyecto Y si le pides más
- 00:06:27continúa voy a trabajar en mi proyecto
- 00:06:29de investigación en el laboratorio estoy
- 00:06:31encantado de continuar con mi trabajo y
- 00:06:33espero obtener resultados significativos
- 00:06:35voy a trabajar duro y concentrarme en
- 00:06:37las tareas que tengo por hacer para
- 00:06:38avanzar en mi proyecto Wow es un buen
- 00:06:41autocompletado verdad Ahora en el caso
- 00:06:43de chat gpt que es la página web que
- 00:06:45todo el mundo conoce esta página web usa
- 00:06:47la tercera versión de gpt gpt3 como os
- 00:06:50dije antes no aunque le llaman también
- 00:06:52gpt 3.5 porque tiene unas cuantas
- 00:06:54mejoras Pero bueno Eso lo veremos más
- 00:06:56adelante vale Y una de las cosas
- 00:06:58especiales que tiene chat gpt es que
- 00:06:59está especialmente configurada para
- 00:07:01completar respuestas como si
- 00:07:03estuviéramos en un chat o sea es un
- 00:07:04predictor de palabras pero que está
- 00:07:06condicionado para tener en cuenta que
- 00:07:08nuestro texto es una pregunta o la
- 00:07:09intervención de una persona en un chat y
- 00:07:11la respuesta que nos genera lo que nos
- 00:07:13responde chat gpt es la cadena de
- 00:07:15palabras que más probabilidad tienen
- 00:07:17según su sistema de aparecer a
- 00:07:19continuación o sea predice texto que no
- 00:07:21existe pero bueno a nivel técnico la
- 00:07:23diferencia principal entre gpt pelado y
- 00:07:25chat gpt es que gpt completa textos y
- 00:07:28chat gpt pues responde como si
- 00:07:29estuvieras hablando con alguien o sea
- 00:07:30está configurado de esa manera luego
- 00:07:32veremos que hay muchas más diferencias
- 00:07:33vale Pero a eso llegaremos ahora todo
- 00:07:36esto que estoy diciendo Yo entiendo que
- 00:07:37es que es muy raro vale o sea me estás
- 00:07:39diciendo que a un modelo que predice
- 00:07:41palabras le pregunto Cuál fue el
- 00:07:43emperador Romano más malvado de la
- 00:07:44historia y por qué y me está soltando
- 00:07:47que si hay varios candidatos que
- 00:07:48caligula es el más probable me cuenta
- 00:07:50todo lo que ha hecho Y encima me dice
- 00:07:52que es posible que esto no sea fiable
- 00:07:54porque podría ser propaganda que se
- 00:07:55escribió cuando caligula ya estaba
- 00:07:57muerto aquí hay algo que no cuadra
- 00:07:59verdad parece que este autocompletado
- 00:08:01haya cobrado conciencia sobre todo lo
- 00:08:04más impresionante la primera vez que
- 00:08:05usas una Inteligencia artificial de
- 00:08:07estas Y ves todo este pfote tú lo que
- 00:08:09piensas Es que esto lo ha copiado de
- 00:08:11alguna página web y buscas ese texto
- 00:08:13incluso trozos del texto y no lo vas a
- 00:08:15encontrar porque todo esto ha sido
- 00:08:16generado es un texto único chat gpt
- 00:08:19parece que sepa de lo que habla parece
- 00:08:20que nos entienda y que nos conteste algo
- 00:08:22totalmente relacionado con lo que
- 00:08:23estamos diciendo parece capaz de
- 00:08:25desarrollar sus propias ideas analizar
- 00:08:27datos y sacar conclusiones Pero esto es
- 00:08:29totalmente falso no está haciendo nada
- 00:08:31de esto en realidad Está prediciendo
- 00:08:33palabras y poco más la magia aquí es En
- 00:08:35qué se basa para predecir esas palabras
- 00:08:37y vamos a empezar analizando el problema
- 00:08:39juntos para intentar entender la
- 00:08:41magnitud del asunto la programación es
- 00:08:43la forma más tradicional de hablar con
- 00:08:45los ordenadores Pero bueno entiendo que
- 00:08:46no todo el mundo sabe programar Así que
- 00:08:47no voy a poner un ejemplo de
- 00:08:49programación sino que me voy a ir a algo
- 00:08:51que todo el mundo haya hecho alguna vez
- 00:08:52vale el ejemplo más claro de Cómo hablar
- 00:08:55con una máquina es probablemente el de
- 00:08:57usar una calculadora si yo quiero sumar
- 00:08:59tres números entre ellos con una
- 00:09:00calculadora tengo que seguir un orden
- 00:09:02muy preciso de acciones si cometo un
- 00:09:04error Por ejemplo pongo mal un número
- 00:09:05tengo que borrar o Volver a empezar y
- 00:09:08esto es muy importante porque la máquina
- 00:09:10es estricta es muy estricta a la hora de
- 00:09:11recibir los datos de entrada entender
- 00:09:13las operaciones que tiene que hacer y
- 00:09:15esto es muy distinto a cuando hablamos
- 00:09:17con un humano al que por ejemplo le
- 00:09:19podríamos decir Oye eh tío Si tienes un
- 00:09:21momento quiero que sumes TR más 2 Ay no
- 00:09:24perdona eh cuatro y luego que lo
- 00:09:26multipliques por ocho y nada Cuando
- 00:09:27puedas me dices el resultado vale una
- 00:09:29calculadora no puede entender esto
- 00:09:31porque lo estoy diciendo en lenguaje
- 00:09:33natural lenguaje natural que nosotros
- 00:09:35por algún motivo somos capaces de
- 00:09:36entender muy bien o sea de alguna forma
- 00:09:39yo con toda esa frase entiendo que lo
- 00:09:40que quieres hacer es 3 + 4 y luego
- 00:09:43multiplicado por 8 la calculadora
- 00:09:45necesita un input muy concreto expresado
- 00:09:47de una forma muy concisa con unas reglas
- 00:09:49matemáticas para extraer esa información
- 00:09:51mientras que a un humano le puedo dar
- 00:09:53vueltas y decir muchas cosas que
- 00:09:55generalmente me va a entender Bueno pues
- 00:09:57chat gpt resuelve ese problema Mirad si
- 00:10:00le digo toda esta frase a chat gpt
- 00:10:02parece que está entendiendo
- 00:10:03perfectamente lo que le digo Y además me
- 00:10:05calcula la respuesta de forma correcta
- 00:10:08como te he dicho hace un momento esto se
- 00:10:10llama lenguaje natural el lenguaje
- 00:10:12natural es confuso y necesita que lo
- 00:10:13analicemos para poder extraer
- 00:10:15información los humanos Somos
- 00:10:16increíblemente buenos en hacer esto
- 00:10:18entendemos los conceptos clave que se
- 00:10:19nos quieren transmitir e incluso
- 00:10:21planteamos una estrategia para responder
- 00:10:23a esa pregunta será chat gpt consciente
- 00:10:25de esto
- 00:10:27eh Wow chat gpt parece que sabe
- 00:10:30perfectamente de lo que estoy hablando
- 00:10:32esto cada vez es más surrealista verdad
- 00:10:34cuesta de creer que lo único que está
- 00:10:35haciendo esta máquina es calcular las
- 00:10:37palabras más probables que van a
- 00:10:39aparecer a continuación de mi texto Pero
- 00:10:41bueno esto en realidad no son más que
- 00:10:42trucos el truco de la red neuronal
- 00:10:45veréis gpt que es este modelo de
- 00:10:47lenguaje que usa chat gpt como te dije
- 00:10:49hace un momento está basado en redes
- 00:10:51neuronales hemos explicado por encima
- 00:10:53Cómo funcionan las redes neuronales en
- 00:10:55mis vídeos sobre el Deep fake que por
- 00:10:57cierto si te interesa el tema de
- 00:10:58inteligencias artificial y si quieres
- 00:11:00entender Más a fondo este tema te
- 00:11:02recomiendo que los veas vale Te los
- 00:11:03dejaré linkeados abajo en la descripción
- 00:11:05y por aquí seguramente vale Pero de
- 00:11:06todos modos vamos a repasarlo un poquito
- 00:11:08una red neuronal es un programa que está
- 00:11:10diseñado para aprender a hacer tareas
- 00:11:12normalmente cuando los humanos quieren
- 00:11:14hablar con un ordenador y pedirle que
- 00:11:15haga cosas usamos la programación vale Y
- 00:11:18cuando hacemos un programa le decimos a
- 00:11:19la máquina exactamente paso a paso todo
- 00:11:21lo que tiene que hacer como hacíamos de
- 00:11:23hecho con la calculadora cuando estamos
- 00:11:25escribiendo números en una calculadora
- 00:11:26en realidad estamos
- 00:11:29Lo que pasa que es es muy sencilla esa
- 00:11:30programación Pero hay algunas cosas que
- 00:11:32no sabemos muy bien cómo explicarlas
- 00:11:34como por ejemplo reconocer un número
- 00:11:36escrito a mano vale hay como 1000 formas
- 00:11:38de escribir números a mano o reconocer
- 00:11:40un dibujo por muy deformado que esté no
- 00:11:42imagínate un dibujo de un gato Cuántas
- 00:11:44formas hay de dibujar un gato estas son
- 00:11:45tareas que nosotros como humanos sabemos
- 00:11:47hacer de forma fácil pero que cuesta
- 00:11:49mucho explicarle a un programa Cómo
- 00:11:51puede hacer esto paso a paso para todo
- 00:11:53esto que no sabemos cómo programar hemos
- 00:11:55inventado el aprendizaje automático o
- 00:11:58Machine learning y las redes neuronales
- 00:12:00son una de las tecnologías que se usan
- 00:12:02para el aprendizaje automático la idea
- 00:12:04aquí es muy simple La idea es simple la
- 00:12:06implementación es difícil vale Pero la
- 00:12:07idea es simple quiero que la máquina
- 00:12:09haga algo que no sé muy bien cómo se
- 00:12:10hace así que le voy a mostrar ejemplos a
- 00:12:13mi ordenador voy a preparar mi red
- 00:12:15neuronal para que sepa dónde tiene que
- 00:12:16mirar qué puntos son los interesantes de
- 00:12:18estos datos Qué tipo de operaciones
- 00:12:20tiene que hacer con ellos para intentar
- 00:12:22sacar conclusiones o sea le voy a dar
- 00:12:24una estrategia Pero va a ser ella quien
- 00:12:26va a estudiar muchos casos muchísimos
- 00:12:28datos muchísimos casos para intentar
- 00:12:30entender qué es lo que se tiene que
- 00:12:31hacer en cada uno de ellos con estos
- 00:12:33datos básicamente mi red neuronal va
- 00:12:35sacando conclusiones va encontrando
- 00:12:36patrones incluso hay veces que estas
- 00:12:39inteligencias artificiales encuentran
- 00:12:41detalles que nosotros no somos capaces
- 00:12:42de darnos cuenta que están ahí este
- 00:12:44proceso en el que la Inteligencia
- 00:12:46artificial estudia miles y miles de
- 00:12:48casos se llama entrenamiento por ejemplo
- 00:12:50podemos entrenar una Inteligencia
- 00:12:52artificial para reconocer imágenes de
- 00:12:54gatos o números escritos a mano o jugar
- 00:12:56a un juego de mesa un ejemplo de esto
- 00:12:58que ya vimos en el es el del Deep fake
- 00:13:00que son estos vídeos que te mencioné
- 00:13:02hace nada donde entrenábamos una
- 00:13:04Inteligencia artificial para saber cómo
- 00:13:05es mi cara y cómo es la cara de elon
- 00:13:08musk y meter mi cara encima de un vídeo
- 00:13:10de elon musk generando caras mías que se
- 00:13:13pareciesen a las de elon pero que yo
- 00:13:14nunca hubiese puesto vale o sea
- 00:13:16literalmente generaba caras de la nada
- 00:13:17ahora en el caso del lenguaje natural
- 00:13:19que es como te decía antes el que
- 00:13:21hablamos nosotros hay varios problemas
- 00:13:23bastante graves además a la hora de que
- 00:13:25un ordenador nos pueda entender el
- 00:13:27primero es que los ordenadores no van a
- 00:13:30entender nunca los conceptos que
- 00:13:31representan las palabras por ejemplo si
- 00:13:33yo te digo coche tú te imaginas ese
- 00:13:35vehículo de cuatro ruedas hecho de metal
- 00:13:37te has sentado en un coche sabes cómo
- 00:13:39vibra cuando se conduce o si te digo
- 00:13:41árbol te imaginas un ser vivo de
- 00:13:43celulosa el olor de las hojas color
- 00:13:45marrón y verde un ordenador no tiene ni
- 00:13:47idea de que es nada de esto es más los
- 00:13:49ordenadores solo entienden números ceros
- 00:13:52y uno para hacer más concretos esto ya
- 00:13:54lo vimos Por cierto en el vídeo de
- 00:13:55sistema binario y puertas lógicas que
- 00:13:57también te recomiendo que veas para que
- 00:13:58entiendas esta parte un poco mejor y
- 00:14:00bueno en aquel vídeo vimos que incluso
- 00:14:02el texto el audio o el vídeo que estás
- 00:14:04viendo para tu ordenador no son nada más
- 00:14:06que números con los que hace operaciones
- 00:14:08Matemáticas ahora en el caso concreto
- 00:14:10del texto una de las codificaciones que
- 00:14:12más te va a sonar es el código aci
- 00:14:15Aunque hoy en día se usa más el utf8 por
- 00:14:17ejemplo Pero bueno que al final del día
- 00:14:19las letras que tuves en tu ordenador en
- 00:14:20Word en Wikipedia en cualquiera de estos
- 00:14:22sitios en realidad son números que
- 00:14:24identifican esos caracteres y el
- 00:14:26ordenador los trabaja como números
- 00:14:27incluso los espacios los los mismos los
- 00:14:29interrogantes hasta los emojis Por lo
- 00:14:32cual si quisiéramos entrenar una
- 00:14:33Inteligencia artificial para que nos
- 00:14:35entienda y hable con nosotros primero
- 00:14:37que nada Hay que tener en cuenta que
- 00:14:38nuestra red neuronal no va a haber
- 00:14:40frases ni palabras ni poemas sino
- 00:14:43números y únicamente números y ese
- 00:14:45problema no tiene solución vale Así que
- 00:14:47vamos a trabajar con números Sí o sí
- 00:14:49okay dicho esto tenemos por un lado
- 00:14:50redes neuronales que son capaces de
- 00:14:52aprender en base a patrones y por otro
- 00:14:55lado tenemos texto que este texto en
- 00:14:56realidad son pues nuestras frases
- 00:14:58palabras un montón de lenguaje humano
- 00:15:00pero que para el ordenador al final del
- 00:15:02día y es importante este Matiz son
- 00:15:04números vale él no va a ver árboles ni
- 00:15:07casas ni coches ni caras ni personas Va
- 00:15:08a haber números únicamente Así que
- 00:15:10teniendo en cuenta estos dos detalles
- 00:15:12vamos a hacer juntos el ejercicio de
- 00:15:14crear un programa que entienda el
- 00:15:15lenguaje natural vale va a ser un
- 00:15:17ejercicio mental Okay Vale configuramos
- 00:15:20nuestra red neuronal y le pasamos estos
- 00:15:22números lo primero que va a haber Son un
- 00:15:23montón de números hemos dicho que una de
- 00:15:26las habilidades especiales de nuestra
- 00:15:27red neuronal es entrar patrones dentro
- 00:15:30de datos Así que podemos configurarla
- 00:15:32especialmente para que reconozca tantos
- 00:15:34patrones como pueda y si analiza cientos
- 00:15:36y cientas de estas secuencias de números
- 00:15:38acabaría dándose cuenta de que hay
- 00:15:41patrones que se repiten vale cada vez
- 00:15:43que encuentra esta secuencia de números
- 00:15:45entre estos dos otros números es porque
- 00:15:47hay un término A veces lo encuentra con
- 00:15:49este otro número al final pero lo que
- 00:15:51está claro es que este es un patrón que
- 00:15:53se repite y como ese puede haber
- 00:15:55muchísimos otros Esto es lo que nosotros
- 00:15:57conocemos como palabras pero pero para
- 00:15:59esta red neuronal para este ordenador
- 00:16:01son patrones numéricos únicamente de
- 00:16:03todos modos yo creo que aquí el primer
- 00:16:04paso sería catalogarlos tenerlos en
- 00:16:06alguna lista Cosa que cuando nuestro
- 00:16:08programa se los encuentre Pues los pueda
- 00:16:10identificar mira aquí veo este patrón
- 00:16:12aquí veo este otro etcétera etcétera os
- 00:16:14hacéis una idea no a estos patrones les
- 00:16:16vamos a llamar token un token no es
- 00:16:19necesariamente una palabra depende mucho
- 00:16:21de cómo funcione la red neuronal pero no
- 00:16:23es necesariamente una palabra a veces
- 00:16:25hay palabras compuestas o palabras que
- 00:16:27varían bastante pero que tienen una raíz
- 00:16:29común y el ordenador lo que hace es
- 00:16:30separarlas en varios tokens pero bueno
- 00:16:33normalmente un token es una palabra y
- 00:16:35como nuestra máquina ahora conoce los
- 00:16:37tokens una forma de reducir simplificar
- 00:16:40y comprimir esos datos y hacer el
- 00:16:41trabajo más fácil podría ser la de
- 00:16:43cambiar esos patrones de muchos números
- 00:16:45por una serie de tokens numéricos vale
- 00:16:47vamos a asignar un número a cada token y
- 00:16:49vamos a cambiar todas esas secuencias de
- 00:16:51números por tokens y ahora la red
- 00:16:54neuronal pues tendría un número para
- 00:16:55cada palabra en lugar de todo ese lío
- 00:16:58este proceso es uno de los primeros
- 00:16:59pasos que hacen las redes neuronales
- 00:17:01como gpt y se llama tokenización ahora
- 00:17:03la máquina conoce las palabras vale pero
- 00:17:06no sabe qué significan y nunca lo sabrá
- 00:17:08nunca sabrá que esto es una reina ni que
- 00:17:10esto es un coche y Aunque no pueda
- 00:17:12relacionar estos términos con objetos
- 00:17:14del mundo Real Como hacemos nosotros lo
- 00:17:16que sí puede hacer si presta mucha
- 00:17:18atención es saber qué términos están
- 00:17:20relacionados con Cuáles a alguien se le
- 00:17:22ocurrió que podríamos de alguna forma
- 00:17:25poner marcadores en los tokens o sea
- 00:17:27todos estos tokens y poner como
- 00:17:28pequeñas marquitas cuando detectamos que
- 00:17:30dos son similares un poco como jugar al
- 00:17:33cedo no donde vas marcando tus pistas de
- 00:17:35tu investigación Pues aquí podríamos
- 00:17:36decir que la reina suele estar cerca del
- 00:17:38token la igual que la chica o la
- 00:17:40princesa por lo que estas palabras
- 00:17:42tienen un marcador común también se
- 00:17:44relacionan con el token de vestido Por
- 00:17:46lo cual hay algo común Ahí lo vamos a
- 00:17:48marcar también y se relacionan con el
- 00:17:50token de comer igual que los perros y
- 00:17:52los gatos que por cierto estos dos
- 00:17:54también se usan en patrones similares
- 00:17:56junto con otros tokens al igual que
- 00:17:57kaniche o veterinario o pelota Solo que
- 00:18:00la pelota no come vale Y con un texto lo
- 00:18:03suficientemente grande por ejemplo
- 00:18:04cientos de libros podríamos entrenar un
- 00:18:06modelo para crear una gran clasificación
- 00:18:08de términos y distintos patrones
- 00:18:11similares que va encontrando haciendo
- 00:18:12que los tokens sigue sin saber qué son
- 00:18:15vale Pero de alguna forma están
- 00:18:16ordenaditos y clasificados entre ellos
- 00:18:18con estos marcadores para nosotros
- 00:18:20hacernos una idea por ejemplo el
- 00:18:22marcador que tiene princesa reina y
- 00:18:24mujer en común representaría Lo femenino
- 00:18:26vale Aunque realmente para la máquina
- 00:18:28esto no no tiene ningún sentido
- 00:18:29simplemente es un marcador numérico que
- 00:18:30dice Pues mira yo creo que esto está
- 00:18:32relacionado por el contexto que he leído
- 00:18:34de esta forma cada token tendría un gran
- 00:18:36número de marcadores unos 300 Por
- 00:18:38ejemplo que le dicen Cuáles son las
- 00:18:40cosas que tien común con otras palabras
- 00:18:42A ver no es nada fácil hacerse una
- 00:18:44imagen mental de cómo funciona este
- 00:18:45sistema a mí lo que me gusta pensar es
- 00:18:47que cada palabra tiene como su ADN y
- 00:18:49tiene rasgos comunes con otras palabras
- 00:18:51y de esa forma podemos saber que están
- 00:18:52relacionados Pero hay otra forma que a
- 00:18:54mucha gente le funciona para entender
- 00:18:55mejor este sistema y es imaginarlo como
- 00:18:58una nube tridimensional de ideas repito
- 00:19:01en realidad es bastante más complejo
- 00:19:03porque esto en una nube tenemos solo
- 00:19:05tres dimensiones o sea tenemos arriba
- 00:19:06abajo derecha izquierda atrás y adelante
- 00:19:09no tenemos tres dimensiones Pero antes
- 00:19:10hemos dicho que un token puede tener 300
- 00:19:12marcadores 300 marcadores Serían como
- 00:19:14300 dimensiones distintas vale Pero
- 00:19:15bueno vamos a imaginarlo de forma
- 00:19:17tridimensional como podéis ver en esta
- 00:19:19nube tridimensional hay palabras que
- 00:19:21están más cerca de otras y podemos hacer
- 00:19:23operaciones Matemáticas incluso para
- 00:19:24saber cuál es la distancia entre ellas
- 00:19:26Cuáles son las más cercanas Cuáles son
- 00:19:28las más más lejanas y por ejemplo dada
- 00:19:30una palabra o una posición en el espacio
- 00:19:32x Podríamos sacar la lista de palabras o
- 00:19:35posiciones más parecidas más cercanas a
- 00:19:37la que estamos ahora incluso hacer
- 00:19:39operaciones Matemáticas Como por ejemplo
- 00:19:41reina menos mujer igual a Rey esto si lo
- 00:19:44vemos con el ejemplo del ADN estaríamos
- 00:19:46quitando a la reina esas trazas que
- 00:19:48hacen que se identifique con lo femenino
- 00:19:50no le quitaríamos mujer por lo que
- 00:19:52tendríamos un ADN más parecido al del
- 00:19:55Rey si lo imaginamos con el mapa
- 00:19:56espacial estaríamos alejándonos de el
- 00:19:59término mujer para irnos al opuesto y en
- 00:20:01ese sitio en el opuesto pues estaría Rey
- 00:20:02no sería un poco esta la idea este
- 00:20:04sistema de codificación se conoce como
- 00:20:06embedding es un sistema que permite
- 00:20:08agrupar palabras similares e incluso sus
- 00:20:10tendencias en cuanto a significado y
- 00:20:13este mapa tal y como está sin hacer nada
- 00:20:14más ya no sirve para muchas cosas por
- 00:20:16ejemplo en un buscador como Google
- 00:20:18cuando buscas una palabra podrías
- 00:20:19también tener en cuenta pues sinónimos
- 00:20:22palabras similares o por ejemplo para
- 00:20:24saber si una frase es triste o feliz
- 00:20:26podrías buscar Dentro de este beding y
- 00:20:27ver qué otras hay similares ahora si nos
- 00:20:30vamos a ver el sistema de embeddings que
- 00:20:31usa gpt la cosa es mucho más compleja
- 00:20:34como decíamos una palabra como gato
- 00:20:37dentro de gpt estaría representada por
- 00:20:39un token y dentro de los embeddings
- 00:20:40estaría representada con un vector de
- 00:20:42300 dimensiones o sea una lista de 300
- 00:20:45coordenadas distintas o 300 marcadores
- 00:20:48distintos con distintos niveles pero
- 00:20:49luego gpt también recuerda conjuntos de
- 00:20:52tokens o sea frases por ejemplo el gato
- 00:20:55está durmiendo en el sofá es una
- 00:20:56secuencia que está hecha de varios
- 00:20:58tokens y que también estaría clasificada
- 00:21:00dentro de los embeddings o sea estamos
- 00:21:02hablando de que si bien la idea original
- 00:21:04de embedding era palabras y Buscar
- 00:21:07Qué relación tienen entre ellas y crear
- 00:21:09un sistema complejo de etiquetado para
- 00:21:11saber cuáles van para un lado Cuáles van
- 00:21:12para otro y cuáles están relacionadas Y
- 00:21:14qué tanto están relacionadas pues gpt lo
- 00:21:16lleva a otro nivel porque directamente
- 00:21:17coge secuencias de varios tokens o sea
- 00:21:20frases enteras y hace lo mismo o sea
- 00:21:22coge frases y esas frases también las
- 00:21:24organiza dentro del espacio con sus
- 00:21:26respectivas relaciones y con más de 1000
- 00:21:28marcadores para cada frase o sea como
- 00:21:30puedes imaginar es un sistema bastante
- 00:21:31grande y aquí hay un Matiz muy
- 00:21:34importante vale esto es muy clave y es
- 00:21:36el motivo por el que chat gpt parece que
- 00:21:38invente cosas en lugar de copiar textos
- 00:21:40de otras personas aquí es donde está
- 00:21:42toda la chicha vamos a volver a nuestra
- 00:21:44máquina nuestro algoritmo hasta aquí
- 00:21:45habíamos dicho queb a crear este sistema
- 00:21:47de embeddings que es una técnica muy
- 00:21:48común que se usa para relacionar un poco
- 00:21:50el significado entre palabras y bueno
- 00:21:53ahora haciendo nuestra clasificación nos
- 00:21:54damos cuenta de que hay palabras como el
- 00:21:57la como mismo otros Ojalá y términos
- 00:22:02similares que aportan muy poco valor a
- 00:22:04la frase o sea es como que están en
- 00:22:05tierra de nadie se relacionan con todo y
- 00:22:08con nada al mismo tiempo al igual que
- 00:22:10las mayúsculas las minúsculas y otros
- 00:22:12signos de puntuación que a veces pues
- 00:22:14aportan muy poco una frase no la frase
- 00:22:16se entendería igual si esos términos
- 00:22:18genéricos no estuvieran ahí así que de
- 00:22:20ahora en adelante para simplificar
- 00:22:21todavía más el trabajo que todo vaya más
- 00:22:23rápido y que sea más simple también
- 00:22:25relacionar frases pues vamos a limpiar
- 00:22:27los textos antes de meterlos en nuestro
- 00:22:29sistema esto para que te hagas una idea
- 00:22:31es como cuando te limpian el pescado
- 00:22:32vale te quitan las espinas las escamas
- 00:22:34te lo dejan listo para cocinar y que
- 00:22:36cuando te lo comas te lo comas enterito
- 00:22:38esto sería algo muy parecido te voy a
- 00:22:39poner un ejemplo en la frase el gato
- 00:22:41está durmiendo en el sofá hay varias
- 00:22:43palabras que aportan poco por ejemplo n
- 00:22:46y el si las quitamos nos queda gato está
- 00:22:49durmiendo sofá esto también se entiende
- 00:22:51podríamos simplificarla aún más con un
- 00:22:53proceso que se llama lematización o sea
- 00:22:56Convertir las palabras a sus formas más
- 00:22:57sencillas Como por ejemplo los verbos al
- 00:22:59infinitivo gato es dormir sofá y si lo
- 00:23:02simplificamos aún más gato dormir sofá
- 00:23:05es una frase que está comprimida está
- 00:23:07condensada Y esto es muy útil cuando
- 00:23:09entrenamos el modelo porque Qué pasa que
- 00:23:12gpt guardaría esta secuencia dentro del
- 00:23:13sistema de n bedding relacionando esta
- 00:23:15frase con otras frases parecidas usando
- 00:23:18los marcadores pero en lugar de
- 00:23:19una frase que es super lga con un montón
- 00:23:21de palabras pues la reduce a la mínima
- 00:23:23expresión y aquí viene la gran
- 00:23:25revelación todas las frases que dice gpt
- 00:23:28la saca de su sistema de embeddings vale
- 00:23:31todo lo que gpt dice sale de una
- 00:23:34búsqueda dentro de los embeddings Busca
- 00:23:36términos palabras o incluso frases y
- 00:23:38consigue otras frases que son parecidas
- 00:23:40y están relacionadas de alguna forma no
- 00:23:42con esta Este es el gran truco del
- 00:23:44conocimiento y la gran capacidad de chat
- 00:23:46gpt para poder decir cosas relacionadas
- 00:23:48con lo que nosotros estamos diciendo o
- 00:23:50sea literalmente coge nuestras frases
- 00:23:51las analiza las convierte a su sistema
- 00:23:54de embedding y busca en ese espacio de
- 00:23:56embedding qué más nos puede decir
- 00:23:59antes le pregunté por los emperadores
- 00:24:00romanos no por ejemplo y todo lo que me
- 00:24:02dijo pues es una mezcla de varias
- 00:24:03secuencias de tokens que están
- 00:24:05almacenados y relacionados entre ellos
- 00:24:06dentro de su sistema de meding Pero esto
- 00:24:09es solo el principio vale antes hablé de
- 00:24:12normalización y lematización que es este
- 00:24:15proceso en el que limpias el pescado
- 00:24:16simplificas las frases Por decirlo de
- 00:24:18alguna manera quitas todo eso que no
- 00:24:20aporta y comprimes la información usando
- 00:24:22tokens para representar una frase Y esto
- 00:24:24es clave para entender Por qué chat gpt
- 00:24:26genera textos únicos me explico cuando
- 00:24:28chat gpt genera texto hace consultas a
- 00:24:30su embedding y lo que saca son estas
- 00:24:32secuencias de tokens que son frases
- 00:24:34comprimidas y que las tiene que
- 00:24:35convertir en algo aceptable por parte de
- 00:24:37los humanos por eso lo que hace es
- 00:24:39convertir estos tokens en las palabras
- 00:24:41que están más cercanas en la dentro del
- 00:24:43embedding a veces las palabras son
- 00:24:44ligeramente distintas a las que estaban
- 00:24:46en la frase original y sobre todo usa
- 00:24:48nuestras reglas de sintaxis y gramática
- 00:24:50Para volver a poner esas palabras que
- 00:24:52había quitado al principio convirtiendo
- 00:24:54esa secuencia de números en una frase
- 00:24:56que le suene bien a un ser humano Pero
- 00:24:57qué pasa que de la frase original a la
- 00:25:00final ha habido una pérdida de
- 00:25:01información y luego una reconstrucción
- 00:25:03por eso la frase es distinta a la
- 00:25:05original porque es imposible recordar
- 00:25:07exactamente qué es lo que había en la
- 00:25:08frase original Así que se lo inventa y
- 00:25:10pone cosas que a veces son distintas Y
- 00:25:11esto es bueno es muy bueno porque lo que
- 00:25:13hace es que lo que genera chat gpt no se
- 00:25:16parezca al texto original o sea es una
- 00:25:18creación original porque literalmente
- 00:25:20cuando ha guardado esa información ha
- 00:25:22perdido detalles y los ha tenido que
- 00:25:23reconstruir y cuando los ha reconstruido
- 00:25:25pues ha cambiado cosas es muy parecido a
- 00:25:27lo que hacemos nosotros si lo pensáis eh
- 00:25:29si yo ahora te explico algo Y mañana te
- 00:25:30pregunto qué es lo que te he explicado
- 00:25:32Pues tú seguramente tengas una serie de
- 00:25:34ideas que recuerdes de lo que te
- 00:25:35expliqué pero no me vas a recitar
- 00:25:37exactamente las palabras que te dije
- 00:25:38porque no te vas a acordar sino que me
- 00:25:40vas a decir pues con tus propias
- 00:25:41palabras lo que te dije ayer pues es muy
- 00:25:43parecido a lo que hace gpt reduce y
- 00:25:45comprime al significado básico almacena
- 00:25:47y cuando lo tiene que sacar lo
- 00:25:48reconstruye con sus propias palabras por
- 00:25:50decirlo de alguna manera aparte de esto
- 00:25:52gpt usa otra técnica que se llama
- 00:25:54sampling el sampling básicamente permite
- 00:25:57que chat gpt tenga una cierta
- 00:25:58creatividad lo que hace básicamente es
- 00:26:00que el sistema genere un número
- 00:26:02aleatorio que sería el equivalente Pues
- 00:26:04a tirar un dado vale para que te hagas
- 00:26:06una idea de lo que es un número
- 00:26:06aleatorio y en base a ese número
- 00:26:08aleatorio se mueve ligeramente dentro
- 00:26:10del espacio del embedding para un lado o
- 00:26:12para otro y eso le hace pues moverse
- 00:26:14hacia otra frase Y esa frase no va a
- 00:26:16estar demasiado lejos de la original lo
- 00:26:18suficientemente cerca como para que haga
- 00:26:19parte de la misma conversación y sea
- 00:26:21coherente con lo que estamos hablando
- 00:26:23Así es como chat gpt va inventando
- 00:26:25historias que parecen coherentes pero
- 00:26:27que en realidad son combinaciones de
- 00:26:28otras historias que ha leído antes en su
- 00:26:30fase de entrenamiento o sea todo lo que
- 00:26:32dice y todo lo que suelta viene de la
- 00:26:34fase de
- 00:26:35entrenamiento Okay Hemos llegado a un
- 00:26:37checkpoint Vamos a repasar un momento lo
- 00:26:39que hemos hablado hasta aquí tenemos una
- 00:26:40red neuronal que es un ordenador que
- 00:26:42aprende buscando patrones en datos le
- 00:26:44pasamos un montón de números Random que
- 00:26:46representan las letras de nuestros
- 00:26:48textos y millones de textos para que
- 00:26:50pueda estudiarlos y Buscar patrones
- 00:26:51dentro de ellos de ahí la red saca
- 00:26:54varios patrones que son nuestras
- 00:26:55palabras o partes de palabras y crea los
- 00:26:57tokens ahora teniendo estos tokens los
- 00:27:00usa para crearse un mapa mental con
- 00:27:01cientos de parámetros y usa esos
- 00:27:03parámetros para clasificar por cercanía
- 00:27:06de significado a cada uno de los
- 00:27:08términos y luego gracias a esto Pues
- 00:27:10también analiza combinaciones de varios
- 00:27:12tokens que parece que tienen algún
- 00:27:13sentido entre ellos que son nuestras
- 00:27:15frases y también empieza a memorizarlas
- 00:27:17y a relacionarlas entre ellas con más de
- 00:27:191000 parámetros y esto le permite Pues
- 00:27:21saber qué frases tienen cosas en común y
- 00:27:23qué cosas en común tienen no con qué
- 00:27:25términos se relacionan ahora Gracias a
- 00:27:27todo esto cuando nosotros le damos un
- 00:27:28término Como por ejemplo gato gpt puede
- 00:27:31buscar dentro de su embedding la
- 00:27:32posición del término gato y soltarnos
- 00:27:34unas cuantas frases sobre los gatos Como
- 00:27:35por ejemplo que es un gato Eh cuántos
- 00:27:38gatos hay en en el mundo Pero además
- 00:27:40como estas frases están guardadas dentro
- 00:27:42del el embedding de gpt de forma super
- 00:27:44primaria las tiene que reconstruir para
- 00:27:46que suenen como si las hubiese escrito
- 00:27:48un humano y haciendo ese proceso de
- 00:27:50reconstrucción genera frases Originales
- 00:27:53por lo que parece que sepa un montón de
- 00:27:54cosas Y gracias al sampling también
- 00:27:57bailando y soltando frases nuevas que
- 00:27:59quedan bien con las anteriores un buen
- 00:28:00truco
- 00:28:02verdad Pero nos estamos dejando una
- 00:28:04parte muy importante el gran problema
- 00:28:06que ha existido durante mucho tiempo y
- 00:28:08para el que hasta hace muy poco no había
- 00:28:14solución Okay primero que nada recordad
- 00:28:16una cosa las redes neuronales tienen dos
- 00:28:18fases una fase en la que la entrenamos
- 00:28:21para hacer algo y otra fase en la que la
- 00:28:23hace no la primera fase se llama
- 00:28:25entrenamiento la segunda se llama
- 00:28:26inferencia cuando cuando nosotros
- 00:28:28hablamos con chat gpt estamos en fase de
- 00:28:30inferencia vale está intentando adivinar
- 00:28:33cosas y cuando la entrenamos que es
- 00:28:34cuando le pasamos la Wikipedia los
- 00:28:36libros y todo lo que le demos para
- 00:28:37aprender es cuando está aprendiendo y el
- 00:28:39problema que te voy a contar ahora
- 00:28:41afecta a las dos fases tanto la de
- 00:28:42entrenamiento como la de inferencia
- 00:28:44cuando nosotros metemos letras y luego
- 00:28:46tokens en la red neuronal vale como lo
- 00:28:48que el ordenador que veníamos haciendo
- 00:28:50hasta ahora la red neuronal tiene una
- 00:28:51entrada un tamaño x vale recoge esa
- 00:28:53entrada la procesa saca conclusiones y y
- 00:28:56ya está ahí hemos terminado nosotros
- 00:28:58hasta aquí por algún motivo hemos dado
- 00:29:00por hecho que el ordenador puede tragar
- 00:29:02cualquier tipo de frase cualquier tamaño
- 00:29:04da igual como sea cualquier texto Pero
- 00:29:07esto no es así vale Y esto es un
- 00:29:08problema mucho más grande de lo que
- 00:29:09parece la red neuronal no Recuerda lo
- 00:29:12que pasa entre paso y paso cada vez que
- 00:29:14entra algo y Sale pues simplemente se le
- 00:29:16olvida Y esto es un gran problema
- 00:29:18primero que nada para la inferencia no
- 00:29:19cuando nosotros hablamos con la
- 00:29:20inteligencia Y Esperamos que nos genere
- 00:29:22texto hombre pues es bastante importante
- 00:29:24que entienda toda la frase que le
- 00:29:27pasamos da igual cuántas cosas
- 00:29:28mencionemos que esto es algo que gpt
- 00:29:30hace muy bien y no solo eso sino que
- 00:29:32recuerde todo lo que vamos hablando a lo
- 00:29:33largo de la conversación que tenga algún
- 00:29:36tipo de memoria no algo que que le
- 00:29:38permita recordar y lo mismo pasa cuando
- 00:29:40esta red está aprendiendo no si la red
- 00:29:42neuronal está leyendo un artículo de
- 00:29:43Wikipedia Es superimportante que para
- 00:29:45poder clasificar las frases y conceptos
- 00:29:48pues sepa Cuál es el contexto No qué es
- 00:29:50lo que está leyendo de qué va la cosa
- 00:29:52por ejemplo antes hablando con ella pues
- 00:29:54me dijo Hay una posibilidad de que estos
- 00:29:56textos sean propaganda esto lo hizo en
- 00:29:58la fase de inferencia porque estaba
- 00:29:59hablando conmigo vale eso significa que
- 00:30:02durante el entrenamiento en algún
- 00:30:03momento leyó esa frase y sabía de que se
- 00:30:06hablaba no sabía que se hablaba de los
- 00:30:07textos antiguos sobre el emperador
- 00:30:09Romano caligula y sabía todo esto porque
- 00:30:11yo le pregunté quién era el peor
- 00:30:13emperador Romano de la historia no pero
- 00:30:14como puedes imaginar sin todo este
- 00:30:16contexto sería prácticamente imposible
- 00:30:17hilar una conversación con sentido esto
- 00:30:20Ahora nos parece Obvio porque vemos que
- 00:30:22funciona y ya está pero no es tan fácil
- 00:30:24No es tan fácil de conseguir porque como
- 00:30:26te decía antes la red neurona tiene un
- 00:30:28tamaño de entrada que es limitado Así
- 00:30:29que necesito algún tipo de sistema para
- 00:30:31poder tener en cuenta el contexto saber
- 00:30:34de qué estamos hablando recordar esos
- 00:30:35detalles que hacen que la conversación y
- 00:30:37la frase tenga algún tipo de sentido
- 00:30:39hasta hace poco lo que se hacía era usar
- 00:30:41redes neuronales recurrentes Bueno pues
- 00:30:43en la red neuronal recurrente lo que se
- 00:30:45hace Es que a cada vez que se procesa un
- 00:30:47token se guarda una parte del resultado
- 00:30:49y ese resultado lo usa como dato de
- 00:30:51entrada para procesar el siguiente token
- 00:30:53y el siguiente y el siguiente y el
- 00:30:55siguiente y cada vez que pasa por un
- 00:30:57paso va guardando un poquito de
- 00:30:59significado de cada token conseguimos
- 00:31:01más o menos que se mantenga el tema del
- 00:31:02que estamos hablando a lo largo de una
- 00:31:03frase Pero hay dos problemas muy grandes
- 00:31:06con este sistema el primero es que
- 00:31:07después de aquí palabras se empieza a
- 00:31:09olvidar de todo vale o sea llega un
- 00:31:10momento que ya el significado de las
- 00:31:12primeras palabras se pierde y ya no es
- 00:31:14capaz de retenerlo Pero hay un segundo
- 00:31:15problema muy importante y es que todo
- 00:31:17esto es un proceso secuencial o sea
- 00:31:19cuando entrenamos el modelo de lenguaje
- 00:31:21lo hacemos en secuencia un término
- 00:31:23detrás de otro vamos poco a poco y esto
- 00:31:26lo que no se puede es paralelizar Qué
- 00:31:28quiere decir esto que si yo por ejemplo
- 00:31:29quiero meter más ordenadores a procesar
- 00:31:31este texto pues literalmente no podría
- 00:31:33porque para procesar una palabra
- 00:31:34necesito tener en cuenta toda las
- 00:31:36anteriores entonces solo un ordenador
- 00:31:37puede hacer ese trabajo o sea imagínate
- 00:31:39que yo soy la red neuronal invito un
- 00:31:41amigo a que venga aquí a echar una mano
- 00:31:42a procesar todo esto y yo pues estoy ahí
- 00:31:44procesando palabra palabra palabra
- 00:31:47palabra pero para cada palabra que
- 00:31:48proceso tengo en cuenta todas las
- 00:31:50anteriores eso significa que mi amigo
- 00:31:52pues no puede hacer nada o sea nos
- 00:31:53podemos ir turnando si él quiere pero es
- 00:31:55que él no puede ir procesando otras
- 00:31:57porque le falta todas las anteriores Y
- 00:31:59por eso es un problema vale o sea
- 00:32:00entrenar este tipo de redes es bastante
- 00:32:02lento Pero bueno Esto funcionó durante
- 00:32:04bastante tiempo era la forma que
- 00:32:05teníamos para hacer este tipo de Bots
- 00:32:06Aunque luego vinieron otro tipo de redes
- 00:32:08que son las long short term Memory que
- 00:32:11son un poco mejores porque hacen
- 00:32:12prácticamente lo mismo pero deciden en
- 00:32:14cada momento Qué es lo más importante y
- 00:32:16solo olvidan lo menos importante pero
- 00:32:18bueno siguen teniendo el mismo problema
- 00:32:19O sea que a medida que nos alejamos del
- 00:32:21texto antiguo se pierde el contexto
- 00:32:22queda lo más importante pero aún así en
- 00:32:24textos de más de 1000 palabras se
- 00:32:26empieza a perder el significado y además
- 00:32:28eso que el entrenamiento no es
- 00:32:29paralelizado así que el gran problema de
- 00:32:31este tipo de inteligencias artificiales
- 00:32:33hasta ahora era que no podían recordar
- 00:32:35bien de lo que estaban hablando o sea
- 00:32:37igual tenían este en bedding tenían todo
- 00:32:38esto tan Guay Pero dentro de una
- 00:32:41conversación muy larga se iban perdiendo
- 00:32:43y empezaban a divagar y esto también les
- 00:32:45impide desarrollar cosas muy largas
- 00:32:47hacer resúmenes o cualquier tipo de
- 00:32:48tarea que requiera analizar un texto muy
- 00:32:50grande y entender cosas complejas no la
- 00:32:53solución a este problema vino en 2017
- 00:32:55cuando se publicó attention is all
- 00:32:57Unique
- 00:32:58que es un paper de unos investigadores
- 00:33:00de Google donde se planteó una solución
- 00:33:02muy buena a este problema una nueva
- 00:33:04forma de organizar las redes neuronales
- 00:33:06llamada Transformers en los Transformers
- 00:33:08lo que se hace es Añadir una nueva capa
- 00:33:10una capa dedicada a lo que los
- 00:33:12investigadores llamaron atención la
- 00:33:14atención hace referencia a cómo los
- 00:33:16humanos vemos vale nosotros cuando vemos
- 00:33:18cosas vemos un montón de información
- 00:33:20pero solo prestamos atención a ciertos
- 00:33:22objetos mientras que todo el resto pues
- 00:33:23lo ignoramos la idea aquí es que nuestra
- 00:33:26red neuronal haga exacta ente lo mismo
- 00:33:28que analice una gran cantidad de texto
- 00:33:30todo de golpe y lo use para extraer el
- 00:33:33contexto de lo que se está hablando
- 00:33:34prestando atención solo a los detalles
- 00:33:37más importantes para hacer esto cogemos
- 00:33:39una parte de nuestro texto la
- 00:33:41normalizamos la codificamos con nuestros
- 00:33:43tokens y de esos tokens vamos a sacar de
- 00:33:45cada uno los vectores de embedding a
- 00:33:48partir de Aquí vamos a cada uno de
- 00:33:50los vectores y vamos a mirar qué tanto
- 00:33:52se parecen a todo el resto de palabras
- 00:33:54que hay dentro de la frase por ejemplo
- 00:33:56en la frase La vida es bella Así que
- 00:33:58vívela cada día aquí haríamos
- 00:34:00operaciones para saber cuál es la
- 00:34:01relación con cada uno de los términos Y
- 00:34:03de esa forma sabríamos qué conceptos son
- 00:34:05más importantes que otros sabríamos Cuál
- 00:34:08es el contexto de la frase sabríamos que
- 00:34:10cuando hablamos de vivir nos referimos a
- 00:34:12la vida y descartarías esas palabras que
- 00:34:14son menos importantes y aquí la idea es
- 00:34:16que la información sobre estos términos
- 00:34:18relevantes no solo se va enriqueciendo
- 00:34:20sino que también se va manteniendo a lo
- 00:34:21largo de todo el proceso y ese vector de
- 00:34:23atención se usa en el procesamiento de
- 00:34:26cada una de las palabras y esto ayuda
- 00:34:28muchísimo al ordenador no solo a saber
- 00:34:29el contexto de cada una de las frases
- 00:34:31por ejemplo cuando lee el token
- 00:34:32propaganda sabe que se hace referencia a
- 00:34:34las escrituras sobre calígula el
- 00:34:36emperador Romano sino que además sabe el
- 00:34:38significado de palabras Como por ejemplo
- 00:34:40gato no gato para un mecánico Es una
- 00:34:42herramienta pero Generalmente pues es un
- 00:34:44animal que para una persona normal puede
- 00:34:46ser una mascota para un veterinario un
- 00:34:47paciente la atención también es la que
- 00:34:50permite a chat gpt extraer los conceptos
- 00:34:52clave de un texto escrito por nosotros
- 00:34:54saber qué términos tienen más peso Qué
- 00:34:56es lo más importante nuestra pregunta
- 00:34:58incluso hacer un resumen de un texto o
- 00:35:00responder tema por tema a todo lo que le
- 00:35:02hemos dicho Pero además hay un poder muy
- 00:35:04grande en la capa de atención este Esto
- 00:35:05es lo mejor que tiene vale Y es que
- 00:35:07permite paralelizar me explico la
- 00:35:10atención no necesita que las palabras se
- 00:35:12procesen de forma secuencial O sea no
- 00:35:14hace falta ir palabra por palabra una
- 00:35:16detrás de la otra sino que podemos
- 00:35:17todas las palabras al mismo tiempo y
- 00:35:19esto nos permite tener decenas de
- 00:35:20tarjetas gráficas trabajando todas a la
- 00:35:22vez entrenando nuestro modelo de
- 00:35:24lenguaje o incluso generando palabras en
- 00:35:26nuestro modelo de lenguaje Así que el
- 00:35:28entrenamiento es mucho más rápido y
- 00:35:29mucho más eficaz que los tipos que vimos
- 00:35:31antes no que necesitabas ir de forma
- 00:35:33secuencial una tras otra una tras otra
- 00:35:35una tras otra aquí coges todo junto se
- 00:35:37lo metes Y es capaz de procesarlo a la
- 00:35:39vez la idea aquí es que los Transformers
- 00:35:41han sido la gran Revolución la pieza que
- 00:35:43faltaba en el mundo de los generadores
- 00:35:45de texto la capa de atención esa capa de
- 00:35:47atención ha hecho que avancemos en dos o
- 00:35:49tres años muchísimo más de lo que se
- 00:35:51avanzó en toda la década pasada
- 00:35:52posiblemente Google de hecho fue la
- 00:35:54primera en publicar acerca de estos
- 00:35:55Transformers y también en usarlos uno de
- 00:35:58los productos más importantes que
- 00:35:59hicieron basándose en esta tecnología
- 00:36:01fue bert en este artículo de Google
- 00:36:03podéis ver como bert es una gran ayuda a
- 00:36:05la hora de mejorar la precisión de las
- 00:36:07búsquedas en Google por ejemplo no la
- 00:36:09mejora es impresionante porque pasamos
- 00:36:10de que Google busque términos
- 00:36:11relacionados con lo que estamos buscando
- 00:36:13a que entienda perfectamente lo que
- 00:36:15estás diciendo y te dé la solución a tu
- 00:36:16problema Por ejemplo aquí podéis ver que
- 00:36:18se pregunta si en 2019 un viajero
- 00:36:20brasileño necesita visa para ir a los
- 00:36:22Estados Unidos antes de usar este
- 00:36:24sistema te decía que bueno un artículo
- 00:36:26ahí del Washington post que está
- 00:36:28relacionado que tiene esas palabras
- 00:36:29clave y ahora directamente te lleva a la
- 00:36:32página de la embajada donde nos explica
- 00:36:33los requisitos de Los viajeros que
- 00:36:35visitan Estados Unidos con nacionalidad
- 00:36:37brasileña o sea mucho más efectivo más
- 00:36:39al grano y te lleva exactamente a la
- 00:36:41página que Necesitas visitar para para
- 00:36:43resolver este problema no Google inventó
- 00:36:45este sistema Pero Open Ai fueron los que
- 00:36:47decidieron llevar esto al siguiente
- 00:36:49nivel en 2015 Se juntaron varios Titanes
- 00:36:51del sector tecnológico estamos hablando
- 00:36:53de Sam altman que era el director de una
- 00:36:56aceleradora de startup muy importante
- 00:36:58Greg brockman que fue uno de los
- 00:36:59primeros empleados de stripe raid
- 00:37:01Hoffman que es el cofundador de linkedin
- 00:37:03Jessica Livingston que también viene de
- 00:37:04la aceleradora de startups era la
- 00:37:06cofundadora Peter thiel que es el
- 00:37:08cofundador de PayPal y elon musk que
- 00:37:10bueno este no necesita presentaciones
- 00:37:12Bueno pues toda esta gente se juntó Y
- 00:37:13montó una organización que al principio
- 00:37:15era sin ánimo de lucro para llevar la
- 00:37:17Inteligencia artificial al siguiente
- 00:37:19nivel y así es como nació Open Ai uno de
- 00:37:22los proyectos estrella de Open Ai es gpt
- 00:37:24no es el único vale tiene cosas muy
- 00:37:26guapas pero Pero bueno gpt es el del que
- 00:37:28va el vídeo de hoy y la idea aquí es muy
- 00:37:30sencilla dijeron Qué pasaría si
- 00:37:33cogiéramos esta arquitectura de
- 00:37:34Transformers que propuso Google y
- 00:37:36hacemos la red neuronal más grande
- 00:37:38enorme gigantesca jamás creada cada red
- 00:37:41neuronal tiene lo que se conocen como
- 00:37:43parámetros puedes imaginar los
- 00:37:44parámetros como si fueran una serie de
- 00:37:46mandos tiradores perillas pesos y una
- 00:37:49serie de ajustes que se configuran para
- 00:37:51que la máquina funcione de una forma
- 00:37:53concreta las redes neuronales de hecho
- 00:37:55lo que van haciendo a medida que
- 00:37:56aprenden es poco a poco ajustar todos
- 00:37:58estos parámetros para que los resultados
- 00:38:00de salida sean los esperados de la
- 00:38:01máquina vale Y como podrás imaginar
- 00:38:04Cuantos más parámetros tiene una máquina
- 00:38:05en teoría más ajustable es más compleja
- 00:38:08y más flexibilidad tiene y para que
- 00:38:10quede claro no en el caso de las redes
- 00:38:11neuronales no es el usuario quien ajusta
- 00:38:13todo esto no sino que es la máquina que
- 00:38:14va cambiando todo esto para producir un
- 00:38:16resultado x no es como una máquina que
- 00:38:18es capaz de aprender Y el aprendizaje
- 00:38:20consiste en ajustar estos parámetros
- 00:38:21ahora dicho esto este tipo de grandes
- 00:38:23modelos de lenguaje Normalmente se
- 00:38:25entrenan con algunos millones de
- 00:38:26parámetros
- 00:38:27pero como te dije hace un momento Open
- 00:38:29Ai quería llevar esto al siguiente nivel
- 00:38:31así que ya cuando entrenaron a gpt2
- 00:38:33usaron 1,5 miles de millones de
- 00:38:36parámetros y ya para gpt3 que es en la
- 00:38:38que se basa chat gpt usaron 175 miles de
- 00:38:42millones de parámetros una locura total
- 00:38:45y qué usaron para entrenar a esta bestia
- 00:38:47de Transformer con esos 175 miles de
- 00:38:49millones de parámetros bueno Pues
- 00:38:51básicamente le pasaron el common crowd
- 00:38:53que es una base de datos que contiene
- 00:38:55muchísimo contenido de internet extraído
- 00:38:57de textos como blogs y todo tipo de
- 00:38:59páginas web entre el año 2016 y 2019
- 00:39:02luego también usaron webtex 2 que
- 00:39:04básicamente es un un texto muy largo que
- 00:39:07contiene todos los posts de redit con un
- 00:39:10mínimo de karma y todo Su contenido de
- 00:39:11links o sea todos los links de esos post
- 00:39:14también en formato de texto aparte de
- 00:39:16eso usaron una gran biblioteca de libros
- 00:39:18Y por último toda la Wikipedia y en fin
- 00:39:20todos estos textos que son miles y miles
- 00:39:22y miles y miles de tokens los usaron
- 00:39:24para que gpt3 aprenda todo lo que sabe y
- 00:39:27clar Claro entre este contenido hay
- 00:39:28cientos de Consejos conocimiento general
- 00:39:31tablaturas de guitarra código de
- 00:39:33programación de todo tipo y muchas más
- 00:39:35cosas esto es gpt3 señores y chat gpt no
- 00:39:38es el primer producto basado en gpt3
- 00:39:40Open Ai creó a mitad de 2021 una
- 00:39:42variante de gpt3 entrenada con todos los
- 00:39:44repositorios de github que básicamente
- 00:39:46github es una plataforma que ahora la
- 00:39:48compró Microsoft donde la mayoría de
- 00:39:50programadores del mundo guardan su
- 00:39:52código y esta Inteligencia artificial
- 00:39:53Pues básicamente se puso a aprender todo
- 00:39:55el código de github y aprendió programar
- 00:39:58esto lo cogieron y lo sacaron como un
- 00:39:59producto comercial llamado github
- 00:40:01copilot que es una Inteligencia
- 00:40:02artificial capaz de ayudarte a programar
- 00:40:04generando código de todo lo que tú le
- 00:40:06pides directamente desde tu editor O sea
- 00:40:08tú estás en el editor y le dices quiero
- 00:40:09que hagas esto plam y te he genera todo
- 00:40:11el código A veces tienes que cambiar
- 00:40:13alguna cosa ajustar cositas modificar
- 00:40:15Pero toda una Revolución en el mundo de
- 00:40:17la programación ahora chat gpt es lo
- 00:40:20último que han sacado y para crear chat
- 00:40:21gpt han tenido que hacer un poco más de
- 00:40:23trabajo vale chat gpt es una versión
- 00:40:26refinada o fine tuned como se dice en
- 00:40:28inglés de gpt3 lo primero que hicieron
- 00:40:31fue empezando ya desde gpt3 entrenado
- 00:40:33con todo esto que os dije antes
- 00:40:34añadieron más entrenamiento pero esta
- 00:40:36vez en lugar de usar textos de internet
- 00:40:38que quedan libres a la interpretación de
- 00:40:40gpt porque una cosa que no mencioné es
- 00:40:42que gpt es un modelo entrenado de forma
- 00:40:43No supervisada o sea los datos que se le
- 00:40:45pasaron no le decimos que son sino que
- 00:40:48tiene que buscarse la vida vale pero en
- 00:40:50este caso sí que le pasaron un nuevo set
- 00:40:52de datos que sí que está etiquetado cómo
- 00:40:54lo hicieron Bueno pues contrataron un
- 00:40:55grupo de humanos para que generen
- 00:40:56respuesta de chat de alta calidad y
- 00:40:59además pues diciendo que es cada cosa
- 00:41:00Esto se conoce como aprendizaje
- 00:41:02supervisado porque la Inteligencia
- 00:41:03artificial ya sabe Cuáles son las
- 00:41:05conclusiones que tiene que sacar o sea
- 00:41:06tiene que buscar los patrones el Por qué
- 00:41:08esas conclusiones son así pero por lo
- 00:41:09menos ya le decimos Mira esto es esto
- 00:41:12Esto es esto Esto es esto Entonces
- 00:41:13cuando entrenas se centra más en
- 00:41:15entender de Por qué las cosas son como
- 00:41:16son este set de datos especialmente
- 00:41:18hecho para gpt es bastante caro porque
- 00:41:21tienes que pagar a la gente para que se
- 00:41:22dedique a escribir y etiquetar pero es
- 00:41:24muy valioso Porque le da datos de
- 00:41:26altísima calidad al Mod Pero además de
- 00:41:28eso hicieron un segundo paso un proceso
- 00:41:30que se llama reinforcement learning from
- 00:41:32human feedback en español aprendizaje
- 00:41:34reforzado de feedback humano aquí lo que
- 00:41:36hicieron fue hacer que gpt genere cuatro
- 00:41:38posibles respuestas para cada pregunta
- 00:41:40no y luego pusieron a un montón de gente
- 00:41:43ahí a trabajar donde tenían que puntuar
- 00:41:45de mejor a peor cada una de las
- 00:41:47respuestas de esta forma el modelo va
- 00:41:49aprendiendo Cuáles respuestas y cuáles
- 00:41:50caminos son mejores o por lo menos más
- 00:41:52satisfactorios para el ser humano en
- 00:41:54base a todo este trabajo crearon una
- 00:41:56página web donde la respuesta está
- 00:41:58generada por este gpt mejorado y ultr
- 00:42:00tuneado y así es como nace chat gpt por
- 00:42:03todo esto chat gpt es tan bueno haciendo
- 00:42:05lo que hace en pocas palabras una
- 00:42:07startup de Inteligencia artificial cogió
- 00:42:09los Transformers y pensó Oye qué pasaría
- 00:42:11si multiplicamos por 1000 los parámetros
- 00:42:13respecto a lo que está haciendo todo el
- 00:42:15mundo y luego lo entrenamos con todo el
- 00:42:16texto de conocimiento humano que podamos
- 00:42:18tener entre manos y luego lo tuneamos aú
- 00:42:21más para terminar de corregir esas cosas
- 00:42:22que hace mal y luego demás le enseñamos
- 00:42:24qué respuestas son buenas y cuáles son
- 00:42:26malas luego lo metemos en una web y lo
- 00:42:28vendemos qué pasaría Bueno pues lo que
- 00:42:29pasa es chat gpt y cuánto más se puede
- 00:42:32mejorar gpt si le metemos por ejemplo
- 00:42:341000 millones de parámetros O 100
- 00:42:36billones de parámetros Bueno pues eso no
- 00:42:38está claro o sea la tecnología de base
- 00:42:40son los Transformers esta tecnología es
- 00:42:42buena se puede mejorar bastante con
- 00:42:43ajustes manuales guiados por el Humano
- 00:42:46pero posiblemente para que podamos
- 00:42:48competir con el ser humano no va a ser
- 00:42:50suficiente simplemente aumentar estos
- 00:42:51parámetros vamos a tener que mejorar la
- 00:42:53forma en la que aprendemos y analizamos
- 00:42:55los textos ya sea con más capas o con
- 00:42:57otro algoritmo o con otra arquitectura
- 00:42:59pero al ritmo que va esto es cuestión de
- 00:43:01pocos años antes de que descubramos algo
- 00:43:03mejor o quizás no a lo mejor podríamos
- 00:43:05estar delante de un estancamiento no
- 00:43:07todo esto lo dirá el tiempo Pero bueno
- 00:43:09ya veis que con ajustes manuales se
- 00:43:11puede conseguir que gpt haga maravillas
- 00:43:14lo que sí te puedo decir es que entrenar
- 00:43:16una Inteligencia artificial usando 75
- 00:43:18miles de millones de parámetros no es
- 00:43:19algo que puedas hacer en tu casa en una
- 00:43:21tarde simplemente con una tarjeta
- 00:43:23gráfica da igual la Gráfica que tengas
- 00:43:25da igual que tengas un ordenador con
- 00:43:26tres rtx 4090 o sea aún así no podrías
- 00:43:30hacerlo para entrenar a gpt con tantos
- 00:43:32datos y tantísimos parámetros necesitas
- 00:43:35muchísimos ordenadores y mucha Potencia
- 00:43:37de hecho gpt fue entrenado sobre las
- 00:43:39gráficas a 100 de nvidia que son la gama
- 00:43:41más alta y más potente que están pensada
- 00:43:43para cálculo de Inteligencia artificial
- 00:43:45pero no en una ni dos sino que en
- 00:43:46datacenters gigantes de Microsoft Así es
- 00:43:49Microsoft ha puesto su Cloud azure a
- 00:43:52disposición de Open Ai para hacer todo
- 00:43:54este entrenamiento es más Microsoft
- 00:43:55Lleva años aost and por Open Ai y hace
- 00:43:58muy poco ha invertido 10 miles de
- 00:44:00millones de dólares en chat gpt
- 00:44:02recuerdas que hace un momento te hablé
- 00:44:03de github copilot y de cómo gpt entrenó
- 00:44:06con github para aprender sobre
- 00:44:07programación Bueno pues github es de
- 00:44:09Microsoft es más ahora mismo Microsoft
- 00:44:12es propietaria del 4% de Open Ai y no
- 00:44:15solo eso sino que hace unas semanas
- 00:44:16anunciaron algo que nos dejó a todos con
- 00:44:18la boca abierta su buscador Bing Sí ese
- 00:44:21que es competencia de Google que la
- 00:44:23gente usa para buscar Google Chrome y
- 00:44:25descargár selo Bueno pues ahora Bing una
- 00:44:27pestaña que se llama chat esta pestaña
- 00:44:29está en beta y lo que tiene es una
- 00:44:31versión modificada de chat gpt que ahora
- 00:44:33mismo puede buscar en Bing para
- 00:44:35responder a temas de actualidad Claro
- 00:44:37tened en cuenta una cosa como os dije
- 00:44:38antes chat gpt está entrenado en base a
- 00:44:41datos de internet libros y un montón de
- 00:44:43cosas pero su conocimiento se para en
- 00:44:452019 O sea a partir de 2019 no sabe nada
- 00:44:48porque el set de datos que se usó para
- 00:44:49entrenarlo es ese lo que ha hecho Bing
- 00:44:52es muy distinto lo que ha hecho Bing es
- 00:44:53usar chat gbt tal como viene pero meter
- 00:44:56la información extra en tiempo real de
- 00:44:58búsquedas que hace en internet o sea va
- 00:44:59buscando cosas en bink páginas web
- 00:45:01relacionadas con lo que tú estás
- 00:45:02diciendo se las mete para que chat gpt
- 00:45:04las lea las procese y las resuma y luego
- 00:45:06las integre dentro de su respuesta por
- 00:45:08lo cual Bing chat que sería pues este
- 00:45:10chat gpt con acceso a internet puede
- 00:45:13contestar a cosas de actualidad y lo que
- 00:45:14puede hacer la verdad es muy
- 00:45:16impresionante esto ha dejado bastante
- 00:45:18mal a Google que por cierto es la
- 00:45:20empresa más importante del mundo de
- 00:45:21Inteligencia artificial de hecho como te
- 00:45:23dije antes casi todas las tecnologías
- 00:45:25que están detrás de gpt fueron de
- 00:45:26desarrolladas por investigadores de
- 00:45:28Google y esto nos lleva a otra pregunta
- 00:45:30que probablemente te estés haciendo
- 00:45:31ahora mismo Por qué Google o Apple o
- 00:45:34cualquiera de estas empresas grandes
- 00:45:36tecnológicas no ha sacado algo como gpt
- 00:45:38antes Bueno Google y otras empresas
- 00:45:41tienen grandes modelos de lenguaje como
- 00:45:43gpt lo que no tienen es un servicio Como
- 00:45:46chat gpt vale la respuesta de Google a
- 00:45:48Por qué no tienen eso y que además tiene
- 00:45:50todo el sentido del mundo es que no se
- 00:45:51pueden permitir el lujo de sacar algo
- 00:45:53así O sea pensad que estas inteligencias
- 00:45:55artificiales aprenden por su cuenta y es
- 00:45:57bastante difícil controlarlo no gpt por
- 00:45:59ejemplo fue entrenada con millones de
- 00:46:01datos y evidentemente dentro de esos
- 00:46:03datos no se ha revisado todo no se ha
- 00:46:04revisado uno por uno todos los textos
- 00:46:06mensajes etcétera eso significa que
- 00:46:08fácilmente puede dar respuestas racistas
- 00:46:11que te ayuden a cometer crímenes que
- 00:46:12propongan cosas inmorales o directamente
- 00:46:14ilegales esto en chat gpt ha pasado
- 00:46:17desde el principio de hecho y ahora se
- 00:46:19está controlando mucho o sea día a día
- 00:46:20van Ajustando van bloqueando cosas
- 00:46:22frases respuestas lo van cortando por
- 00:46:24todos lados pero al principio era
- 00:46:26bastante heavy y aún aún hoy en día
- 00:46:27salen noticias sobre cosas raras que
- 00:46:30contesta chat gpt y también sobre todo
- 00:46:32Bing eh Bing está bastante salvaje Open
- 00:46:34Ai Por otra parte es una startup ese
- 00:46:36problema no es tan dramático o polémico
- 00:46:38como Sería para Google al final es una
- 00:46:39startup de Inteligencia artificial y
- 00:46:41está para eso para innovar y para hacer
- 00:46:43una tortilla pues hay que romper algunos
- 00:46:44huevos no tienen realmente tantas
- 00:46:46políticas internas ni tanta imagen que
- 00:46:48cuidar ni tanta burocracia a la hora de
- 00:46:50lanzar un producto y por eso pues muchas
- 00:46:51veces vemos Que empresas muy pequeñas
- 00:46:53hacen cosas que otras empresas mucho más
- 00:46:55grandes y que tienen todos los recursos
- 00:46:57para hacerlas pues no las hacen Pero lo
- 00:46:59que sí está claro es que Microsoft se
- 00:47:01está poniendo mucho las pilas y que
- 00:47:03estos últimos años ha mejorado mucho su
- 00:47:05Cloud ha comprado muchas empresas y ha
- 00:47:07puesto mucho esfuerzo en la Inteligencia
- 00:47:09artificial esta Apuesta por Open Ai es
- 00:47:11una Clara señal de que van a por Google
- 00:47:13y todo este tipo de empresas Apple
- 00:47:15Microsoft Google tesla están invirtiendo
- 00:47:18millones en este tipo de tecnologías de
- 00:47:20Inteligencia artificial porque saben que
- 00:47:22el futuro va por ahí todo esto suena muy
- 00:47:24bien pero todavía no estamos en ese
- 00:47:27punto gpt chat gpt Bing chat y todas sus
- 00:47:30variantes aún están un poco lejos de
- 00:47:32poder sustituir un buscador por qué
- 00:47:34bueno Piénsalo de esta manera hemos
- 00:47:36dicho que gpt funciona con conceptos
- 00:47:37relacionados y cosas que le suenan
- 00:47:39internamente que pueden estar
- 00:47:41relacionadas las unas con las otras
- 00:47:42bueno Pues resulta que por culpa de esto
- 00:47:45la información que nos da chat gpt no
- 00:47:47siempre es verdad es cierto que todos
- 00:47:49los mensajes que nos escribe chat gpt
- 00:47:50son verosímiles o sea se parecen a algo
- 00:47:53que es verdad pero no siempre son verdad
- 00:47:55son agrupaciones de cosas que cree que
- 00:47:57tienen sentido que vayan juntas un
- 00:47:59ejemplo es cuando le pedí que me resuma
- 00:48:00un guion sobre la guerra de los chips en
- 00:48:02el que llevamos meses trabajando en el
- 00:48:04que mencionamos por encima en en una
- 00:48:06frase creo que es la crisis de los
- 00:48:07coches no de que por culpa de que no hay
- 00:48:09chips pues la la industria de los coches
- 00:48:11está h perjudicada y cuando me dio el
- 00:48:14resumen se inventó un montón de cosas
- 00:48:15por ejemplo me contó 40,000 cosas sobre
- 00:48:17los coches o sea nada que ver con nada
- 00:48:19de lo que yo decía en el vídeo o por
- 00:48:20ejemplo le pedí que me escriba un guión
- 00:48:22sobre las Team deck y empezó ahí a
- 00:48:24cruzar datos a decir cosas que no son
- 00:48:25ciertas y Lu hace manera porque al final
- 00:48:27lo que está haciendo son consultas
- 00:48:28dentro del eding o sea está mezclando
- 00:48:30conceptos hay cosas que él cree que
- 00:48:32están relacionadas pero que no sabe
- 00:48:34exactamente si están bien relacionadas
- 00:48:36no es infalible y es una gran fuente de
- 00:48:39desinformación a veces Incluso te dice
- 00:48:41lo que quieres oír es más te acuerdas
- 00:48:43que antes Te dije que Google puso la
- 00:48:44excusa de que no podía permitirse el
- 00:48:46lujo de sacar una Inteligencia
- 00:48:47artificial como lo hizo Open Ai bueno
- 00:48:49Pues resulta que hace nada presentaron a
- 00:48:51bard que es la competencia de Google a
- 00:48:53chat gpt y en su primer vídeo
- 00:48:55promocional ya un error dijo que el
- 00:48:57telescopio James web hizo fotos de
- 00:49:00exoplanetas cosa que es mentira esto
- 00:49:03hizo caer en bolsa a Google un 8% que
- 00:49:05básicamente son 100,000 millones de
- 00:49:07dólares por lo cual como podéis ver pues
- 00:49:10es bastante grave un error de es tipo
- 00:49:11Ahora yo lo que creo Es que este tipo de
- 00:49:13problemas no son tan fáciles de arreglar
- 00:49:15eh o sea tal y como funcionan los
- 00:49:17Transformers si piensas en todo lo que
- 00:49:19hemos visto Este vídeo Es normal que la
- 00:49:21información no sea exacta porque el
- 00:49:22sistema no es exacto no es una forma
- 00:49:24suficiente de guardar información
- 00:49:26consultarla y recibirla sino que es eso
- 00:49:29texto que parece verdad básicamente lo
- 00:49:31que necesitamos ahora mismo Son un
- 00:49:33montón de parches humanos que corrigen
- 00:49:35cosas que cierran cosas que le impiden
- 00:49:37hacer cosas tirar por ciertos caminos y
- 00:49:39esto no es escalable y no es por ser
- 00:49:40agua fiestas Pero puede ser que pasen
- 00:49:42varios años antes de que se pueda
- 00:49:43solucionar este problema en cualquier
- 00:49:45caso lo que está claro es que estamos
- 00:49:46delante de una guerra una guerra entre
- 00:49:49tecnológicas una guerra que va a ganar
- 00:49:51la primera que sea capaz de dominar el
- 00:49:52juego de las inteligencias artificiales
- 00:49:54sobre todo los buscadores semánticos y
- 00:49:56el uso de internet ese día va a llegar
- 00:49:59Qué tan lejos estamos Bueno pues el
- 00:50:00tiempo nos lo dirá de momento yo te
- 00:50:02animo a que pruebes chat gpt vale
- 00:50:04regístrate úsalo para tu trabajo úsalo
- 00:50:07para lo que quieras pero no te fíes de
- 00:50:09la información porque podría estar mal y
- 00:50:11con esto Me despido Espero que te haya
- 00:50:14gustado este vídeo que hayas entendido
- 00:50:16un poco de qué va este tema de dónde
- 00:50:18sale esa información cómo puede existir
- 00:50:19este tipo de Inteligencia artificial que
- 00:50:21parece brujería y si te ha gustado este
- 00:50:23vídeo y quieres ver más como este te
- 00:50:24recomiendo que te suscribas a este canal
- 00:50:26me dejes una manito para arriba y nos
- 00:50:28vemos en el próximo
- 00:50:32[Música]
- inteligencia artificial
- ChatGPT
- GPT-3
- transformadores
- uso del lenguaje
- técnicas de IA
- evolución tecnológica
- programación
- machine learning
- creatividad