- Cuarzo.dev
- Posts
- 💎 ¿Cómo se ha entrenado a ChatGPT?
💎 ¿Cómo se ha entrenado a ChatGPT?
Alternativa opensource a firebase, concurso de fotografia por IA, etc.
¡Feliz jueves!
¡Hoy traemos varias cosas relacionadas con la tecnología de ChatGPT!
En el correo de hoy:
🤖 ¿Cómo se ha entrenado a ChatGPT?
🖼️ Concurso de Fotografía de Inteligencia Artificial
📹 Aprende a integrar la API de OpenAI en NodeJS
Andrej Karpathy, uno de los fundadores de OpenAI, ofreció una charla sobre cómo se entrenó ChatGPT.
El entrenamiento puede dividirse en cuatro etapas:
Pretraining (pre-entrenamiento)
Supervised Fine Tuning (afinamiento supervisado)
Reward Modeling (modelado de recompensas)
Reinforcement Learning (aprendizaje por refuerzo)
En el pretraining , se crea un modelo de lenguaje grande base, entrenado para predecir el próximo token dado una serie de tokens. El modelo base de ChatGPT es GPT3.
El pretraining es el paso más costoso y representa el 99% del tiempo total de computación necesario.
En el Supervised Fine Tuning (SFT), se utiliza un conjunto de datos de alta calidad pero de baja cantidad. Se crean indicaciones y respuestas manualmente por humanos.
En el Reward Modeling, el modelo SFT genera múltiples respuestas a un indicador determinado, y un humano clasifica estas respuestas según su calidad.
Con el Reinforcement Learning, se generan respuestas para una gran cantidad de indicaciones y estas respuestas son calificadas por el Reward Modeling.
Si quieres profundizar más sobre el tema te recomiendo que veas el vídeo de la charla que por Andrej Karpathy explicando como se ha entrenado a GPT.
Recursos interesantes
😀 Ray.so es una herramienta para crear fantásticas imágenes de code snippets de forma rápida y sencilla. Tiene soporte para muchos lenguajes de programación y puedes personlizar colores, tamaños, etc.
🟩 Supabase es una alternativa open source de Firebase que usa Postgres y apenas tiene configuración. Además tiene una opción de bases de datos de vectores, muy usadas ahora en esto de la IA.
📎 Clipdrop es una herramienta lanzada por Stability.ai con la cual puedes editar imágenes de forma increíble. Rellenar partes de la imagen, remplazar fondos, etc.
Un botón de Toogle que es pulsado automáticamente por una mano robótica. En SVG, CSS y JavaScript.  Efecto de olas y agua sobre las letras. Sólo CSS.  Fuente Kablammo animada modificando la propiedad MORF de la misma, con CSS.  | Maravilloso loader creado con CSS usando Less y HTML de búsqueda de contactos. No se usa nada de JavaScript.  Editar contenido sin necesidad de JavaScript.  Layout minimalista para poemas en HTML y CSS usando el preprocesador de CSS: SASS.  |
Álbum Lo-Fi
Música preparada para escuchar mientras estas programando, estudiando o trabajando:
ArteSOSlidario organiza cada año un concurso de fotografía.
Este año ofrecen una categoría para fotografías basadas en IA.
Todos los beneficios que se saquen del concurso de este año irán destinados a Cruz Roja y sus proyectos para el acompañamiento y la integración de las personas desplazadas por la Guerra de Ucrania.
Tienes hasta el 26 de junio de 2023 para enviar tus imágenes.
Toda la información sobre el concurso la puedes encontrar en la web de ArteSOSlidario.
Dato curioso: Kiko Palomares es socio fundador de ArteSOSlidario desde hace más de 10 años.
Vídeo destacado
Si quieres comenzar a integrar la API de OpenAI en tus proyectos aquí tienes el vídeo perfecto para saber como hacerlo:
¡Eso es todo por ahora!
Si quieres contarnos algo, dejarnos un comentario, compartir tus ideas o proyectos interesantes, tan sólo tienes que contestar este email o mándanos un DM en Twitter: @CuarzoDev & @kikopalomares.
Gracias por leernos y te esperamos en el próximo correo.
¿Qué te ha parecido el correo de hoy?Ayúdanos a mejorar con tu opinión. |
¿Te reenviaron este correo? Regístrate aquí para recibirlos directamente
Reply