AGI en 10 años y paciencia con los agentes. Llegó Karpathy y mandó parar

Lo mejor de nuestro últimos episodios y una entrevista especial

Hola a todos los que estáis suscritos a través de la lista de correo.

Antes de nada, recordemos algunos de los grandes temas que hemos tratado en el podcast:

Promo; el evento al que iríamos si estuviéramos en Barcelona

SAP Business Suite Innovation Day

¿Quieres descubrir cómo la inteligencia artificial puede ayudar a tu empresa a trabajar de forma más eficiente y competitiva?

El próximo 30 de octubre, en La Llotja de Mar (Barcelona), SAP celebra el Business Suite Innovation Day, un encuentro donde la IA, los negocios y la tecnología se dan cita.

Durante la jornada podrás asistir a ponencias de expertos como el gran Javier Ideami, conocer casos reales de empresas líderes y explorar soluciones concretas.

Un evento gratuito y diseñado para profesionales que quieren entender cómo aplicar la innovación de manera práctica en su organización.

Inscríbete y descubre el potencial real de la inteligencia artificial en tu negocio. Plazas limitadas.

La batalla de la inteligencia artificial empieza a librarse en los dispositivos: las nuevas Meta Ray-Ban dan para un análisis minucioso y muchos debates.

OpenAI está muy en forma con lanzamientos en este trimestre. Está Sora 2, desde luego, pero también Pulse y sus nuevas compras integradas. Si sumamos la integración de aplicaciones en ChatGPT, tenemos notables avances en la capa de aplicación.

También hemos traído a un experto como Natzir Turrado en SEO y en GEO: posicionar en un LLM es el nuevo posicionar en los resultados de Google.

Llegó Karpathy y mandó parar

Pero sobre todo hoy llegamos con una entrevista que resulta muy oportuna para iluminar el estado actual de la inteligencia artificial.

Andrej Karpathy, cofundador de OpenAI y exdirector de AutoPilot Vision en Tesla, conversa con Dwarkesh Patel (en inglés, con subtítulos; hay transcripción) y nos ha dejado muchos comentarios interesantes.

La entrevista comienza con la afirmación de Andrej de que es más probable que “el año de los agentes” dure una década. Para explicar esta postura da su propia definición de agente de inteligencia artificial:

Cuando hablamos de un agente —o de lo que los laboratorios tienen en mente, y quizá también lo que yo tengo en mente— deberías imaginarlo casi como un empleado o un becario al que contratarías para trabajar contigo. Por ejemplo, tú trabajas con algunos empleados aquí. ¿Cuándo preferirías que un agente como Claude o Codex hiciera ese trabajo?*

Por ahora, claro está, no pueden hacerlo. ¿Qué haría falta para que pudieran hacerlo? ¿Por qué no lo haces hoy? La razón por la que no lo haces hoy es porque simplemente no funcionan. No tienen suficiente inteligencia, no son lo bastante multimodales, no pueden usar un ordenador ni hacer todo ese tipo de cosas.

No hacen muchas de las cosas a las que aludías antes. No tienen aprendizaje continuo; no puedes simplemente decirles algo y que lo recuerden. Les falta capacidad cognitiva, y sencillamente no funciona. Hará falta alrededor de una década para resolver todos esos problemas.

Relacionado algo que hemos debatido sobre los agentes en su planteamiento:

Los agentes inteligentes ya están aquí, la pregunta es si tienen los pies de barro

A 10 años de la AGI

Esto es muy relevante porque Karpathy define la AGI no como un momento concreto, sino como el punto en que los agentes de IA puedan actuar como un empleado o becario al que puedas confiar tareas complejas.

Su tesis es que los problemas son tratables pero difíciles, y por su experiencia estima que resolverlos llevará aproximadamente una década. Añade que la AGI se “diluirá” en el crecimiento económico continuo —no será una explosión repentina, sino una integración progresiva en la economía y la productividad.

Los LLM para código software

Por un lado, sostiene que

"Hay un punto interesante aquí. Creo que la programación es la primera tarea perfecta para estos LLMs y agentes. Esto se debe a que la programación siempre ha funcionado fundamentalmente en torno al texto.Son terminales de ordenador y texto, y todo se basa en texto.
Los LLMs, tal como se entrenan en Internet, adoran el texto. Son procesadores de texto perfectos, y hay una enorme cantidad de datos disponibles. Es un encaje perfecto.”

Pero también Dwarkesh preguntó a Andrej por este tuit en el que decía que Claude Code y Codex CLI “no funcionaban lo bastante bien, en absoluto, y resultaban netamente inútiles” para su proyecto nanochat. La respuesta

[…] Los agentes son bastante buenos, por ejemplo, cuando se trata de tareas rutinarias. Código repetitivo, de boilerplate, que básicamente es copiar y pegar: en eso son muy buenos. También son muy competentes en tareas que aparecen con mucha frecuencia en Internet, porque hay muchos ejemplos de ellas en los conjuntos de entrenamiento de estos modelos. Hay ciertos tipos de cosas en los que los modelos funcionan realmente bien.

Yo diría que nanochat no es un ejemplo de eso, porque es un repositorio bastante singular. No hay tanto código en la forma en que lo he estructurado. No es código repetitivo; es código intelectualmente exigente, y todo tiene que estar dispuesto con mucha precisión. Los modelos presentan demasiados déficits cognitivos. Por ejemplo, seguían malinterpretando el código porque conservan demasiada “memoria” de las formas típicas de hacer las cosas en Internet, y yo simplemente no estaba utilizando esas formas.

Siento que la industria… está dando un salto demasiado grande y tratando de fingir que esto —los agentes de programación con IA— es algo asombroso. Y no lo es, ¡es basura! Y creo que no están siendo honestos al respecto. Quizá estén intentando recaudar fondos o algo por el estilo, no sé muy bien qué está pasando.

También explica su visión de lo que estamos creando, “Los cerebros surgieron de un proceso completamente distinto, y soy muy reacio a inspirarme en él porque, en realidad, no estamos replicando ese proceso. En mi artículo decía que no estamos construyendo animales. Estamos construyendo fantasmas o espíritus, o como quiera llamárseles, porque no entrenamos mediante evolución, sino mediante la imitación de los humanos y los datos que han volcado en Internet.”