Archivo de la Categoría ‘Machine learning’

La aparente y probablemente falaz extrema productividad de la IA Generativa

Adolfo Plasencia, 28 de agosto 2023

 

Nuestra tendencia a antropoformizar todo aquello que llaman “IA”, aunque sea machine learning,  como los LLM, se cumple con el Chat GPT. Las imágenes para representar lo que es un puro software también lo demuestran. Esta imagen es de Wikipedia.

Vivimos en un mundo digitalmente globalizado en el que cada uno de nosotros se ha de enfrentar a una magnitud total de información mucho mayor de la que su mente puede metabolizar con nuestra propia capacidad de pensamiento. En ello se da una paradoja. Un cerebro humano consume 20 vatios/hora. Y mucha gente ahora mismo interactúa con el Chat GPT se asombra por las repuesta que ‘escupe’ (en inglés, se dice así porque el modelo de software no redacta ni escribe). Pero ni se plantea que cantidad de energía se consume en ello, aunque muchos investigadores presentían que “El consumo energético de ChatGPT debe ser brutal“. Pero ya hay quien lo han estado calculando. Comparemos y veremos la paradoja. Frente a los 20 vatios del consumo de energía un cerebro humano en acción plena, una sola sesión de diálogo con Chat GPT consume, según el Carbon Tracker de la Universidad de Copenhague el equivalente al consumo de 126 hogares daneses en un año. Ese gran consumo de energía es causado por el enorme hardware que tiene detrás (se necesitan 28.936 GPUs Nvidia A100 para dar servicio a ChatGPT).

El investigador danés Kasper G. A. Ludvigsen, teniendo el cuenta la estructura de su hardware, ha calculado que, con 28.936 GPU, el consumo total es electricidad de 5.787,2 KW. Así que un periodo de 30 días, el consumo eléctrico de ChatGPT sería de 4.166.784 KWh, o sea ¡más de 4 millones de Kilovatios / hora! Esto supone el Chat GPT tiene un consumo eléctrico de 5.787,2 Kilovatios cada hora. Y, además las cifras emisiones de CO2 que produce van en paralelo a ello. Algo que es manifiestamente insostenible para los resultados obtenidos. Pero, además, con ese consumo el Chat GPT, no genera pensamiento como hacer el cerebro humano; simplemente calcula estadísticamente la palabra siguiente a la actual y así sucesivamente, como un software auto-completador. Pura espectacularidad y apariencia ligada a un Efecto Eliza generalizado.

El mundo financiero especulador, que tiempo ha ignora las advertencias de los científicos sobre el cambio climático, siguió ‘a su bola’ extremando sus apuestas en la carrera de la IA, y también ignorando, no solo en lo relativo a las certezas sobre la tecnología IA, sino aumentando y acelerando sus apuestas especulativas asociándose a empresas dopadas con millonarias inversiones en montaña rusa, que también ignoraban y/o ocultaban los riesgos inherentes a las tecnologías que, obcecadamente, etiquetaban con “IA” todos sus discursos, y también los ‘papers científicos‘ relacionados que usaban interesadamente. Y ocultando, al tiempo, además la verdadera naturaleza de la tecnología de los LLM (Large Language Model) y de sus Transformers. Que, literalmente, describe así Wikipedia: “un transformador es un modelo de aprendizaje profundo que adopta el mecanismo de auto-atención, ponderando diferencialmente la importancia de cada parte de los datos de entrada (que incluye la salida recursiva). Se utiliza principalmente en los campos del procesamiento del lenguaje natural”.

Ni diez ni cien millones de artículos como este, podrían contener todos los textos sobre las llamadas IA Generativas que se han publicado desde el 4 de diciembre, día de la apertura al acceso del público del ChatGPT por la antes empresa non-profit OpenAI  ¿Qué que son esas IA? pues redes neuronales artificiales generativas que utilizan un enfoque llamado aprendizaje profundo (deep learning), que permite que la “IA”, es decir, su inmensa estadística bayesiana interna, “aprenda” de los datos de manera automática. O sea, unas mal llamadas IA que pueden analizar inmensas cantidades de datos y encontrar patrones y relaciones que de otra manera serían difíciles de detectar, según la premisa previa no demostrada aún, de que dicho mecanismo permitirá a los Transformers y LLM producir, –supuestamente– “materiales originales” a partir de los datos de su entrenamiento, que sí han sido creación de humanos (y usados para ello sin pedirles permiso). Como dijo un profesor del MIT, que no quiere dar su nombre: “solo son una ‘proeza estadística’.

Los anuncios hiperbólicos de la explosiva industria IA

Según el profesor y analista islandés Baldur Bjarnason, autor del libro “The Intelligence Illusion“, los proveedores de software de IA tienen ahora en sus enormes incentivos económicos razones de peso para exagerar las capacidades de sus herramientas y hacer que sean difíciles de refutar. Esto socava los intentos de rigor científico sobre ellas. Además, es importante ser escéptico ante las afirmaciones de los proveedores de IA porque el sector de esta nueva industria informática es propenso a los anuncios hiperbólicos. Los vendedores de sistemas de IA tienden a hacer promesas que no podrán cumplir. Muchos de ellos, históricamente, ni siquiera han sido tecnología de ‘verdadera IA’. Pero ahora la etiqueta “AI” ya forma parte del mainstream y, como compartí hace poco con un apreciado humanista amigo, ya es completamente inútil intentar desmentir que eso no es lo que dicen que es, sino otra cosa. Incluso la Comisión Federal de Comercio de EE.UU. se ha visto en la necesidad de recordar a la gente que las afirmaciones sobre capacidades mágicas de la IA deben basarse en hechos.

Un campo tan prometedor -e hiperbólico-, como la IA tiende a atraer a entusiastas verdaderos creyentes de la “IA”, por lo que no son tan críticos con la información como deberían. Igual que a muchos usuarios les asombra lo que ‘escupe’ el Chat GPT, a las empresas de IA les encantan las apariencias científicas, y publican “estudios” escritos y presentados con aspecto de artículos sometidos a revisión por pares. Pero a menudo, estos “artículos” se suben a sus propios sitios web o se vuelcan en repositorios de archivos como Arxiv, sin revisión por pares ni proceso académico.

Según Bjarnason, que ha escrito una guía práctica sobre los riesgos empresariales de la IA Generativa, la mayor parte de la retórica de las empresas de IA, especialmente cuando evocan a la Inteligencia Artificial General (IAG), se basa en un tono de evidencia solemne, en lugar de pruebas reales. En muchos casos, adoptan los modales de la ciencia sin ninguna revisión por pares ni metodología falsable. Y advierte que, creer a pies juntillas el gran ‘bombo’ publicitario de la industria de la IA puede causar daños reales, sobre todo a las empresas, pero también a las personas vulnerables, como ocurre con la algorítmica de las plataformas de redes sociales.

Por supuesto, –afirma–, lo que está pasando con el hype de los GPT-n da un poco de miedo. Pero no da miedo porque el más nuevo, el GPT-4, sea inteligente. Da miedo porque no lo es. Conectar un sistema de lenguaje irreflexivo y no determinista, potencialmente, en una máquina mal protegida a una variedad de servicios en Internet, da miedo de la misma manera que la idea sobre las consecuencias de dejar que un generador de números aleatorios controle el termostato de tu casa, durante una ola de frío de –50° de las que se producen una vez cada siglo. Que pueda matarte con ello no significa que el generador de números sea consciente de sí mismo.

Se está publicando tantísimo sobre la AI, que en un mundo de la comunicación tan hiperventilado como el actual, además de evangelistas y ‘forofos’ de las promesas de la IA, también proliferan críticos radicales, catastrofistas y negacionistas de la IA que han generado un nuevo género de condenas de la tecnología que, en el argot, se llama la “criti-hype” de la AI. Son gente que parte de la base de que los modelos de software son, al menos, tan buenos como afirman sus vendedores, o incluso mejores. Así que caen en su propia trampa y extrapolan desastres de ciencia ficción a partir de exageradas fantasías del marketing hiper-interesado.

Promesas a las empresas de productividad y beneficios económicos exponenciales

El hype o subidón causado por el entusiasmo global pro-IA, no solo se aceleró, sino que causó, sobrealimentado por las redes sociales y twitter (casualmente propiedad hoy de Elon Musk, que dejo Open AI como co-fundador y gran accionista en 2019 por discrepancias con su CEO), una explosión nuclear de opinión publica a cuya onda expansiva se sumaron irracionalmente todos grandes los medios ‘FactCheck’ de comunicación del mundo. La mismísima agencia Reuters publicó el 15 de diciembre solo once días después del lanzamiento que “las proyecciones dicen que OpenAI gane mil millones de dólares en ingresos para 2024.”

Fortune publicaba un poco después que: “En enero de 2023, OpenAI estaba valorada en 29 mil millones de dólares. Eso la convierte en la sexta compañía más valiosa de los Estados Unidos”. O sea que Open AI en mes y medio ya no valía como un unicornio sino como 29 unicornios (empresas que el mundo financiero valora en mil millones de dólares). Reuters se sumó, anunciando el 10 de enero la intención de Microsoft de invertir 10.000 millones de dólares en Open AI. Sí, en aquella pequeña startup ex non-profit de 164 empleados que lanzó el 4 de diciembre el Chat GPT.

Si el objetivo de algunos con Open AI era provocar un enorme seísmo alcista en las bolsas, estaba conseguido. Pero pronto empezaron los efectos secundarios. Tal como conté en estas páginas, la onda expansiva provoco de inmediato una alerta por ‘código rojo’ reputacional en Google. Y no solo eso. El 8 de febrero, dos meses después, con las prisas, Google presentó precipitadamente Bard su nuevo chatbot de IA para competir con Chat GPT (OpenAI/Microsoft). Pero, inopinadamente, Bard mintió descaradamente en preguntas clave en su propia puesta de largo. Según Forbes, Google pretendía en la presentación anunciar que iba a integrar su chatbot de IA rival de ChatGPT en su motor de búsqueda Bing y otros productos pero, el resultado fue un fiasco de grandes proporciones: las acciones de Google cayeron un 7,68% hasta  99,40 dólares, perdiendo más de 100.000 millones de dólares en valor de mercado en los siguientes minutos a dicha presentación (cosas de la high-frequency trading.HFT).

Pero ¿cual era el objetivo en realidad de este hype de los lanzamientos de la IA Generativa con GPT-3 y sus colegas Dall-E, Stable difusión, PalmM y todo el enorme y diverso rebaño de Transformers? Resulta que casi todas las grandes tecnologías estaban trabajando discretamente en su propio LLM, o GPT para posicionarse en la inminente batalla de la IA. Y este tipo de tecnologías de grandes Modelos de Lenguaje ya los estaban utilizando tiempo ha muchas empresas, empezando por grandes medios de comunicación que publicaban informaciones ‘escupidas’, que no redactadas, por un MML o un GPT y sin informar al lector.

Como ya relaté en estas mismas páginas, desde el Washington Post (propiedad de Jeff Bezos) o The Associated Press, hasta South China Morning Post todos lo hacían presumiendo, cara a sus accionistas, del enorme aumento de productividad en su ‘maquinaria’ de noticias. Es decir, enfatizando que la automatización de tareas intelectuales que se puede realizar con esta tecnología, genera un enorme aumento de productividad. Verbigracia para iniciados: se pueden eliminar empleos y conseguir enormes ahorros de costes en las grandes empresas de la maquinaria de grandes medios de noticias. Con ello, sembrada quedaba la semilla que pronto iba a explotar, de que esta tecnología nos va a quitar los empleos basados en el uso del lenguaje y el conocimiento. Pero el incidente de Google con su Bard demostró en la primera prueba, -a un precio de un fiasco instantáneo de 100.000 millones de valoración de empresa–, que los textos que ‘escupen’ los GPT, no son en absoluto de fiar. Veremos que dicen en breve los conspicuos guardianes de fiabilidad de la información financiera oficial. Así que, esas expectativas de extrema productividad pueden acabar, de la misma manera que las certezas del Chat GPT, siendo una dolorosa falacia.

Pero además del fiasco de Bard, Google ya suma otros dos no menos ‘dolorosos’ relación a la AI. Ya cerró en abril de 2019 el Comité de Ética de Inteligencia Artificial apenas una semana después anunciar su creación, y que había abierto la empresa solo unos días antes ¿Es la ética un desafío demasiado grande para Google?, me preguntaba yo en una columna en aquel momento, abril de 2019. Bien, pues hace poco, en mayo de 2023 ha estallado un tercer fiasco: el ‘padrino de la IA’, el prestigioso y pionero Geoffrey Hinton, que fue contratado por la empresa al fijarse en la calidad de su trabajo seminal en redes neurales, acaba de dimitir y abandonar Google, donde llevaba trabajando 10 años, declarando a la CBS que teme los riesgos de este tipo de AI que está desarrollando ahora la industria tecnológica y que “se arrepiente de su trabajo anterior”. Y ha añadido a un periodista del NYT: “Me consuelo con la escusa normal: si yo no lo hubiera hecho, otro la habría hecho. Pero es difícil anticipar cómo se puede evitar que malos actores usen esta poderosa tecnología para malas cosas”.

Además, están publicándose, para darle visos de seriedad al asunto, cifras sobre extrema la productividad de las aplicaciones IA en investigaciones científicas o medicina, para mostrar, de nuevo comparadas las grandes diferencias con el procesado humano de grandes cantidades de datos médicos, y su utilidad. Es verdad que esta tecnología es capaz de encontrar patrones y relaciones que de otra manera serían difíciles de detectar. Ya lo demostraron los modelos algorítmicos de las llamadas scientist machines hace varios años que son capaces de destilar las leyes de la física a partir de datos en bruto. Es la nueva “física GoPro”, en la que una ‘cámara’ de IA puede apuntar a un evento y un algoritmo puede encontrar la ecuación física subyacente.

Uno ejemplo espectacular es que uno de ellos entrenándolo con datos de masas y planetas y órbitas del sistema solar fue capaz de llegar a ‘escupir’ (depurar, según el equipo científico) finalmente la fórmula de la gravedad de Newton sin pasar por los logros de científicos anteriores los antiguos gigantes a cuyos hombros de subió el físico para otear como Kepler Galileo y otros. ¿Cómo llegó a ella el Modelo? No se sabe ni se ha podido averiguar. Ni siquiera lo han conseguido saber los que desarrollaron aquel software, que en pruncipio estaba pensado para otra cosa. Probablemente, porque los LLM y los GPT son complejísimas cajas negras cuyo interior es indescifrable, incluso para los mismos que las desarrollan. Y eso pasa hasta hoy.

Alguien debió pensar, al parecer, que aumentando el tamaño ya inmenso de estas gigantescas e indescifrables cajas negras se llegaría a una masa critica de interacción de los algoritmos, de la que, a partir de una cierta magnitud crítica, tal vez de ella podría emerger algún comportamiento ‘inteligente’ demostrable. Por eso, parece, se aumentaron en varios ordenes de magnitud todas las dimensiones de los Modelos hasta llegar a las de GPT-4.

Pero, como tal vez no estaban muy seguros de los posibles riesgos de GPT-4 (y como reconociendo que las tenían control sobre los resultados), Open IA contrató hace más de seis meses a un equipo diverso de destacados científicos de IA (de la ciencia seria) de los mejores centros del mundo, para “evaluar” diferentes partes de su nuevo y potente modelo lingüístico. Y al publicar Financial Times la lista de dicho ‘Equipo Rojo’ pude ver que solo había dos españoles, los dos, investigadores de IA del Instituto Universitario Valenciano de Investigación en Inteligencia Artificial (VRAIN) de la UPV: José Hernández-Orallo y Lexin Zhou. He hablado con el primero, a quien conozco hace tiempo y me dijo estar impresionado, pero no me dijo más. No sé que tipo de cláusulas de confidencialidad había firmada el equipo rojo. Espero que pronto nos cuenten más sí pueden, porque no espero nada de la transparencia de Open AI, la antes non-profit.

Más sorpresas de Open AI: falacias sobre productividad y el coste oculto

Si puedo contar lo que acaba de afirmar el co-fundador, –con Elon Mask, que abandonó la empresa en 2019–, Sam Altman, el ahora superfamoso CEO de Open AI. El mismo que, hace solo tres meses declaró, a Forbes el 3 de marzo de 2023 que “su tecnología está preparada para “romper el capitalismo”. Pues bien, hace pocos días nos ha dado otra sorpresa más. La prestigiosa Wired publico lo que el CEO de Open AI ha dicho en una presentación en el MIT. Justo, el 23 de abril, –por cierto, día mundial del libro y aniversario de Shakespeare y Cervantes–, la frase de sus palabras más destacada en el titular una prestigiosa a revista digital relacionada con el MIT de Altman es: “El CEO de OpenAI afirma que la era de los modelos gigantes de IA ya ha terminado”. Sorpresa mayúscula.

Altman revolucionó a la ciclotímica audiencia global atenta a la IA con su speech en el MIT que se viralizó en segundos a todo el mundo global: “Los grandes modelos lingüísticos cada vez más grandes no son el futuro. Creo que ya estamos al final de la era de los modelos gigantes y que los mejoraremos de otras formas”, -dijo-.  Y añadió: “Es mejor centrarse en aumentar rápidamente la capacidad, que en el número de parámetros. Si es posible, mejorar la capacidad con un menor número de parámetros o combinando varios modelos más pequeños, entonces estupendo.”

Pero creo que ha sido Ventureveat el que ha señalado una buena la razón oculta probable: las ideas de Altman están motivadas por los costes. Los LLM son muy, muy caros: al parecer, la ‘formación’ del GPT-4 costó 100 millones de dólares. Este coste es una de las razones por las que Microsoft está desarrollando su propio chip de inteligencia artificial y, probablemente, ha sido un factor que ha influido en la rápida reticencia de Google a lanzarse de cabeza al lago de la inteligencia artificial generativa.

Pero las replicas del seísmo iniciado por Open AI, siguen a su bola. Mientras OpenAI, de forma un poco inverosímil dado el contexto, parece no tener ninguna prisa por desarrollar GPT-5, la competencia y la presión siguen aumentando en la loca carrera de Fórmula 1 hacia la AIG. Amazon acaba de presentar su familia Titan de LLM (para generar texto y traducirlo a representaciones de significado semántico). Y el imprevisible co-fundador de Open AI Elon Musk, que acabó firmando la carta de moratoria de seis meses, –después firmada, hasta ahora, por más de 33.000 científicos relevantes, empresarios y profesores–, también está tramando algo. Ha constituido una empresa llamada X.AI y ha comprado miles de GPU de Nvidia para construir su propio LLM.

Musk también declaró a Tucker Carlson, de Fox News, que planea enfrentarse al “políticamente correcto” ChatGPT de OpenAI con algo que ha llamado TruthGPT, una “inteligencia artificial que busca la ‘verdad máxima’ e intenta comprender la naturaleza del universo”. Nada menos. Mmmm…, lo que pasa es que es demasiado aficionado a la posverdad extrema y sesgada. Veremos

Dejo al lector, para acabar, en manos de una elocuente frase del prestigioso pensador de la tecnología Jaron Lanier, formulador del concepto ‘realidad virtual’, que abre un nuevo frente de pensamiento sobre la inteligencia artificial: “El peligro de la IA no es que nos destruya, es que nos vuelva locos.” Piensen en ello.

Monday, August 28th, 2023