Desde hace algún tiempo se rumora que OpenAI trabaja en una nueva inteligencia artificial llamada Orion. Semanas atrás se dijo que dicho modelo se lanzaría antes de finales de 2024, cosa que tanto Sam Altman como su compañía han desmentido. Sin embargo, un nuevo reporte de The Information afirma que dicha IA sí se encuentra en desarrollo, pero que los resultados que estaría entregando no serían los deseados.
El citado medio indica que los empleados de OpenAI que ya probaron Orion se toparon con un rendimiento decepcionante. Si bien la inteligencia artificial superaría a GPT-4 en performance general, lo haría por un margen mínimo. Se menciona que el salto en calidad sería menor al que se logró al pasar de GPT-3 a GPT-4. Pero la historia no terminaría allí.
Orion no lograría ser lo suficientemente consistente como para derrotar a GPT-4 en tareas clave como la programación. Esto sería de preocupación para OpenAI, pues se especula con la que compañía estaría comenzando a padecer los efectos de la faltante de nuevos sets de datos de alta calidad para entrenar sus modelos.
Para tratar de encontrar una solución a este problema, The Information indica que OpenAI ha creado un nuevo equipo cuyo principal objetivo será encontrar una solución a ese inconveniente. Es decir, lograr que los nuevos modelos de inteligencia artificial no se estanquen en sus capacidades pese a contar con menos datos nuevos de entrenamiento que sus predecesores.
OpenAI busca soluciones para mitigar el estancamiento de sus nuevas IA
Una de las alternativas por las que apostaría OpenAI sería el uso de datos sintéticos; es decir, información de entrenamiento que generen otros modelos de inteligencia artificial. Un punto a considerar, no obstante, es que la compañía ya habría aplicado esta estrategia con Orion, al menos de modo parcial. De modo que una dependencia mayor de los datasets sintéticos podría no colaborar con la diferenciación en rendimiento con GPT-4.
La otra posibilidad que analizarían los de Sam Altman sería destinar más recursos al proceso de inferencia de Orion y futuros modelos de OpenAI, en lugar de enfocarse en el entrenamiento. Cuando se habla de inferencia en modelos de IA, se trata de la capacidad que estos tienen de sacar conclusiones a partir de datos nuevos sin requerir de que se les otorguen ejemplos de cuál es el resultado que se desea.
La compañía californiana ya ha comenzado a trabajar en este enfoque en o1, su inteligencia artificial con habilidades de razonamiento. Pero esto requeriría de mucho más poder de cómputo y de un consumo de energía todavía más alto del que ya se requiere en la actualidad.
Obtener más poder de cómputo, la principal necesidad
La cuestión del poder de cómputo ya se ha planteado como un inconveniente a resolver en el seno de OpenAI, y no se limita a lo que pueda suceder con Orion. Según un reciente reporte de The New York Times, la relación entre la startup y Microsoft, su principal inversor, habría comenzado a deteriorarse por ese asunto.
A OpenAI le habría disgustado que los de Redmond no le otorgaran el poder de cómputo necesario para mantener el ritmo de sus desarrollos. Esto habría llevado a Altman y compañía a presionar para librarse del acuerdo de exclusividad que les impedía comprar recursos a otro proveedor que no fuese Azure.
A fines de octubre, el CEO de OpenAI participó de un AMA de Reddit donde remarcó que GPT-5 no se lanzaría este año y que se estaba demorando debido a que habían priorizado o1 y sus sucesores. «Todos estos modelos se han vuelto bastante complejos y no podemos lanzar tantas cosas en paralelo como nos gustaría. También enfrentamos muchas limitaciones y decisiones difíciles sobre cómo asignamos nuestro poder de cómputo a muchas grandes ideas», explicó. Asimismo, aseveró que la necesidad de escalar el poder de cómputo era uno de los motivos por los que Sora aún no había llegado a manos del público.