Ya puedes montar tu propio ChatGPT en casa: OpenAI lanza sus nuevos modelos locales open-weight

Publicados bajo la licencia de Apache 2.0, estos modelos sorprenden al público y marcan el regreso de OpenAI a la IA abierta después de varios años. Y lo que es más importante: hace llegar capacidades avanzadas de IA para todo tipo de usuarios y profesionales que quieran usar ChatGPT sin la necesidad de depender de la nube de OpenAI.

Aun así, el modelo 120b requiere una sola GPU de 80 GB para funcionar. Algo que no está al alcance precisamente de los ordenadores más estándar. Por su parte, el modelo 20b es bastante más accesible, ya que puede ejecutarse en ordenadores que cuenten con 16 GB de RAM. Ambos han sido entrenados en disciplinas STEM, es decir: razonamiento, salud y programación, y han logrado resultados sobresalientes en benchmarks.

La importancia de los modelos «open-weight»

El lanzamiento de los modelos 120b y 20b por parte de OpenAI vienen con la etiqueta de «peso abierto» u open-weight. Pero la importancia de este tipo de modelos resalta en que la información del software y los parámetros entrenados están disponibles para cualquier usuario o empresa. Es decir, que permite ejecutar la IA de manera local, auditar su funcionamiento y adaptarla a tareas específicas. Y para ello no hace falta usar ningún tipo de API ni pasar por un servidor externo.

Aun así, no hemos de confundirlos con los modelos open source tradicionales, ya que en los modelos de código abierto también se comparte el código fuente, la arquitectura y los datos de entrenamiento. Algo por lo que no se rigen los modelos open-weight. Lo que significa que no pueden reconstruirse o reentrenarse desde cero.

Características técnicas de gpt-oss-120b y 20b

Por la parte de gpt-oss-120b, según el comunicado oficial de OpenAI de este mismo 6 de agosto, encontramos un modelo que tiene 117.000 millones de parámetros, pequeños valores que la propia IA usa para tomar decisiones y responder preguntas. Además, está construido con tecnología «Transformer» y emplea una técnica de funcionamiento conocida como «mixture-of-experts». Esto último quiere decir que el modelo puede decidir qué parte de su sistema utilizar para cada tarea, ganando en eficiencia y flexibilidad.

Al utilizarlo, se activan 5.100 millones de estos parámetros cada vez que genera una palabra o respuesta. Además, tiene la capacidad de leer textos muy largos de una sola vez. Y con largos, nos referimos a aproximadamente 128.000 palabras. Por lo que es ideal si necesitamos ayuda con grandes cantidades de información de documentos o conversaciones.

La parte más compleja de sus requisitos es su necesidad de una tarjeta gráfica que 80 GB, que si bien es una cantidad muy optimizada con respecto a su potencia, nos encontramos ante todo un desafío para los usuarios individuales. Pero sí que es más accesible por parte de laboratorios de investigación o grandes empresas. Además, su rendimiento mejora incluso a los modelos líderes como la familia «o4» del propio ChatGPT en tareas de lógica, matemáticas y temas de salud.

En cuanto a gpt-oss-20, nos encontramos con un sistema más pequeño, diseñado con 21.000 millones de parámetros y 24 bloques de procesamiento. Su gran cualidad es que es posible hacerlo funcionar en PC con tan solo 16 GB de memoria RAM. Lo que lo hace mucho más accesible para cualquier usuario individual. Esta optimización hace que el modelo 20b sea más accesible para usuarios con hardware más común, como los 16 GB de RAM. Un paso que democratiza el acceso a la IA de alto rendimiento.

Además, ofrece resultados que se equiparan a modelos también avanzados de OpenAI, como la familia de «o3». Destacando especialmente en matemáticas y conocimientos médicos.