Esta nueva función de ChatGPT hará que la IA te responda hasta 5 veces más rápido
Una vez conocemos buena parte de las bondades que en estos instantes nos ofrecen las diferentes plataformas IA, las compañías responsables intentan optimizar su uso. Y es que es una tecnología que consume altos recursos, algo que se intenta solventar en la medida de lo posible.
Una de las empresas que se podría considerar como de las referentes en este sector es OpenAI. No en vano es la que nos propone la inteligencia artificial que la mayoría de vosotros conocéis de sobra, ChatGPT. Buena parte de estas propuestas ya nos permiten generar textos de forma automática, además imágenes, vídeos o código de programación.
Pero en la mayoría de los casos, algo que afecta de forma directa a la mencionada ChatGPT, la latencia es un problema importante. Por ejemplo, esto es algo que afecta de manera importante a escenarios tales como las sugerencias de código de programación y en la modificación de documentos largos. Dicha latencia puede afectar de manera significativa en la experiencia general del usuario. De ahí que algunas de estas grandes empresas hayan puesto manos a la obra para intentar solucionarla.
Seguro que en más de una ocasión habéis experimentado la desagradable situación de que, a la hora de obtener los resultados deseados de la IA, se emplea más tiempo del esperado. Evidentemente, la mayoría de los usuarios preferiría obtener esos contenidos automáticos de manera instantánea. Hay que tener en cuenta que las actuales API de los grandes modelos de lenguaje, hoy día requieren que se regenere todo el contenido pedido. Esto provoca una latencia considerable para los usuarios.
De ahí que en estos momentos OpenAI intente resolver este problema con una nueva función para desarrolladores.
Así es la función Predicted Outputs para acelerar la IA
En concreto, nos referimos a la función llamada Predicted Outputs que el gigante de la tecnología quiere implementar en su popular ChatTGPT. Esta función es una funcionalidad que puede utilizarse en casos en los que la mayor parte de los resultados se conocen de antemano.
Aquí entran en juego tareas tan habituales en la inteligencia artificial como la edición de documentos o la obtención de código fuente. Todo ello podrá mejorarse de forma ostensible utilizando esta función. Y es que Predicted Outputs utiliza un método interno para omitir el contenido conocido, haciendo que las iteraciones sean mucho más rápidas. Esto se traduce en que obtendremos los resultados en mucho menos tiempo.
De este modo, los desarrolladores pueden reducir significativamente la latencia pasando el contenido existente como predicción. Además, podrán regenerar todo el contenido mucho más rápidamente gracias a esta nueva herramienta.
Cabe mencionar que OpenAI probó esta función con algunos socios externos y los resultados fueron muy positivos en cuanto al aumento de rendimiento. Para que os hagáis una idea, basándose en las pruebas comparativas del equipo de GitHub de Microsoft, los resultados en las cargas de trabajo de Copilot Workspace permitieron multiplicar por 5,8 la velocidad de proceso de la IA.
Los hándicaps del nuevo modelo
Esto se traduce en que los resultados son realmente rápidos, por lo que el uso de la inteligencia artificial por parte de los usuarios mejorará de forma ostensible. Eso sí, a la hora de utilizar Predicted Outputs, existen algunas limitaciones para los desarrolladores. Por ejemplo, solo es compatible con las series de modelos de lenguaje GPT-4o y GPT-4o-mini.
Además, las respuestas predictivas pueden hacer que los resultados no sean tan precisos y directos como cabría esperar. Así pues, es posible que haya algunas limitaciones a la hora de trabajar con estas IAs y que, aunque las respuestas sí que nos lleguen más rápido, los resultados no sean tan profesionales al haber demasiadas «predicciones» en las respuestas.
Pero a pesar de ello, los beneficios potenciales de esta nueva función son sustanciales para lograr que los grandes modelos de lenguaje sean más eficaces y rápidos.
