Los grandes modelos de lenguaje (LLM) comenzaron a popularizarse a raíz del lanzamiento de ChatGPT de OpenAI.
Esa IA generativa es posible gracias a los LLM que hay tras ella, alimentados por ingentes cantidades de datos. “Por ejemplo, Llama 3, de Meta, ya va por unos 400.000 millones de parámetros. Y van a crecer todavía más, porque se piensa que así pueden aparecer capacidades emergentes que ayudarán a mejorar la IA general”, indica Enrique Lizaso, CEO y cofundador de Multiverse Computing.
Costes desorbitados
El primer escollo es el elevado coste de entrenamiento de estos modelos. “En primer lugar, el entrenamiento de estos modelos requiere una gran inversión en recursos computacionales y datos, lo que puede ser costoso y complejo. El trabajo aquí se está centrando en hacer más eficientes los modelos para reducir los costes y consumo de recursos”, expone.
Consumo energético desaforado
También hay que tener en cuenta el enorme consumo energético de los data centers que mueven estos LLM, con las repercusiones que tiene esto tanto en los costes operativos como en su impacto medioambiental.
Otros factores
Esos son los principales desafíos a los que se enfrentan los desarrolladores de LLM, pero no son los únicos. “Otro reto interesante es la precisión de los modelos. En determinados contextos muy específicos o técnicos, un LLM puede no ser suficientemente preciso. Y no siempre se mejora con un modelo más grande. Actualmente, estamos invirtiendo muchos recursos en mejorar los procesos de entrenamiento para hacer los modelos más precisos y menos proclives a la alucinación”, detalla Hurtado.
Alternativas a los LLM
Pese a ello, parece poco probable que nos acerquemos al fin de la era de los LLM. Aunque las empresas tecnológicas son conscientes de dichos desafíos y saben que dificultan la implantación de esta tecnología en las empresas y el desarrollo de casos de uso, por lo que están dando respuestas.
“Las opciones para resolver los retos de los LLM van en dos vías, en paralelo. Por un lado, mejorar consistentemente la eficiencia de los grandes modelos, para que sean cada vez más pequeños y baratos. La segunda es el uso de los modelos de lenguaje pequeños (Small Language Models, SLM)”, afirma Hurtado.
“Los SLM son una solución tremendamente prometedora, dado que utilizan una fracción de los recursos computacionales y consumo energético de los LLM, pero con un rendimiento similar en determinadas tareas”, explica.
Silicon (02/10/2024)
Más información aquí
