Meta, que hasta el año pasado era conocida como Facebook, ha anunciado el diseño y la construcción del que posiblemente será el ordenador más potente del mundo.
El AI Research SuperCluster (RSC), como su nombre indica, es un gigantesco ordenador especializado en investigación usando Inteligencia Artificial, y Meta afirma que ya está siendo usado por sus investigadores para entrenar modelos de procesamiento de lenguaje natural y visión automática.
RSC está compuesto en la actualidad por 760 sistemas Nvidia DGX A100 unidos en una red interna Nvidia Quantum InfiniBand de 200 Gb/s, para un total de nada menos que 6.080 GPUs; una cifra impresionante, pero que se quedará corta en la forma final del superordenador. Se espera que, cuando termine su construcción el próximo mayo, el sistema conecte unas 16.000 GPUs por la red InfiniBand. Será una de las redes más grandes jamás implementadas, y contará con un sistema de memoria caché y almacenamiento capaz de servir 16 TB/s de datos constantes, con planes para llegar al exabyte (1 millón de terabytes).
Como es comprensible con un proyecto de esta escala, se ha realizado en colaboración con Nvidia, que ha sido la proveedora de los sistemas, GPUs y red, además de algunos componentes de software. Además, también ha colaborado Pure Storage para el almacenamiento. Algunos de los desafíos han sido la fiabilidad y la experiencia de uso, ya que se espera que algunos de los experimentos duren semanas incluso con semejante potencia, y los equipos deberían poder implementar diferentes modelos de IA.
No es ninguna sorpresa que Meta haya apostado por este proyecto, teniendo en cuenta que en el 2013 anunció una inversión a largo plazo para el desarrollo de Inteligencia Artificial con la creación del Facebook AI Research Lab. Los logros de este equipo se han aplicado ya a algunos productos de Facebook, incluyendo casos de uso como la identificación de contenido dañino. De hecho, Facebook ya tenía un sistema muy potente, compuesto de 22.000 GPUs Nvidia V100 Tensor Core, que realizan 35.000 tareas al día; pero en el 2020 Facebook se dio cuenta de que no era suficiente, y decidió que necesitaba hacer “borrón y cuenta nueva” para aprovechar las nuevas tecnologías de GPU y redes.
De esta manera, Meta pretende entrenar modelos de IA con más de un billón de parámetros, con datos de un exabyte; el equivalente a 36.000 años de vídeo en alta calidad. Es bien sabido que los modelos de aprendizaje automático son mejores cuantos más datos se aporten, y Meta afirma que le permitirá incluir ejemplos de la vida real, presumiblemente con datos de usuarios de sus servicios.
En previsión de las posibles dudas que esto suscite, Meta ha adelantado que RSC está aislado de Internet, sin acceso desde el exterior; los datos serán cifrados de extremo a extremo a extremo hasta justo antes del proceso, así que los investigadores no podrán ver los datos. Y antes de enviar los datos al RSC, pasará una revisión para comprobar que han sido anonimizados correctamente y no pueden ser asociados a una persona concreta.
En términos prácticos, este superordenador podría ayudar a Facebook a mejorar la moderación en su plataforma, identificando contenido no permitido más rápida y eficientemente; pero las consecuencias se podrían notar en otros aspectos como el rendimiento, la seguridad y la privacidad, y en el desarrollo de distintos tipos de IA para mejorar la experiencia en las apps de Meta.
EL ECONOMISTA (24/01/2022)
Más información aquí
