¿Hambre de IA? La nueva supercomputadora contiene 16 chips del tamaño de un plato de comida

on

|

views

and

comments


Cerebras Andromeda, una supercomputadora de inteligencia artificial de 13,5 millones de núcleos
Agrandar / Cerebras Andromeda, una supercomputadora de inteligencia synthetic de 13,5 millones de núcleos.

El lunes, Cerebras Methods presentó su supercomputadora Andromeda AI de 13,5 millones de núcleos para aprendizaje profundo, informes Reuters. Según Cerebras, Andromeda ofrece más de 1 exaflop (1 quintillón de operaciones por segundo) de potencia computacional de IA con una precisión media de 16 bits.

La Andrómeda es en sí misma un grupo de 16 Cerebros C-2 computadoras conectadas entre sí. Cada CS-2 contiene una Chip de motor de escala de oblea (a menudo llamado “WSE-2”), que actualmente es el chip de silicio más grande jamás fabricado, de unas 8,5 pulgadas cuadradas y repleto de 2,6 billones de transistores organizados en 850.000 núcleos.

Cerebras construyó Andromeda en un centro de datos en Santa Clara, California, por $35 millones. Está ajustado para aplicaciones como grandes modelos de lenguaje y ya se ha utilizado para trabajos académicos y comerciales. “Andromeda ofrece un escalado casi perfecto a través de un paralelismo de datos easy en modelos de lenguaje grande de clase GPT, incluidos GPT-3, GPT-J y GPT-NeoX”. escribe Cerebras en un comunicado de prensa.

El chip Cerebras WSL2 mide aproximadamente 8,5 pulgadas cuadradas y contiene 2,6 billones de transistores.
Agrandar / El chip Cerebras WSL2 mide aproximadamente 8,5 pulgadas cuadradas y contiene 2,6 billones de transistores.

cerebros

La frase “escalado casi perfecto” significa que a medida que Cerebras agrega más unidades de computadora CS-2 a Andromeda, el tiempo de entrenamiento en las redes neuronales se scale back en una “proporción casi perfecta”, según Cerebras. Por lo common, para escalar un modelo de aprendizaje profundo agregando más poder de cómputo usando sistemas basados ​​en GPU, uno podría ver Rendimientos decrecientes a medida que aumentan los costos de {hardware}. Además, Cerebras afirma que su supercomputadora puede realizar tareas que los sistemas basados ​​en GPU no pueden:

El trabajo imposible de GPU fue demostrado por uno de los primeros usuarios de Andromeda, que logró un escalado casi perfecto en GPT-J a 2500 millones y 25000 millones de parámetros con longitudes de secuencia largas: MSL de 10240. Los usuarios intentaron hacer el mismo trabajo en Polaris, un clúster de 2000 Nvidia A100, y las GPU no pudieron hacer el trabajo debido a las limitaciones de la memoria de la GPU y el ancho de banda de la memoria”.

Aún está por verse si esas afirmaciones resisten el escrutinio externo, pero en una period en la que las empresas a menudo entrenan modelos de aprendizaje profundo en cada vez más grandes racimos de GPU Nvidia, Cerebras parece estar ofreciendo un enfoque alternativo.

¿Cómo se compara Andrómeda con otras supercomputadoras? Actualmente, el más rápido del mundo, Frontera, reside en Oak Ridge Nationwide Labs y puede funcionar a 1.103 exaflops con doble precisión de 64 bits. Esa computadora costó $ 600 millones para construir.

El acceso a Andrómeda ya está disponible para que lo utilicen varios usuarios de forma remota. Ya está siendo utilizado por el asistente de redacción comercial. jaspeI and Argonne Nationwide Laboratory, y la Universidad de Cambridge para la investigación.

Share this
Tags

Debe leer

Las acciones de Wall St ganan por segunda semana consecutiva con la esperanza de que la Fed desacelere las subidas de tipos

Las acciones estadounidenses subieron por segunda semana consecutiva después de que el presidente de la Reserva Federal señalara que el banco central frenaría...

Mes de la Herencia Nativa Americana | Weblog educativo de descubrimiento

Crecí en una época en la que la representación estereotipada de los pueblos indígenas period la que se veía en las primeras películas...

Más como esto

LEAVE A REPLY

Please enter your comment!
Please enter your name here