Lapar untuk AI? Superkomputer baru berisi 16 chip ukuran piring makan

Berita17 Dilihat


Memperbesar / Cerebras Andromeda, superkomputer AI 13,5 juta inti.

Pada hari Senin, Cerebras Systems meluncurkan superkomputer Andromeda AI 13,5 juta inti untuk pembelajaran mendalam, laporan Reuters. Menurut Cerebras, Andromeda memberikan lebih dari satu 1 exaflop (1 triliun operasi per detik) daya komputasi AI pada presisi setengah 16-bit.

Andromeda itu sendiri adalah sekelompok 16 Cerebra C-2 komputer yang saling terhubung. Setiap CS-2 berisi satu Chip Mesin Skala Wafer (sering disebut “WSE-2”), yang saat ini merupakan chip silikon terbesar pernah dibuat, sekitar 8,5 inci persegi dan dikemas dengan 2,6 triliun transistor yang disusun dalam 850.000 inti.

Cerebras membangun Andromeda di pusat data di Santa Clara, California, seharga $35 juta. Ini disetel untuk aplikasi seperti model bahasa besar dan telah digunakan untuk pekerjaan akademis dan komersial. “Andromeda memberikan penskalaan yang hampir sempurna melalui paralelisme data sederhana di seluruh model bahasa besar kelas GPT, termasuk GPT-3, GPT-J, dan GPT-NeoX,” menulis Cerebras dalam siaran pers.

Chip Cerebras WSL2 berukuran kira-kira 8,5 inci persegi dan mengemas 2,6 triliun transistor.
Memperbesar / Chip Cerebras WSL2 kira-kira berukuran 8,5 inci persegi dan mengemas 2,6 triliun transistor.

otak

Ungkapan “Penskalaan yang hampir sempurna” berarti bahwa karena Cerebras menambahkan lebih banyak unit komputer CS-2 ke Andromeda, waktu pelatihan pada jaringan saraf berkurang dalam “proporsi yang hampir sempurna,” menurut Cerebras. Biasanya, untuk meningkatkan model pembelajaran mendalam dengan menambahkan lebih banyak daya komputasi menggunakan sistem berbasis GPU, orang mungkin melihat hasil yang semakin berkurang karena biaya perangkat keras meningkat. Selanjutnya, Cerebras mengklaim bahwa superkomputernya dapat melakukan tugas yang tidak dapat dilakukan oleh sistem berbasis GPU:

Pekerjaan mustahil GPU ditunjukkan oleh salah satu pengguna pertama Andromeda, yang mencapai penskalaan hampir sempurna pada GPT-J pada 2,5 miliar dan 25 miliar parameter dengan panjang urutan panjang—MSL 10.240. Pengguna mencoba melakukan pekerjaan yang sama pada Polaris, 2.000 klaster Nvidia A100, dan GPU tidak dapat melakukan pekerjaan tersebut karena memori GPU dan keterbatasan bandwidth memori.”

Apakah klaim tersebut memenuhi pengawasan eksternal belum terlihat, tetapi di era di mana perusahaan sering melatih model pembelajaran mendalam pada kelompok GPU Nvidia yang semakin besar, Cerebras tampaknya menawarkan pendekatan alternatif.

Bagaimana Andromeda dapat dibandingkan dengan superkomputer lain? Saat ini, tercepat di dunia, Perbatasan, berada di Oak Ridge National Labs dan dapat bekerja pada 1,103 exaflops dengan presisi ganda 64-bit. Komputer itu menghabiskan biaya pembuatan $600 juta.

Akses ke Andromeda sekarang tersedia untuk digunakan oleh banyak pengguna dari jarak jauh. Sudah digunakan oleh asisten penulisan komersial JasperAI dan Laboratorium Nasional Argonne, dan Universitas Cambridge untuk penelitian.


#Lapar #untuk #Superkomputer #baru #berisi #chip #ukuran #piring #makan

Source link

Komentar