Efisiensi AI: Aleph Alpha dan Graphcore mencapai terobosan dalam pemodelan jarang

Berita16 Dilihat

Pada Supercomputing Conference 2022, yang berlangsung pada 13-18 November di Dallas, Texas, pabrikan semikonduktor Inggris Graphcore dan perusahaan AI Jerman Aleph Alpha mempresentasikan terobosan dalam pemodelan dengan Sparsity. Seperti yang didemonstrasikan dalam obrolan di samping api unggun dan dalam demo langsung, perusahaan yang berbasis di Heidelberg ini dapat menggunakan teknologi baru untuk mengurangi model dasar terkecilnya, Luminous Dense, yang sebelumnya memiliki 13 miliar parameter, menjadi 2,6 miliar parameter pada perangkat keras Inggris. Pabrikan chip AI – dengan tetap mempertahankan sebagian besar kemampuan model, seperti yang ditekankan oleh penyedia, dengan peningkatan kinerja secara bersamaan.

Menurut tim peneliti, model Luminous Base sparse membutuhkan dua puluh persen dari pemrosesan FLOPs (Floating Point Operations) yang diperlukan sebelumnya dan 44 persen memori dibandingkan dengan model dasar “padat”. Intinya adalah ini berarti kemajuan dalam efisiensi daya komputasi AI dan dalam pemodelan jarang, yang masih belum tersebar luas. Ini secara signifikan mengurangi permintaan daya komputasi, yang seharusnya membuat pengoperasian model seperti itu lebih hemat energi dan lebih murah: Menurut penyedia, konsumsi energi model jarang 38 persen lebih rendah daripada model padat.

Miliaran parameter memerlukan jumlah daya komputasi yang sesuai: tuntutan pada perangkat keras yang digunakan tumbuh dengan penskalaan model dan konsumsi energi untuk pelatihan dan inferensi meningkat. Dalam metode Padat yang telah menjadi kebiasaan hingga saat ini, sebagian besar kapasitas komputasi diperlukan untuk melakukan operasi aritmatika pada parameter, meskipun neuron buatan yang diaktifkan biasanya tidak relevan dengan tugas yang sedang ditangani dan perilaku model. . Model yang dibangun dengan cara ini disebut padat, dengan waktu pemrosesan dan kapasitas penyimpanan untuk parameter yang tidak diperlukan terbuang sia-sia. Parameter yang bermakna didistribusikan secara jarang dalam model, dan mereka adalah satu-satunya yang penting dalam masalah masing-masing.

Model jarang memusatkan kekuatan pemrosesan mereka pada elemen yang paling penting untuk menyelesaikan tugas kompleks tanpa mengaktifkan seluruh jaringan setiap saat – begitu banyak untuk penjelasan yang agak sederhana. Di sisi perangkat keras, prosesnya membutuhkan arsitektur yang berbeda dari yang biasanya dimiliki GPU. Desain chip AI harus mengaktifkan paralelisme mendetail di berbagai dimensi dan memungkinkan penggandaan matriks jarang titik: Ini adalah bagaimana beberapa instruksi, banyak data (MIMD) kemudian dimungkinkan. Unit Pemrosesan Cerdas (IPU) Graphcore menampilkan desain ini, dan arsitekturnya dibuat khusus untuk beban kerja AI.


Model Padat versus Jarang.  Graphcore dan Aleph Alpha

Model Padat versus Jarang.  Graphcore dan Aleph Alpha

Perbandingan skematis dari dua pendekatan arsitektur: model padat di sebelah kiri, arsitektur jarang di sebelah kanan

(Gambar: Graphcore)

Aleph Alpha dan Graphcore mengumumkan kemitraan penelitian mereka pada Juni 2022 dan telah mengerjakan Sparsity sejak saat itu. Pengurangan model dasar hingga 80 persen menjadi ukuran 2,6 miliar parameter merupakan tonggak sejarah yang signifikan, karena model Luminous Base Sparse yang baru sangat cocok dengan IPU-POD16 Classic dari Graphcore dan, menurut pabrikan, sangat cepat memori on-chip dapat digunakan secara optimal, sehingga peningkatan kinerja lebih lanjut dapat dicapai. Tim peneliti dari Aleph Alpha dan Graphcore membersihkan 80 persen bobot model yang kurang relevan dan melatih kembali model Luminous dengan parameter terpenting. Ini ditampilkan menggunakan format CSR (Compressed Sparse Rows).

Menurut Aleph Alpha dan Graphcore, sparsifikasi mewakili penyeimbang pertumbuhan eksponensial model AI dan permintaan daya komputasi yang meningkat. Banyak fungsi model untuk bahasa, visualisasi, dan pemrosesan gabungan teks dan gambar (multimodalitas) disebabkan oleh pertumbuhan, yaitu penskalaan Jumlah parameter naik, telah tercapai. Namun, daya komputasi yang diperlukan untuk pelatihan tumbuh lebih cepat daripada jumlah parameter, yang menaikkan biaya dan membuat proses tampak kurang berkelanjutan. Sparsifikasi kemungkinan penting untuk model generasi berikutnya, karena pendekatan “jarang” memungkinkan submodel khusus bekerja lebih efisien. Tidak hanya ada satu pendekatan di sini, tetapi beberapa seperti sparsity atau selektivitas berbutir kasar, yang akan membantu dalam pembelajaran mesin untuk menggunakan daya komputasi yang tersedia secara lebih efisien.


Lumi Base Sparse: Model AI dari Aleph Alpha mengomentari superkomputer dalam contoh dialog

Lumi Base Sparse: Model AI dari Aleph Alpha mengomentari superkomputer dalam contoh dialog

Agen AI Lumi memberikan informasi tentang keberadaannya dan superkomputer 2022 dari model jarang

(Bild: Alef Alfa)

Di sisi teknis, kolaborasi penelitian terus melatih, menyempurnakan, dan menyimpulkan model visi komputer dan bahasa tingkat lanjut dalam miliaran parameter. Pabrikan chip Inggris untuk proses pembelajaran mesin menawarkan teknologi yang mencapai kecepatan pemrosesan sangat tinggi melalui konkurensi dan oleh karena itu sangat cocok untuk proses AI. Teknologi ini sudah digunakan lintas sektor di bidang keuangan, fisika dan farmakologi, serta model cuaca. Platform utama Aleph Alpha untuk model pelatihan saat ini terus datang dari HPE dan Nvidia. Pada bulan September, Aleph Alpha membuka pusat data berkinerja tinggi, alphaONE, dan insinyur semikonduktor serta CEO Graphcore, Simon Knowles, menghadiri pembukaan tersebut.

Baca juga


(ya)

Ke halaman rumah

Komentar