Mesin membayangkan musik: AI menggubah musik Wagner baru, tayang perdana di Dresden

Berita70 Dilihat

Pada malam tanggal 20 November 2022, Singakademie Dresden akan mengadakan konser di Lukaskirche, yang programnya akan dibawakan oleh seorang komposer yang tidak disebutkan namanya bersama Wagner, Schubert, Draeseke dan Zemlinsky. Anonymus bukanlah master abad ke-19 yang tidak dikenal, tetapi mesin kontemporer yang jaringan saraf tiruannya dilatih dengan musik dari periode Romantis dan yang disesuaikan dengan karya Richard Wagner.

Portrait mk 1209a16e46b92ff0

Michael Käppler mempelajari musik gereja dan memimpin paduan suara di Dresden. Ia telah memimpin Singakademie sejak tahun 2021. Pada prinsipnya, pengarahan artistik berarti menjadi dirigen, yaitu memimpin latihan dan konser, serta bertanggung jawab atas konsep artistik secara keseluruhan. Di teater atau ruang konser, biasanya direktur artistik bertanggung jawab bersama dengan kepala konduktor untuk keseluruhan konsep artistik dan konduktor untuk eksekusi. Käppler dapat merencanakan dan kemudian “melakukan” dirinya sendiri, yang terkadang sangat praktis. Di waktu luangnya dia memprogram, untuk waktu yang lama dia berkontribusi pada pengembangan alat notasi musik “LilyPond” (terutama Skema, lebih tepatnya GNU Guile dan Python). Dia juga mengotomatiskan pengunduhan dan transkripsi file audio menggunakan campuran mentah wadah Docker, skrip shell, dan Python.

Michael Käppler, pemimpin Singakademie Dresden dan dirigen, telah menjalankan proyek musik selama sekitar satu tahun, di mana ia berhasil memenangkan Technical University of Darmstadt dan Heidelberg AI start-up Aleph Alpha sebagai mitra. Proyeknya “Meistersinger reloaded” menawarkan landasan teknis dan intelektual selain rangsangan sensual dan budaya. Sore hari sebelum pemutaran perdana, diskusi panel ilmiah dari bidang musik, teknologi dan pembelajaran mesin serta matematika akan membahas pertanyaan apakah mesin dapat mengarang: tiga ahli dan satu ahli wanita akan berdiskusi secara terbuka dengan pemimpin paduan suara.

Asal usul proyek ini adalah pertanyaan tentang bagaimana komposer bermasalah seperti Wagner dapat ditampilkan hari ini. Konduktor Käppler ingin “menghancurkan musik Wagner dengan cara yang berbeda – dengan komentar AI tentang Wagner,” jelasnya. pengembang heise. Untuk melakukan ini, dia beralih ke berbagai universitas dan pakar dan menemukan rekan seperjuangan yang antusias di Kristian Kersting. Kersting adalah Profesor Pembelajaran Mesin dan Kecerdasan Buatan di TU Darmstadt, di sana dia mengepalai pusat penelitian AI Hessian.

Dia berjejaring dengan musisi dengan rekan TU-nya Prof. Iryna Gurevych, mahasiswa, goni.AI dan untuk penelitian dan teknik dengan departemen penelitian di perusahaan rintisan Heidelberg Alef Alfayang kemudian bekerja pada proyek sebagai sebuah tim. Untuk Aleph Alpha, Jonas Andrulis dan peneliti AI Koen Oostermijer, antara lain, terlibat dalam membangun AI – bagian terbesar dari pekerjaan dijalankan pada sistem AI Heidelberg. Mahasiswa doktoral Kersting, Wolfgang Stammer, pada saat yang sama membuat trafo baru.

Aleph Alpha terkenal dengan model basis AI multimodal dan multibahasa Luminous, yang memahami teks dan gambar dalam konteks. Untuk tim peneliti dari perusahaan Heidelberg AI, tujuan dari proyek ini adalah untuk mengubah pemodelan data dan hubungan dalam jaringan syaraf tiruan sedemikian rupa sehingga AI, yang sebaliknya diarahkan untuk melakukan percakapan atau mencari informasi, sebagai gantinya. menciptakan harmoni dan menciptakan musik yang juga mengikuti gaya tertentu.

Karena struktur musik bekerja secara berbeda dari struktur bahasa, penyesuaian diperlukan: antara lain, tim peneliti harus memperluas cara penempatan kata atau nada relatif satu sama lain sedemikian rupa sehingga durasi dan interval waktu bisa diterjemahkan secara matematis ke dalam bahasa AI. Pekerjaan sepanjang tahun dan kontribusi dari banyak rekan seperjuangan telah menghasilkan komposisi sekitar tiga menit.


Jonas Andrulis, Samuel Weinbach, Koen Oostermijer von Aleph Alpha

Jonas Andrulis, Samuel Weinbach, Koen Oostermijer von Aleph Alpha

Mewakili tim Aleph Alpha: Jonas Andrulis (CEO dan Founder), Samuel Weinbach (Co-Founder dan Senior Researcher), Koen Oostermijer (Research Associate)

Menurut Michael Käppler, mereka menyuapi model Transformer dengan musik dari era Romantik, khususnya musik piano. Pelatihan berlangsung pada kumpulan data yang berbeda. Berdasarkan audio YouTube dan model transkripsi Google Magenta, Käppler sendiri melatih kumpulan data musik piano romantis dan menyebutnya “Kumpulan Data Piano Romantis Hebat” (GRPDS). Ini berisi sekitar 12.000 file MIDI (MIDI adalah singkatan dari Musical Instrument Digital Interface) dengan total panjang 1900 jam. Selama percakapan, kondektur menambahkan bahwa kumpulan data ini dapat diperluas secara besar-besaran. Selain itu, ia dan rekan-rekannya juga memiliki, antara lain GiantMIDI Piano menggunakan kumpulan data ByteDance yang tersedia di GitHub — perusahaan teknologi internet Tiongkok di belakang TikTok, antara lain. Kumpulan data memberikan sinyal yang digunakan tim untuk terus bekerja.

Pada kumpulan data yang lebih besar ini, model tidak hanya mempelajari aturan harmonik, tetapi juga seluk-beluk komposisi dan pembuatan mahakarya. Setelah AI memahami aturan musik secara keseluruhan, tim proyek membawanya lebih dekat ke gaya dan karakter spesifik dari karya Wagner – untuk tujuan ini, tim peneliti melakukan penyempurnaan pada karya Wagner bersama dengan konduktor Käppler . Jika model tersebut telah dilatih secara eksklusif dengan Wagner, model tersebut akan mengingatnya dan tidak akan dapat menciptakan sesuatu yang baru di luar bagian yang diketahui (istilah teknis untuk ini adalah overfitting).

“Penting untuk menemukan keseimbangan antara model burung beo dan model yang hanya menemukan musik khusus Wagner,” kata Käppler, menjelaskan prosedurnya. Sebagai contoh audio, dia menunjukkan kepada tim editorial Pengembang salah satu dari banyak komposisi AI yang dibuat dalam proyek dan tidak dikerjakan untuk karya orkestra: 15 detik pertama berasal dari “Parafrase Meistersinger” karya Hans von Bülow, sisanya adalah karya mesin (tautan mengarah ke sampel audio).

Transparansi penting baginya, yaitu mengungkapkan bagian mana dari karya yang dibuat manusia dan mana yang berasal dari jaringan syaraf tiruan. Dalam diskusi panel yang direncanakan sebelum konser, bersama Käppler dan Kersting, ahli musik empiris Miriam Akkermann (profesor junior di TU Dresden) akan membahas antara lain tentang pasca-pemrosesan. Menurut Käppler, proyek tersebut memungkinkan sistem AI untuk menggubah musik piano, sementara para musisi melakukan orkestrasi sendiri – yaitu mentransposisi dan mengubah register untuk instrumen yang berbeda: “Sebagian besar orang telah ikut bermain di sini, dan ini penting kepada saya untuk mengungkapkannya dan menanganinya secara transparan,” kata Käppler (ada satu di sini Penggoda audio dari “Meistersinger reloaded” untuk didengarkan – dari bunyi bip, perintah audio berakhir dan AI melanjutkan komposisi Wagner).

Proyek terkait adalah Beethoven X – bukan portal cryptocurrency dengan nama yang sama, tetapi yang rumit Proyek untuk menyelesaikan simfoni kesepuluh Beethoven menggunakan AI oleh tim ahli dari Universitas Harvard, Cambridge dan Rutgers, antara lain disponsori oleh Deutsche Telekom. Kerja sama Dresden untuk pengisian ulang Meistersinger dikelola dengan sumber daya manusia dan keuangan yang jauh lebih sedikit. Dua hingga empat orang terutama mengerjakan proyek, dan tujuan jangka panjang tidak hanya untuk menyajikan hasil, tetapi juga untuk mengungkapkan alur kerja.

Otomat penyusun menimbulkan pertanyaan: Beberapa orang mungkin berpikir tentang Sandman yang menakutkan dari ETA Hoffmann – yang mana Sigmund Freud melampirkan definisinya tentang keanehan, karena hal itu membuat kita terpesona, tetapi juga mulai menakuti kita ketika benda mekanis memiliki jiwa atau makhluk hidup tampak terlalu seperti robot. Orang lain akan mengabaikannya dan secara mendasar mempertanyakan orisinalitas seni mesin.

Seharusnya tidak membuat siapa pun sama sekali tidak terpengaruh ketika bentuk otomatisasi baru kini semakin merambah area yang sebelumnya dianggap sebagai domain manusia dan berkaitan dengan perasaan, seperti komposisi ekspresif dan penciptaan seni. Apa arti mesin komposisi bagi kreativitas kita?


svg%3E

Machine imagines Music Silke SD white 25c55ac0c2724dff

“Mesin membayangkan musik. Periode romantis Jerman, lukisan cat minyak di atas kanvas. Kejeniusan Richard Wagner menonton adegan itu.” Textprompt von Silke Hahn, pertama kali disebut Stable Diffusion

(Bild: melalui Nightcafe)

SEBUAH Diskusi panel pada 20 November pukul 3 sore menyajikan proyek kerja sama Singakademie Dresden dengan TU Darmstadt dan Aleph Alpha serta membahas batas antara pembelajaran mesin dan kreativitas manusia. Kuartet berikut akan membahas apakah orang dapat digantikan sebagai seniman – atau apakah keterampilan baru akan membangun kemitraan baru antara manusia dan mesin: bersama Michael Käppler dan Kristian Kersting, ahli matematika Christfried Brödel, yang bukan hanya kepala New Bach Society di Leipzig, tetapi juga memiliki latar belakang musik kontemporer, serta mahasiswa master Darmstadt AI dan pemain perkusi klasik Matthias Lang.

Sebagai moderator, Miriam Akkermann dari TU Dresden menyatukan utas percakapan. Aleph Alpha akan digantikan oleh Koen Oostermijer. Panel akan berlangsung di aula paroki di Einsteinstraße 2 di Dresden, di seberang Lukaskirche. Penerimaan gratis dan partisipasi tidak tergantung pada pergi ke konser – putaran pembicaraan akan direkam dan akan dipublikasikan sesudahnya.

“Sistem AI tidak hanya dapat membantu menemukan obat baru, tetapi juga dapat melakukan lebih banyak lagi. Mereka dapat menjadi inspirasi bagi kita dan membantu membuat lagu, menulis puisi, atau melukis gambar. Itu dapat membuat kita lebih kreatif – dan saya tidak melihat alasan mengapa mesin tidak bisa menjadi kreatif sendiri di beberapa titik.

Bagaimanapun, topik AI dan seni membawa kita para peneliti untuk berhubungan dengan publik. Dan itu bagus sekali. Terima kasih kepada Singakademie atas kerja samanya!”

– Kristian Kersting untuk memberi tahu Pengembang tentang motivasi proyek

ab Pada jam 5 malam, malam diakhiri dengan konser di Lukaskirche Dresden, di mana, selain karya Franz Schubert, Richard Wagner, Felix Draeseke dan Alexander Zemlinsky, Meistersinger yang dimuat ulang dari “Anonymus” juga ditayangkan perdana. Acara dapat dilihat di website Singakademie. Sejauh yang kami tahu hari ini, konser tidak akan disiarkan atau direkam. Latar belakangnya adalah masalah hukum: total 130 musisi akan terlibat dalam pertunjukan tersebut, yang harus menyetujui rekaman, dan rekaman tersebut harus dilaporkan ke penerbit dari karya yang dibawakan sebelumnya. Kutipan dokumentasi, misalnya, hanya komposisi AI “Meistersinger reloaded” yang mungkin muncul. Berdiri dengan ini pengembang heise berhubungan dengan direktur artistik.

Jika Anda tertarik dan bisa mengatur untuk datang ke Dresden, Anda bisa membeli tiket konsernya jauh-jauh hari. Program malam musik yang tepat “Art Faith and Faith Art” serta detail diskusi panel dapat ditemukan di situs Singakademie Dresden. Tiket konser tersedia antara 7 dan 20 euro (ditambah biaya pemesanan di muka, jika tidak di box office).

Memperbarui

15.11.2022

17:47

jam tangan

Setelah berkonsultasi dengan direktur artistik proyek, catatan tentang rekaman kini telah ditambahkan. Apakah rekaman dapat dilakukan tergantung pada persetujuan seluruh paduan suara dan orkestra (130 orang) dan pada persetujuan penerbit masing-masing karya.


(ya)

Ke halaman rumah

Komentar