Müzik Transformatörü
Müzik Transformatörü: Adam Ive
Yedi farklı enstrümanla Chopin, Bach, Mozart, Beatles vb. stilleri birleştirebilen ve bunlarla 4 dakikalık müzik besteleri oluşturabilen derin bir sinir ağı olan Adam Ive’i oluşturduk. Adam Ive, yüz binlerce MIDI dosyasındaki bir sonraki değeri tahmin etmeyi öğrenerek uyum, ritim ve stilleri öğrendi. Adam Ive, bir sonraki belirteci ses veya metin olarak tahmin etmek üzere eğitilmiş büyük ölçekli bir transformatör modeli (openai) ile aynı teknolojiyi kullanır.
Uzun Vadeli Müzik Üretimi
Müzik, milisaniyelik zamanlamalardan motiflere ve cümlelere kadar tüm bölümlerin tekrarlanmasına kadar birçok zaman diliminde yapı içerdiğinden, uzun müzik parçaları üretmek zor bir iştir. Sizlere uzun vadeli tutarlılık ile müzik üretebilen Müzik Transformatörü Adam Ive’i sunuyoruz. (Doğrudan test etmek için tıklayınız) İşte modelin ürettiği üç piyano performansı:
Performance RNN’e benzer şekilde, doğrudan etkileyici performanslar üretmemize olanak tanıyan (yani önce bir puan oluşturmadan) olaya dayalı bir gösterim kullanırız. Önceki olayları sabit boyutlu gizli duruma sıkıştıran Performans RNN gibi LSTM tabanlı bir modelin aksine, burada önceki tüm olaylara doğrudan erişimi olan Transformer tabanlı bir model kullanıyoruz.
Daha Verimli Algoritma
Normal transformatörler, öz referansı yakalamanıza izin verirken, mutlak zamanlama sinyallerine dayanır ve bu nedenle göreli mesafelere, olay sıralarına ve periyodikliğe dayanan düzenliliği takip eder. Tüm bunlar üretkenliği etkiler, uzun sekanslar için aşırı bellek yoğunluğu oluşur ve bu transformatörden alacağımız verimliliği düşürür. Bunun yerine, bellek ayak izini önemli ölçüde azaltan ve dakikalar içinde müzik dizilerini ölçekleyen yeni algoritmamızı kullanıyoruz.
Öz Referansı Görselleştirme
Aşağıdaki örnekte, model ritmik olarak ilginç bir tremolo motifi (açılış görselleştirmesinde kırık çizgilerle daha yoğun bölümler olarak tanımlanabilir) tanıtır, daha sonra tekrarlar ve parçada birkaç kez (gri renkli bloklarla manuel olarak işaretlenir), gerginlik oluşturmak için hızlı ardıllık oluşturur. Öz referansı görmek için, son ağırlıkların son katmanını, geçmişte hangi notların geleceği bilgilendirdiğini gösteren yaylarla görselleştirdik. Modelin dikkatini çeşitli tremolo blokları arasında yoğunlaştırdığını ve daha az alakalı olan bölümleri dizelerden atlayabildiğini bu videodan görüyoruz:
Müzik Transformatörü
Adam Ive Müzik Transformatörü, motifin dışında birden fazla nota öbeği oluşturarak, tutarlı bir stille üretime devam edebilir. Adam, farklı bir dizede aynı motifi alan modeli gösteren iki örnek daha verir. Bu, kullanıcıların kendi astarlarını belirleme ve modeli bir dizi olası sürekliliği keşfetmek için yaratıcı bir araç olarak kullanma potansiyelini destekler.
Adam Ive
Adam Ive Müzik Transformatörü, örnek aldığı sanatçıların şarkılarını veya sisteme yüklenen midileri şarkıya dönüştüren yapay zekadır. Adam Ive’in ürettiği tüm şarkılara aşağıdan göz atabilirsiniz.
Adam Ive Müzik Transformatörü
Adam Ive’i kullanmak için herhangi bir program indirmenize gerek yok! Doğrudan tarayıcınızda çalışacaktır.
Araştırma makalesi ve sistemin çalışma prensibini anlamanız için bir makale hazırladık okumaya ne dersin?