Bilim adamları, bir bilgisayarı müzik dinleyen birinin beyin aktivitesini analiz edecek ve şarkıyı yeniden yaratmak için yalnızca bu sinirsel kalıplara dayanarak eğittiler.
Salı günü yayınlanan soruşturma, Pink Floyd’un 1979 tarihli “Another Brick in the Wall (Part 1)” adlı şarkısının sessiz de olsa tanınabilir bir versiyonunu buldu.
Daha önce araştırmacılar, birinin dinlediği şarkıya benzer özelliklere sahip müziği yeniden oluşturmak için beyin aktivitesini nasıl kullanacaklarını bulmuşlardı. Şanghay’da bir araştırma laboratuvarına başkanlık eden ve bu çalışma için veri toplayan sinirbilimci Gerwin Schalk, “Artık beyni gerçekten dinleyebilir ve o kişinin duyduğu müziği yeniden yaratabilirsiniz” dedi.
Araştırmacılar ayrıca beynin şakak lobunda, gönüllüler şarkının gitar ritminin on altıncı notalarını duyduğunda yanıt veren bir yer buldular. Bu özel alanın ritim algımızla ilgili olabileceğini öne sürdüler.
Sonuçlar, konuşamayan insanları desteklemek için daha anlamlı cihazlar geliştirmeye yönelik ilk adımı sunuyor. Son yıllarda bilim adamları, felçli insanların beyinlerinin konuşmaya çalıştıklarında ürettikleri elektrik sinyallerinden kelimeler çıkarma konusunda büyük ilerlemeler kaydettiler.
Ancak dil tarafından iletilen bilgilerin önemli bir kısmı, dilbilimcilerin “ton” gibi “prozodik” dediği unsurlardan gelir – “bizi robot değil, canlı bir konuşmacı yapan şeyler” dedi Dr. haydut
Bilim adamları, beynin müziği nasıl metabolize ettiğini daha iyi anlayarak, ses üretimini etkileyen nörolojik rahatsızlıkları olan insanlar için yeni “konuşma protezleri” geliştirmeyi umuyorlar. Bu cihazların amacı sadece birinin söylemeye çalıştığı şeyi yeniden üretmek değil, aynı zamanda organik konuşmanın müzikalitesini, ritmini ve duygusunu korumaktır.
Araştırma için veri toplamak amacıyla araştırmacılar, 2009’dan 2015’e kadar New York’un taşrasındaki Albany Tıp Merkezi’nde 29 epilepsi hastasının beyinlerini kaydetti.
Epilepsi tedavisinin bir parçası olarak hastaların beyinlerine çivi benzeri elektrotlar yerleştirildi. Bu, sinirbilimcilere müzik dinlerken beyin aktivitelerini kaydetmek için nadir bir fırsat verdi.
Ekip, Pink Floyd’un şarkısını kısmen yaşlı hastaların beğendiği için seçti. “‘Bu saçmalıkları dinleyemem’ deselerdi, o zaman veriler berbat olurdu,” dedi Dr. haydut Buna ek olarak şarkı, 41 saniyelik şarkı sözleri ve iki buçuk dakikalık karamsar enstrümantal parçalar içeriyor; bu, beynin kelimeleri ve melodileri nasıl işlediğini keşfetmek için yararlı bir kombinasyon.
UC Berkeley’de ekibe liderlik eden bir sinirbilimci olan Robert Knight, doktora sonrası öğrencilerinden biri olan Ludovic Bellier’den müziği yeniden yapılandırmak için veri setini kullanmasını istedi “çünkü o bir gruptaydı.” dedi doktor Şövalye. Laboratuar, kelime yeniden yapılandırması üzerinde zaten benzer bir çalışma yapmıştı.
Her hastanın verilerini analiz ederek, Dr. Bellier, şarkı sırasında beynin hangi bölümlerinin yandığını ve bu alanların hangi frekanslara tepki verdiğini belirledi.
Bir görüntünün çözünürlüğü piksel sayısına bağlı olduğu gibi, bir ses kaydının kalitesi de temsil edebileceği frekans sayısına bağlıdır. Araştırmacılar, “Duvardaki Başka Bir Tuğla”yı okunaklı bir şekilde yeniden oluşturmak için 128 frekans bandı kullandılar. Bu, hepsi şarkıya odaklanan 128 bilgisayar modelinin eğitilmesi anlamına geliyordu.
Araştırmacılar daha sonra dört ayrı beyinden elde edilen sonuçları model üzerinden yürüttüler. Ortaya çıkan rekreasyonların tümü, fark edilebilir bir şekilde Pink Floyd şarkısına dayanıyordu, ancak belirgin farklılıklar vardı. Araştırmacılar, hasta elektrot yerleşiminin büyük olasılıkla varyansın çoğunu açıkladığını, ancak bir kişinin müzisyen olup olmadığı gibi kişisel özelliklerin de rol oynadığını söyledi.
Veriler, bireysel beyin hücresi kümelerinden ince taneli desenler yakaladı. Bununla birlikte, yaklaşım da sınırlıydı: Bilim adamları, beyin aktivitesini yalnızca doktorların nöbet aramak için elektrotlar yerleştirdiği yerlerde görebiliyordu. Replika şarkıların su altında çalınıyormuş gibi ses çıkarmasının sebeplerinden biri de budur.
Diğer gruplar, işlevsel manyetik rezonans görüntüleme veya fMRI gibi, daha az ayrıntılı bir aktivite ölçümü sağlayan ancak tüm beyni tarayan invazif olmayan beyin tarayıcıları kullanarak benzer deneyler yürütüyor.
Osaka Üniversitesi’nde sinirbilimci olan Yu Takagi, bu yıl Google’daki bilim insanlarıyla birlikte çalışarak bir gönüllünün beyin tarayıcısında dinlediği müzik türünü belirlemek için fMRI verilerini kullandı.
doktor Takagi, yeni çalışmanın önemli olduğunu çünkü nispeten az sayıda sinir kümesinden anlamlı verilerin toplanabileceğini gösterdiğini söyledi. “Kaliteli bir şey yapmak için o kadar çok elektrota ihtiyacınız yok” dedi.
Yeni araştırma, müziği konuşmadan neyin ayırdığının da altını çizdi. Çalışma katılımcıları bir şarkı duyduğunda, sağ yarım küre soldan daha fazla dahil olma eğilimindeyken, insanlar basit bir dil duyduğunda bunun tersi doğrudur. Daha önceki araştırmaları yansıtan bu bulgu, iyi konuşamayan bazı inme hastalarının neden cümleleri net bir şekilde söyleyebildiğini açıklamaya yardımcı olur.
Beynin şarkı sözlerini müzikten nasıl ayırdığını keşfetmek için beyin taramalarını kullanan McGill Üniversitesi’nden sinirbilimci Robert Zatorre, “Bu bir mühendislik harikası” dedi. Ama birinin kafasından bir şarkı çalmak? “Bu çok ilginç bir katkı” dedi.
Salı günü yayınlanan soruşturma, Pink Floyd’un 1979 tarihli “Another Brick in the Wall (Part 1)” adlı şarkısının sessiz de olsa tanınabilir bir versiyonunu buldu.
Daha önce araştırmacılar, birinin dinlediği şarkıya benzer özelliklere sahip müziği yeniden oluşturmak için beyin aktivitesini nasıl kullanacaklarını bulmuşlardı. Şanghay’da bir araştırma laboratuvarına başkanlık eden ve bu çalışma için veri toplayan sinirbilimci Gerwin Schalk, “Artık beyni gerçekten dinleyebilir ve o kişinin duyduğu müziği yeniden yaratabilirsiniz” dedi.
Araştırmacılar ayrıca beynin şakak lobunda, gönüllüler şarkının gitar ritminin on altıncı notalarını duyduğunda yanıt veren bir yer buldular. Bu özel alanın ritim algımızla ilgili olabileceğini öne sürdüler.
Sonuçlar, konuşamayan insanları desteklemek için daha anlamlı cihazlar geliştirmeye yönelik ilk adımı sunuyor. Son yıllarda bilim adamları, felçli insanların beyinlerinin konuşmaya çalıştıklarında ürettikleri elektrik sinyallerinden kelimeler çıkarma konusunda büyük ilerlemeler kaydettiler.
Ancak dil tarafından iletilen bilgilerin önemli bir kısmı, dilbilimcilerin “ton” gibi “prozodik” dediği unsurlardan gelir – “bizi robot değil, canlı bir konuşmacı yapan şeyler” dedi Dr. haydut
Bilim adamları, beynin müziği nasıl metabolize ettiğini daha iyi anlayarak, ses üretimini etkileyen nörolojik rahatsızlıkları olan insanlar için yeni “konuşma protezleri” geliştirmeyi umuyorlar. Bu cihazların amacı sadece birinin söylemeye çalıştığı şeyi yeniden üretmek değil, aynı zamanda organik konuşmanın müzikalitesini, ritmini ve duygusunu korumaktır.
Araştırma için veri toplamak amacıyla araştırmacılar, 2009’dan 2015’e kadar New York’un taşrasındaki Albany Tıp Merkezi’nde 29 epilepsi hastasının beyinlerini kaydetti.
Epilepsi tedavisinin bir parçası olarak hastaların beyinlerine çivi benzeri elektrotlar yerleştirildi. Bu, sinirbilimcilere müzik dinlerken beyin aktivitelerini kaydetmek için nadir bir fırsat verdi.
Ekip, Pink Floyd’un şarkısını kısmen yaşlı hastaların beğendiği için seçti. “‘Bu saçmalıkları dinleyemem’ deselerdi, o zaman veriler berbat olurdu,” dedi Dr. haydut Buna ek olarak şarkı, 41 saniyelik şarkı sözleri ve iki buçuk dakikalık karamsar enstrümantal parçalar içeriyor; bu, beynin kelimeleri ve melodileri nasıl işlediğini keşfetmek için yararlı bir kombinasyon.
UC Berkeley’de ekibe liderlik eden bir sinirbilimci olan Robert Knight, doktora sonrası öğrencilerinden biri olan Ludovic Bellier’den müziği yeniden yapılandırmak için veri setini kullanmasını istedi “çünkü o bir gruptaydı.” dedi doktor Şövalye. Laboratuar, kelime yeniden yapılandırması üzerinde zaten benzer bir çalışma yapmıştı.
Her hastanın verilerini analiz ederek, Dr. Bellier, şarkı sırasında beynin hangi bölümlerinin yandığını ve bu alanların hangi frekanslara tepki verdiğini belirledi.
Bir görüntünün çözünürlüğü piksel sayısına bağlı olduğu gibi, bir ses kaydının kalitesi de temsil edebileceği frekans sayısına bağlıdır. Araştırmacılar, “Duvardaki Başka Bir Tuğla”yı okunaklı bir şekilde yeniden oluşturmak için 128 frekans bandı kullandılar. Bu, hepsi şarkıya odaklanan 128 bilgisayar modelinin eğitilmesi anlamına geliyordu.
Araştırmacılar daha sonra dört ayrı beyinden elde edilen sonuçları model üzerinden yürüttüler. Ortaya çıkan rekreasyonların tümü, fark edilebilir bir şekilde Pink Floyd şarkısına dayanıyordu, ancak belirgin farklılıklar vardı. Araştırmacılar, hasta elektrot yerleşiminin büyük olasılıkla varyansın çoğunu açıkladığını, ancak bir kişinin müzisyen olup olmadığı gibi kişisel özelliklerin de rol oynadığını söyledi.
Veriler, bireysel beyin hücresi kümelerinden ince taneli desenler yakaladı. Bununla birlikte, yaklaşım da sınırlıydı: Bilim adamları, beyin aktivitesini yalnızca doktorların nöbet aramak için elektrotlar yerleştirdiği yerlerde görebiliyordu. Replika şarkıların su altında çalınıyormuş gibi ses çıkarmasının sebeplerinden biri de budur.
Diğer gruplar, işlevsel manyetik rezonans görüntüleme veya fMRI gibi, daha az ayrıntılı bir aktivite ölçümü sağlayan ancak tüm beyni tarayan invazif olmayan beyin tarayıcıları kullanarak benzer deneyler yürütüyor.
Osaka Üniversitesi’nde sinirbilimci olan Yu Takagi, bu yıl Google’daki bilim insanlarıyla birlikte çalışarak bir gönüllünün beyin tarayıcısında dinlediği müzik türünü belirlemek için fMRI verilerini kullandı.
doktor Takagi, yeni çalışmanın önemli olduğunu çünkü nispeten az sayıda sinir kümesinden anlamlı verilerin toplanabileceğini gösterdiğini söyledi. “Kaliteli bir şey yapmak için o kadar çok elektrota ihtiyacınız yok” dedi.
Yeni araştırma, müziği konuşmadan neyin ayırdığının da altını çizdi. Çalışma katılımcıları bir şarkı duyduğunda, sağ yarım küre soldan daha fazla dahil olma eğilimindeyken, insanlar basit bir dil duyduğunda bunun tersi doğrudur. Daha önceki araştırmaları yansıtan bu bulgu, iyi konuşamayan bazı inme hastalarının neden cümleleri net bir şekilde söyleyebildiğini açıklamaya yardımcı olur.
Beynin şarkı sözlerini müzikten nasıl ayırdığını keşfetmek için beyin taramalarını kullanan McGill Üniversitesi’nden sinirbilimci Robert Zatorre, “Bu bir mühendislik harikası” dedi. Ama birinin kafasından bir şarkı çalmak? “Bu çok ilginç bir katkı” dedi.