Bilgisayar bilimcisi Trieu Trinh, dört yıldır bir tür meta-matematik problemiyle uğraşıyor: Dünyanın matematik açısından en yetenekli lise öğrencilerinin katıldığı her yıl düzenlenen Uluslararası Matematik Olimpiyatları'ndaki geometri problemlerini çözen bir yapay zeka modelini nasıl oluşturursunuz? .
Geçen hafta Dr. Trinh bu konudaki doktora tezini New York Üniversitesi'nde başarıyla tamamladı; Bu hafta çalışmasının sonuçlarını Nature dergisinde anlattı. AlphaGeometry adı verilen sistem, Olimpiyat geometri problemlerini altın madalyalı bir insanın seviyesine yakın bir seviyede çözüyor.
Projeyi geliştirirken Dr. Trinh, bu konuyu Google'daki iki araştırmacı bilim adamına sundu ve onlar da kendisini 2021'den 2023'e kadar doktor asistanı olarak işe aldılar. AlphaGeometry, Google DeepMind'ın büyük zorlukların üstesinden gelmesiyle tanınan yapay zeka sistemleri filosuna katılıyor. Belki de en ünlüsü, derin öğrenme algoritması AlphaZero'nun 2017'de satranç oyununu fethetmesiydi. Matematik daha zor bir problemdir çünkü çözüme giden olası yolların sayısı bazen sonsuzdur; Satranç her zaman sınırlıdır.
“Çıkmaz sokaklara çarpmaya ve yanlış yola sapmaya devam ediyordum” dedi Dr. Trinh, projenin baş yazarı ve itici gücü.
Makalenin ortak yazarları Dr. Trinh'in doktora danışmanı New York Üniversitesi'nden He He; xAI'nin (eski adıyla Google'dı) kurucu ortağı ve 2019'da bağımsız olarak benzer bir fikri keşfetmeye başlayan Tony olarak bilinen Yuhuai Wu; Baş araştırmacı Thang Luong ve Quoc Le, her ikisi de Google DeepMind'dan.
Dr. Trinh'in ısrarı meyvesini verdi. “Kademeli iyileştirmeler yapmıyoruz” dedi. “Sonuçlar açısından büyük bir atılım, büyük bir atılım yapıyoruz.”
“Sadece aşırıya kaçmayın” dedi.
Büyük sıçrama
Dr. Trinh, AlphaGeometry sistemini 2000'den 2022'ye kadar 30 Olimpik geometri probleminden oluşan bir test seti ile sundu. Sistem 25'i çözdü; Tarihsel olarak, ortalama bir altın madalya sahibi aynı dönemde 25,9 çözdü. Dr. Trinh ayrıca problemleri 1970'lerde geliştirilen ve geometri teoremlerinin en güçlü kanıtlayıcısı olarak bilinen bir sisteme verdi; 10'u çözdü.
Son yıllarda Google DeepMind, yapay zekanın matematikte uygulanmasını araştıran bir dizi proje yürüttü. Ve daha geniş anlamda, bu araştırma alanında Olimpiyat matematik problemleri bir referans noktası olarak benimsenmiştir; OpenAI ve Meta AI bazı sonuçlar elde etti. Daha fazla motivasyon için, IMO Büyük Yarışması ve Kasım ayında duyurulan yeni bir yarışma olan Yapay Zeka Matematik Olimpiyatı Ödülü var; Olimpiyatta altın kazanan ilk yapay zekaya 5 milyon dolar para ödülü verilecek.
AlphaGeometry makalesi, Olimpiyat teoremlerinin kanıtlarının “insan düzeyinde otomatik akıl yürütmede dikkate değer bir kilometre taşını temsil ettiği” iddiasıyla başlıyor. Edinburgh Üniversitesi'nde matematik ve bilim tarihçisi olan Michael Barany, bunun matematiksel açıdan önemli bir dönüm noktası olup olmadığını merak ettiğini söyledi. “IMO'nun test ettiği şey, yaratıcı matematiğin matematikçilerin büyük çoğunluğu için neye benzediğinden çok farklı” dedi.
Los Angeles'taki California Üniversitesi'nden matematikçi ve 12 yaşındaki en genç Olimpiyat altın madalyalı Terence Tao, AlphaGeometry'nin “iyi bir iş” olduğunu düşündüğünü ve “şaşırtıcı derecede iyi sonuçlar” elde ettiğini söyledi. Olimpiyat sorunlarını çözmek için bir yapay zeka sistemine ince ayar yapmanın derin araştırma yeteneklerini geliştirmeyebileceğini ancak bu durumda yolculuğun varış noktasından daha değerli olabileceğini söyledi.
Dr. Trinh, matematiksel düşünme düşünmenin yollarından sadece bir tanesi ama kolaylıkla doğrulanabilme avantajına sahip. “Matematik gerçeğin dilidir” dedi. “Bir yapay zeka oluşturmak istiyorsanız, özellikle “güvenlik açısından kritik uygulamalar” için, güvenebileceğiniz, gerçeği arayan, güvenilir bir yapay zeka oluşturmak önemlidir.
Kavramsal kanıt
AlphaGeometry “nörosimgesel” bir sistemdir. Bir sinir ağı dil modelini (ChatGPT gibi yapay sezgi için iyi, ancak daha küçük) sembolik bir motorla (bir tür mantık hesaplayıcı gibi yapay akıl yürütme için iyi) birleştirir.
Ve geometri için özel olarak tasarlandı. Fordham Üniversitesi'nden geometri uzmanı ve hesaplamalı düşünme uzmanı Heather Macbeth, “Öklid geometrisi, otomatik düşünme için güzel bir test ortamıdır çünkü sabit kuralları olan bağımsız bir alanı temsil eder” dedi. (Dr. Macbeth gençliğinde iki IMO madalyası kazandı.) AlphaGeometry “iyi bir ilerlemeyi temsil ediyor gibi görünüyor” dedi.
Sistemin özellikle yenilikçi iki işlevi vardır. Birincisi, sinir ağı yalnızca algoritmik olarak oluşturulmuş veriler (100 milyonluk geometrik kanıt) üzerinde eğitiliyor ve insan örneği yok. Sıfırdan oluşturulan sentetik verilerin kullanılması, otomatik teorem kanıtlamanın önündeki engelin üstesinden geldi: makine tarafından okunabilen bir dile çevrilmiş, insanlar için güvenli eğitim verilerinin eksikliği. “Dürüst olmak gerekirse ilk başta bunun nasıl çalışacağı konusunda bazı şüphelerim vardı” dedi Dr. Hey.
İkincisi, AlphaGeometry bir problemin üstesinden gelir gelmez sembolik motor onu çözmeye başladı. Sıkıştığında sinir ağı kanıt argümanını genişletmenin yollarını önerdi. Döngü, bir çözüme ulaşılana kadar veya süre dolana kadar (dört buçuk saat) devam etti. Matematik dilinde bu genişleme sürecine “yardımcı yapı” denir. Bir çizgi eklemek, bir açıyı ikiye bölmek, bir daire çizmek; ister öğrenci ister elit olsun matematikçiler bu şekilde tamir eder ve bir problemi çözmeye çalışırlar. Bu sistemde sinir ağı, yardımcı yapıları insan benzeri bir şekilde gerçekleştirmeyi öğrendi. Dr. Trinh bunu, elinize daha iyi kavrama sağlamak için inatçı bir kavanoz kapağının etrafına lastik bant sarmaya benzetti.
xAI'nin kurucu ortağı ve eski Google'ın kurucusu Christian Szegedy, “Bu, konseptin çok ilginç bir kanıtı” dedi. Ancak bunun “pek çok soruyu cevapsız bıraktığını” ve “diğer alanlara ve matematiğin diğer alanlarına kolayca aktarılamadığını” söyledi.
Dr. Trinh, sistemi matematik alanlarına ve ötesine genelleştirmeye çalışacağını söyledi. Bir adım geri çekilip her türlü değerlendirmenin “ortak mantığı” üzerine düşünmek istediğini söyledi.
Collège de France'ta temel geometrik bilgiyi keşfetmeye ilgi duyan bilişsel sinir bilimci Stanislas Dehaene, AlphaGeometry'nin performansından etkilendiğini söyledi. Ancak “çözdüğü sorunların hiçbirini 'görmediğini'', bunun yerine yalnızca görüntülerin mantıksal ve sayısal kodlamalarını aldığını belirtti. (Çalışmadaki çizimler insan okuyucuya yöneliktir.) “Sistemin manipüle etmeyi öğrendiği dairelerin, çizgilerin ve üçgenlerin mekansal algısı kesinlikle yoktur” dedi Dr. Dehaene. Araştırmacılar görsel bir bileşenin değerli olabileceği konusunda hemfikirdi; Dr. Luong, Google'ın hem metin hem de görselleri alan “multimodal” bir sistemi olan Gemini kullanılarak yıl içinde potansiyel olarak eklenebileceğini söyledi.
Duygusal çözümler
Aralık ayının başında Dr. Luong, Vietnam'ın Ho Chi Minh Şehrindeki eski lisesini ziyaret etti ve eski öğretmeni ve IMO eğitmeni Le Ba Khanh Trinh'e AlphaGeometri'yi gösterdi. Dr. Lê, 1979 Olimpiyatları'nda en iyi altın madalya sahibi oldu ve zarif geometri çözümüyle özel bir ödül kazandı. Dr. Lê, AlphaGeometry'nin kanıtlarından birini analiz etti ve onu dikkate değer ancak yetersiz buldu. Dr. Luong şunları hatırladı: “Bunu mekanik buldu ve aradığı çözümün ruhundan, güzelliğinden yoksun olduğunu söyledi.”
Dr. Trinh daha önce MIT'de matematik doktora öğrencisi, IMO koçu ve Olimpiyat altın madalyası sahibi Evan Chen'den AlphaGeometry'nin bazı çalışmalarını gözden geçirmesini istemişti. Bunun doğru olduğunu söyleyen Bay Chen, sistemin çözümleri bulma şekline hayran kaldığını da sözlerine ekledi.
“Makinenin bunu nasıl bulduğunu bilmek isterim” dedi. “Ama demek istediğim, insanların çözümlere nasıl ulaştıklarını da bilmek isterim.”
Geçen hafta Dr. Trinh bu konudaki doktora tezini New York Üniversitesi'nde başarıyla tamamladı; Bu hafta çalışmasının sonuçlarını Nature dergisinde anlattı. AlphaGeometry adı verilen sistem, Olimpiyat geometri problemlerini altın madalyalı bir insanın seviyesine yakın bir seviyede çözüyor.
Projeyi geliştirirken Dr. Trinh, bu konuyu Google'daki iki araştırmacı bilim adamına sundu ve onlar da kendisini 2021'den 2023'e kadar doktor asistanı olarak işe aldılar. AlphaGeometry, Google DeepMind'ın büyük zorlukların üstesinden gelmesiyle tanınan yapay zeka sistemleri filosuna katılıyor. Belki de en ünlüsü, derin öğrenme algoritması AlphaZero'nun 2017'de satranç oyununu fethetmesiydi. Matematik daha zor bir problemdir çünkü çözüme giden olası yolların sayısı bazen sonsuzdur; Satranç her zaman sınırlıdır.
“Çıkmaz sokaklara çarpmaya ve yanlış yola sapmaya devam ediyordum” dedi Dr. Trinh, projenin baş yazarı ve itici gücü.
Makalenin ortak yazarları Dr. Trinh'in doktora danışmanı New York Üniversitesi'nden He He; xAI'nin (eski adıyla Google'dı) kurucu ortağı ve 2019'da bağımsız olarak benzer bir fikri keşfetmeye başlayan Tony olarak bilinen Yuhuai Wu; Baş araştırmacı Thang Luong ve Quoc Le, her ikisi de Google DeepMind'dan.
Dr. Trinh'in ısrarı meyvesini verdi. “Kademeli iyileştirmeler yapmıyoruz” dedi. “Sonuçlar açısından büyük bir atılım, büyük bir atılım yapıyoruz.”
“Sadece aşırıya kaçmayın” dedi.
Büyük sıçrama
Dr. Trinh, AlphaGeometry sistemini 2000'den 2022'ye kadar 30 Olimpik geometri probleminden oluşan bir test seti ile sundu. Sistem 25'i çözdü; Tarihsel olarak, ortalama bir altın madalya sahibi aynı dönemde 25,9 çözdü. Dr. Trinh ayrıca problemleri 1970'lerde geliştirilen ve geometri teoremlerinin en güçlü kanıtlayıcısı olarak bilinen bir sisteme verdi; 10'u çözdü.
Son yıllarda Google DeepMind, yapay zekanın matematikte uygulanmasını araştıran bir dizi proje yürüttü. Ve daha geniş anlamda, bu araştırma alanında Olimpiyat matematik problemleri bir referans noktası olarak benimsenmiştir; OpenAI ve Meta AI bazı sonuçlar elde etti. Daha fazla motivasyon için, IMO Büyük Yarışması ve Kasım ayında duyurulan yeni bir yarışma olan Yapay Zeka Matematik Olimpiyatı Ödülü var; Olimpiyatta altın kazanan ilk yapay zekaya 5 milyon dolar para ödülü verilecek.
AlphaGeometry makalesi, Olimpiyat teoremlerinin kanıtlarının “insan düzeyinde otomatik akıl yürütmede dikkate değer bir kilometre taşını temsil ettiği” iddiasıyla başlıyor. Edinburgh Üniversitesi'nde matematik ve bilim tarihçisi olan Michael Barany, bunun matematiksel açıdan önemli bir dönüm noktası olup olmadığını merak ettiğini söyledi. “IMO'nun test ettiği şey, yaratıcı matematiğin matematikçilerin büyük çoğunluğu için neye benzediğinden çok farklı” dedi.
Los Angeles'taki California Üniversitesi'nden matematikçi ve 12 yaşındaki en genç Olimpiyat altın madalyalı Terence Tao, AlphaGeometry'nin “iyi bir iş” olduğunu düşündüğünü ve “şaşırtıcı derecede iyi sonuçlar” elde ettiğini söyledi. Olimpiyat sorunlarını çözmek için bir yapay zeka sistemine ince ayar yapmanın derin araştırma yeteneklerini geliştirmeyebileceğini ancak bu durumda yolculuğun varış noktasından daha değerli olabileceğini söyledi.
Dr. Trinh, matematiksel düşünme düşünmenin yollarından sadece bir tanesi ama kolaylıkla doğrulanabilme avantajına sahip. “Matematik gerçeğin dilidir” dedi. “Bir yapay zeka oluşturmak istiyorsanız, özellikle “güvenlik açısından kritik uygulamalar” için, güvenebileceğiniz, gerçeği arayan, güvenilir bir yapay zeka oluşturmak önemlidir.
Kavramsal kanıt
AlphaGeometry “nörosimgesel” bir sistemdir. Bir sinir ağı dil modelini (ChatGPT gibi yapay sezgi için iyi, ancak daha küçük) sembolik bir motorla (bir tür mantık hesaplayıcı gibi yapay akıl yürütme için iyi) birleştirir.
Ve geometri için özel olarak tasarlandı. Fordham Üniversitesi'nden geometri uzmanı ve hesaplamalı düşünme uzmanı Heather Macbeth, “Öklid geometrisi, otomatik düşünme için güzel bir test ortamıdır çünkü sabit kuralları olan bağımsız bir alanı temsil eder” dedi. (Dr. Macbeth gençliğinde iki IMO madalyası kazandı.) AlphaGeometry “iyi bir ilerlemeyi temsil ediyor gibi görünüyor” dedi.
Sistemin özellikle yenilikçi iki işlevi vardır. Birincisi, sinir ağı yalnızca algoritmik olarak oluşturulmuş veriler (100 milyonluk geometrik kanıt) üzerinde eğitiliyor ve insan örneği yok. Sıfırdan oluşturulan sentetik verilerin kullanılması, otomatik teorem kanıtlamanın önündeki engelin üstesinden geldi: makine tarafından okunabilen bir dile çevrilmiş, insanlar için güvenli eğitim verilerinin eksikliği. “Dürüst olmak gerekirse ilk başta bunun nasıl çalışacağı konusunda bazı şüphelerim vardı” dedi Dr. Hey.
İkincisi, AlphaGeometry bir problemin üstesinden gelir gelmez sembolik motor onu çözmeye başladı. Sıkıştığında sinir ağı kanıt argümanını genişletmenin yollarını önerdi. Döngü, bir çözüme ulaşılana kadar veya süre dolana kadar (dört buçuk saat) devam etti. Matematik dilinde bu genişleme sürecine “yardımcı yapı” denir. Bir çizgi eklemek, bir açıyı ikiye bölmek, bir daire çizmek; ister öğrenci ister elit olsun matematikçiler bu şekilde tamir eder ve bir problemi çözmeye çalışırlar. Bu sistemde sinir ağı, yardımcı yapıları insan benzeri bir şekilde gerçekleştirmeyi öğrendi. Dr. Trinh bunu, elinize daha iyi kavrama sağlamak için inatçı bir kavanoz kapağının etrafına lastik bant sarmaya benzetti.
xAI'nin kurucu ortağı ve eski Google'ın kurucusu Christian Szegedy, “Bu, konseptin çok ilginç bir kanıtı” dedi. Ancak bunun “pek çok soruyu cevapsız bıraktığını” ve “diğer alanlara ve matematiğin diğer alanlarına kolayca aktarılamadığını” söyledi.
Dr. Trinh, sistemi matematik alanlarına ve ötesine genelleştirmeye çalışacağını söyledi. Bir adım geri çekilip her türlü değerlendirmenin “ortak mantığı” üzerine düşünmek istediğini söyledi.
Collège de France'ta temel geometrik bilgiyi keşfetmeye ilgi duyan bilişsel sinir bilimci Stanislas Dehaene, AlphaGeometry'nin performansından etkilendiğini söyledi. Ancak “çözdüğü sorunların hiçbirini 'görmediğini'', bunun yerine yalnızca görüntülerin mantıksal ve sayısal kodlamalarını aldığını belirtti. (Çalışmadaki çizimler insan okuyucuya yöneliktir.) “Sistemin manipüle etmeyi öğrendiği dairelerin, çizgilerin ve üçgenlerin mekansal algısı kesinlikle yoktur” dedi Dr. Dehaene. Araştırmacılar görsel bir bileşenin değerli olabileceği konusunda hemfikirdi; Dr. Luong, Google'ın hem metin hem de görselleri alan “multimodal” bir sistemi olan Gemini kullanılarak yıl içinde potansiyel olarak eklenebileceğini söyledi.
Duygusal çözümler
Aralık ayının başında Dr. Luong, Vietnam'ın Ho Chi Minh Şehrindeki eski lisesini ziyaret etti ve eski öğretmeni ve IMO eğitmeni Le Ba Khanh Trinh'e AlphaGeometri'yi gösterdi. Dr. Lê, 1979 Olimpiyatları'nda en iyi altın madalya sahibi oldu ve zarif geometri çözümüyle özel bir ödül kazandı. Dr. Lê, AlphaGeometry'nin kanıtlarından birini analiz etti ve onu dikkate değer ancak yetersiz buldu. Dr. Luong şunları hatırladı: “Bunu mekanik buldu ve aradığı çözümün ruhundan, güzelliğinden yoksun olduğunu söyledi.”
Dr. Trinh daha önce MIT'de matematik doktora öğrencisi, IMO koçu ve Olimpiyat altın madalyası sahibi Evan Chen'den AlphaGeometry'nin bazı çalışmalarını gözden geçirmesini istemişti. Bunun doğru olduğunu söyleyen Bay Chen, sistemin çözümleri bulma şekline hayran kaldığını da sözlerine ekledi.
“Makinenin bunu nasıl bulduğunu bilmek isterim” dedi. “Ama demek istediğim, insanların çözümlere nasıl ulaştıklarını da bilmek isterim.”