Apple, görüntüleri metin açıklamalarına göre düzenlemek için tasarlanmış bir makine öğrenimi modeli olan MGIE'yi (MLLM-Kılavuzlu Görüntü Düzenleme) yayınladı. Sinir ağı, Santa Barbara'daki Kaliforniya Üniversitesi'ndeki araştırmacılarla ortaklaşa geliştirildi.
MGIE, birden fazla veri türüyle çalışabilen çok modlu bir modeldir. Örneğin bir sinir ağı, doğal dildeki komutları, orijinal bir fotoğraftaki görüntüleri tanıyabilir ve bir yayılma modeli kullanarak yeni nesneler üretebilir. Bu yaklaşım, birkaç görevi tek bir sinir ağında birleştirmenize olanak tanır.
MGIE modeli, yapılması gereken değişikliklerin bir görüntüsünü ve metin açıklamasını girdi olarak alır. Bundan sonra sinir ağı, kullanıcının talimatlarını dikkate alarak görüntüyü yeniden çizer. Örneğin fotoğrafa daha fazla yeşillik eklenmesini, bazı nesnelerin kaldırılmasını veya yenilerinin eklenmesini isteyebilirsiniz.
Apple mühendisleri, arxiv.org portalında projenin temelini oluşturan araştırmanın ayrıntılarını yayınladı. Kod ve ağırlıklar açık bir GitHub deposunda mevcuttur. Hugging Face'te meraklılar MGIE'yi temel alan bir test web uygulaması kullandılar.
bbabo.Net