Son dönemde akıllı telefon üreticileri cihazlarında yapay zekâ özellikleri kullanmak için büyük yatırımlar yapıyor. Meta da mobil cihazlar, tabletler gibi kapasitesi kısıtlı olan araçlar için daha kompakt bir dil modeli inşa ediyor. Bu modelle birlikte verimli yapay zekânın boyutları değişiyor.
Meta Reality Labs ekibi, PyTorch ve Meta AI Research (FAIR) çalışanlarından, 1 milyardan daha az parametrenin olduğu bir modeli geliştirmek için ortak bir ekip kuruldu. Bu model, GPT-4 gibi büyük modellerin binde biri kadar kalıyor. GPT-4, 1 trilyondan fazla parametreye sahip.
Yapay zekâ küçülüyor!
Konuyla ilgili olarak X üzerinden bir paylaşım yapan Meta’nın baş yapay zekâ bilimcisi Yann LeCun, araştırmanın detaylarını paylaştı. MobileLLM adlı dil modeli, akıllı telefonlar ve diğer cihazlara yapay zekâ getirecek.
Yapılan çalışmaya göre daha küçük modeller, genişlikten ziyade derinliği öne alarak model performansını arttırıyor. Ayrıca gelişmiş ağırlık paylaşım teknikleri kullanılarak depolama kısıtı olan cihazlarda verimliliği arttırabildiklerini ifade etti. Bu süreçte de gömülü paylaşım, gruplanmış kuyruk sorgu ve bloklu ağırlık paylaşımı ile dikkatleri çekti.
Araştırmada dikkat çeken bir başka nokta ise sadece 350 milyon parametre ile MobileLLM’in 7 milyar parametrelik LLaMA-2 modeli ile başabaş bir performans sergiledi.
