Google, tamamen çevrimdışı çalışan AI Edge Gallery uygulamasını telefonlarda tanıttı.

Google, 31/5 tarihinden itibaren AI Edge Gallery'yi sessizce üretti; bu, akıllı telefon üzerinde yer alan, internet gerektirmeyen ve Big Tech sunucularıyla veri paylaşmayan bir AI uygulamasıdır.

• Açık kaynaklı uygulama (Apache 2.0) şu anda GitHub'da mevcut, Android ile başladı, iOS yakında çıkacak.
• Gemma 3n gibi AI modellerini tamamen çevrimdışı çalıştırmak, görüntü analizi yapmaktan kod yazmaya kadar sadece telefon donanımını kullanarak.
• Ana özellikler şunlardır: AI Chat (sohbet), Ask Image (görüntü analizi), Prompt Lab (tek görevler için metin yeniden yazma).
• Kullanıcılar, Hugging Face'den model indirebilir, ancak .task formatı ile sınırlıdır, rakipleri kadar çok desteklenmemektedir.
• Performans: Küçük model hızlı, akıcı çalışıyor (~20 token/saniye CPU, 100'den fazla token/saniye GPU), GPT-3.5'in ilk versiyonu kadar iyi karşılıyor.
• Büyük avantaj: ağ gerektirmiyor, yüksek güvenlik, verilerini özel tutmak isteyen kullanıcılar için uygun, doktorlar, gazeteciler gibi.
• Kısıtlamalar: büyük bellek ( büyük model yaklaşık 4,4 GB), 4096 token'lık bağlam penceresi sınırı, model çeşitliliği yok, GPU bazen CPU'dan daha düşük doğrulukta.
• Merkezi hizmetler gibi sıkı sansür korkusu yok, basit bir jailbreak kullanılabilir.
• Bulut ücreti yok, sadece telefon kaynaklarını kullanarak maliyet tasarrufu.

Özetle, uygulama güvenlik AI'sına ihtiyaç duyan, internete bağlı olmayan veya offline AI modelini test etmek isteyen kişiler için uygundur, ancak hız ve deneyim modern bulut AI hizmetleri ile karşılaştırılamaz.