Google представив додаток AI Edge Gallery, AI працює повністю офлайн на телефоні

Google тихо випустив AI Edge Gallery з 31/5, додаток AI, який розташований прямо на смартфоні, не потребує інтернету або обміну даними з сервером Big Tech.

• Відкрите програмне забезпечення (Apache 2.0) вже доступне на GitHub, починаючи з Android, iOS незабаром вийде.
• Запускати моделі ШІ, такі як Gemma 3n, повністю офлайн, обробляти від аналізу зображень до написання коду, використовуючи лише апаратне забезпечення телефону.
• Основні функції включають: AI Chat (розмова), Ask Image (аналіз зображення), Prompt Lab (окремі задачі, такі як переписування тексту).
• Користувачі можуть завантажувати моделі з Hugging Face, але обмежено форматом .task, не підтримує стільки, скільки конкуренти.
• Продуктивність: Малий модель працює швидко, плавно (~20 токенів/секунду CPU, більше 100 токенів/секунду GPU), відповідає добре як GPT-3.5 першого покоління.
• Великі переваги: не потрібно мережі, висока безпека, підходить для користувачів, які потребують зберігати приватні дані, такі як лікарі, журналісти.
• Обмеження: велика пам'ять (велика модель близько 4,4 ГБ), обмежене вікно контексту 4096 токенів, модель ще не різноманітна, GPU іноді менш точний, ніж CPU.
• Не потрібно турбуватися про сувору цензуру, як у централізованих сервісах, можна використовувати простий jailbreak.
• Економте кошти, оскільки немає витрат на хмару, використовуйте лише ресурси телефону.

Підсумовуючи, додаток підходить для тих, хто потребує безпеки штучного інтелекту, не підключаючись до мережі, або тестування моделей штучного інтелекту в оффлайн-режимі, хоча швидкість та досвід поки що не можуть зрівнятися з сучасними хмарними послугами штучного інтелекту.