Google готує нову можливість для Gemini на Android, яка дозволить асистенту самостійно взаємодіяти з додатками на смартфоні. Йдеться про так звану «автоматизацію екрана» — інструмент, що дасть змогу штучному інтелекту виконувати дії від імені користувача, зокрема оформлювати замовлення або бронювати поїздки. Повідомляє сайт Kirovograd з посиланням на 9to5google.
Інформація про функцію з’явилася після аналізу бета-версії додатка Google 17.4 у межах проєкту APK Insight, який передбачає декомпіляцію APK-файлів для виявлення можливих майбутніх змін. Google офіційно не підтверджував запуск цієї функції, однак наявні рядки коду вказують на активну розробку.
Функція «Виконуйте завдання за допомогою Gemini»
У коді бета-версії згадується експериментальна функція з лабораторії Gemini під назвою «Виконуйте завдання за допомогою Gemini». Вона має внутрішнє кодове ім’я bonobo. Згідно з описом, Gemini зможе допомагати з такими діями, як розміщення онлайн-замовлень або бронювання поїздок, використовуючи автоматизацію екрана в окремих додатках, встановлених на пристрої.
Цей механізм базується на можливостях Android 16 QPR3 і буде доступний не у всіх застосунках. Система працюватиме шляхом аналізу інтерфейсу та послідовного виконання дій, які зазвичай здійснює користувач вручну.
Контроль користувача та обмеження відповідальності
Google застерігає, що Gemini може допускати помилки під час виконання завдань. Компанія наголошує: відповідальність за дії асистента несе користувач. У будь-який момент автоматизацію можна зупинити та взяти керування на себе.
Функцію не рекомендують використовувати в екстрених ситуаціях або для операцій, що передбачають роботу з чутливою інформацією.
Політика конфіденційності та обробка даних
Під час взаємодії Gemini з додатками система може робити знімки екрана. Згідно з попередженням Google, ці скриншоти можуть перевірятися кваліфікованими спеціалістами та використовуватися для покращення сервісів компанії, якщо в обліковому записі активована опція Keep Activity.
Користувачам радять не вводити дані для входу в облікові записи або платіжну інформацію в чатах Gemini та уникати автоматизації завдань, пов’язаних із конфіденційними даними.
Інтеграція «wasabi» та робота з аватарами
Окрім автоматизації екрана, у коді бета-версії також виявлено згадки про іншу функцію під кодовою назвою wasabi. Це може бути пов’язано з інтеграцією 3D-аватарів — аналогічних тим, які використовуються в Android XR та під час дзвінків у Google Meet.
Окремі рядки коду вказують на можливість надсилання запиту для створення або використання зображення, а також повідомлення про готовність аватара та повторне знімання.