Navigasi Cockpit AI (/agent)

Antarmuka Cockpit Agent AI yang beralamat di /agent pada dasbor GoSosmed adalah pusat kendali visual terpadu untuk memantau, menguji, dan mendiagnosis interaksi antara kecerdasan buatan dan ponsel fisik Android Anda secara langsung.

Cockpit ini menjembatani apa yang sedang “dipikirkan” oleh AI Agent dengan apa yang “terjadi secara nyata” di layar ponsel.

---

Fitur Utama Cockpit Agent

+--------------------------------------------------------------------------+
|                        GoSosmed AI Cockpit (/agent)                      |
+------------------------------------+-------------------------------------+
| [1] Live Screen Mirror             | [2] Chat & Reasoning Stream         |
|     - Streaming visual canvas HP   |     - Log pemikiran LLM             |
|     - Overlay Set-of-Marks [1],[2] |     - Panggilan Tool aktif          |
|     - Indikator baterai & suhu     |     - Tombol jeda darurat           |
+------------------------------------+-------------------------------------+
| [3] Tools Inspector Drawer & Manual Playground                           |
|     - Daftar 24 tools MCP dengan eksekusi langsung via browser           |
|     - Inspeksi bounds elemen & respons JSON mentah                       |
+--------------------------------------------------------------------------+

1. Live Screen Mirror (Kanvas Layar Nyata)

Di sisi kiri Cockpit, Anda dapat melihat proyeksi layar HP Android fisik Anda secara real-time:

• Indikator Status Ponsel: Menampilkan status koneksi WebSocket, persentase daya baterai, dan status transport ADB Loopback.
• Visual Set-of-Marks Overlay: Kotak penanda elemen nomor [1], [2], [3] yang dihasilkan oleh tool annotated_screenshot dapat ditampilkan langsung di atas kanvas, memungkinkan Anda melihat elemen mana yang sedang diincar oleh AI.

2. Stream Penalaran & Log Interaksi AI

Di sisi kanan Cockpit, Anda dapat memantau percakapan dan alur kerja AI Agent:

• Melihat argumen input dan output dari setiap tool MCP yang dipanggil.
• Mengetahui tahapan alur penerbitan (misalnya: Mencari tombol Buat, Memilih video, Mengisi deskripsi, Memverifikasi tayang).

3. Tools Inspector Drawer & Playground

Di bagian bawah Cockpit, terdapat laci (drawer) interaktif untuk menguji eksekusi tool MCP secara manual tanpa harus memicu skrip bot penuh:

• Pilih tool dari menu tarik-turun (misal: click_element, replace_text, press_key).
• Masukkan parameter JSON lalu klik Jalankan Tool.
• Respon mentah dari perangkat akan langsung muncul di panel output. Sangat berguna untuk memvalidasi selektor tombol baru sebelum digunakan dalam otomasi produksi.

---

Alur Self-Healing: Penanganan Intervensi Manusia (CAPTCHA & 2FA)

Meskipun AI dirancang otonom, platform media sosial dapat sewaktu-waktu memunculkan tantangan keamanan seperti puzzle geser, verifikasi wajah, atau OTP SMS.

GoSosmed menerapkan arsitektur Fail-Closed Human-In-The-Loop:

AI memanggil check_security_challenge
               │
               ├─ Terdeteksi CAPTCHA / 2FA?
               │
               ▼ YA
Status Cockpit berubah: "Menunggu Intervensi Manusia"
Audio/Notifikasi berbunyi di browser
               │
               ▼
Pengguna menyelesaikan puzzle di HP fisik
               │
               ▼
Pengguna klik "Lanjutkan Otomasi" di Cockpit
               │
               ▼
AI melanjutkan alur posting hingga selesai

1. Deteksi Otomatis: Saat layar memunculkan dialog verifikasi keamanan, tool check_security_challenge mendeteksi pola tersebut dan menghentikan pengetukan otomatis agar akun Anda tidak terkunci.
2. Pemberitahuan Dasbor: Cockpit menampilkan kartu peringatan berwarna kuning dengan label Intervensi Pengguna Diperlukan.
3. Penyelesaian Organik: Anda cukup mengambil ponsel fisik di tangan Anda, menggeser puzzle atau memasukkan kode verifikasi secara manual.
4. Pelanjutan Mulus: Begitu layar kembali ke aplikasi media sosial biasa, klik tombol Lanjutkan di Cockpit atau biarkan AI mendeteksi kembalinya alur normal pada siklus pemeriksaan berikutnya.

---

Tombol Darurat (Kill Switch)

Pada sudut kanan atas antarmuka Cockpit, terdapat tombol darurat Hentikan Segera (Emergency Stop):

• Mengetuk tombol ini akan membatalkan sesi panggilan MCP yang sedang berjalan.
• Mengirimkan perintah ke ponsel untuk menekan tombol Home dan menutup aplikasi media sosial yang terbuka.
• Mengembalikan ponsel ke layar beranda aman seketika.