Katalog 24 Tools Resmi

GoSosmed MCP Hub menyediakan 24 tools resmi yang dirancang khusus untuk memungkinkan asisten AI mengamati dan mengoperasikan aplikasi mobile Android secara deterministik.

Seluruh tool mendukung Smart Auto-Serial Fallback: parameter serial bersifat opsional; jika diabaikan, MCP Hub otomatis menargetkan perangkat fisik aktif tunggal milik tenant Anda.

---

1. Observasi & Visual

Kategori ini dipakai oleh AI untuk “melihat” dan memahami apa yang sedang terjadi di layar HP tanpa memboroskan token jendela konteks.

annotated_screenshot (Utama untuk Observasi)

Mengambil tangkapan layar beranotasi visual (Set-of-Marks). Elemen interaktif diberi label nomor berurutan ([1], [2], [3]) beserta koordinat pusat (center.x, center.y).

• Hemat Token: Mengurangi konsumsi token dari ~50.000 menjadi hanya 150–300 token.
• Parameter Utama:
  • roi (string, opsional): Region of Interest untuk zoom crop area tertentu, format "x1,y1,x2,y2". Sangat berguna untuk memperbesar puzzle CAPTCHA atau dialog verifikasi kecil.
  • quality (number, opsional): Kualitas JPEG kompresi (default: 75).
  • scale (number, opsional): Skala gambar untuk efisiensi transfer (default: 0.6).
  • include_image (boolean, opsional): Menyertakan gambar visual base64 (default: false).

wait_for_node (Utama untuk Menunggu)

Melakukan polling in-memory langsung di RAM ponsel (<200 ms) sampai elemen tertentu muncul di layar.

• Bebas XML Overhead: Menghilangkan kebutuhan menarik XML dump secara berulang dalam loop retry.
• Parameter Utama:
  • text (string): Label teks tombol/elemen yang ditunggu.
  • content_desc (string): Deskripsi aksesibilitas elemen.
  • resource_id (string): ID sumber daya Android.
  • timeout_ms (number): Batas waktu tunggu dalam milidetik (default: 4000).

node_inspector

Melakukan inspeksi mendalam atas hierarki pohon antarmuka yang difilter secara selektif (dibatasi maksimum 15–25 item untuk menjaga batas token).

• Parameter Utama:
  • text, content_desc, resource_id: Filter pencarian elemen spesifik.
  • clickable_only (boolean): Hanya menampilkan elemen yang dapat diklik.
  • Mengembalikan atribut internal: clickable, enabled, checked, dan bounds.

dump (Legacy Fallback)

Mengambil ringkasan hierarki XML/JSON lengkap dari layar yang aktif.

• Rekomendasi Penggunaan: Gunakan hanya sebagai jalan keluar darurat jika selektor semantik pada wait_for_node dan annotated_screenshot tidak menemukan elemen yang dicari.

screenshot

Mengambil tangkapan layar mentah perangkat tanpa anotasi mark visual. Berguna untuk audit bukti akhir.

---

2. Aksi Terpadu / Compound Actions (Protokol v2)

Dirancang khusus untuk memangkas latensi putaran AI-ke-perangkat dan menghemat biaya API LLM.

click_and_wait

Mengetuk elemen antarmuka dan langsung menunggu transisi kemunculan layar berikutnya dalam satu putaran panggilan tool.

• Manfaat: Memangkas waktu tunggu dari 2 siklus berpikir LLM menjadi 1 siklus tunggal (hemat waktu & token hingga 50%).
• Parameter Utama:
  • click_text / click_desc / click_res_id: Elemen yang hendak diklik.
  • wait_text / wait_desc / wait_res_id: Elemen di layar berikutnya yang ditunggu kemunculannya.
  • timeout_ms (number): Batas waktu transisi layar (default: 4000).

---

3. Interaksi Sentuh & Teks

Perintah interaksi fisik deterministik yang dijalankan melalui transport lokal perangkat.

click_element (Utama untuk Aksi Klik)

Mengetuk elemen UI berbasis semantik aksesibilitas (ACTION_CLICK). Tidak menggunakan tebakan koordinat piksel mentah, sehingga kebal terhadap perbedaan resolusi HP.

• Parameter: text, content_desc, atau resource_id.

replace_text (Utama untuk Input Teks)

Mengosongkan bidang formulir/input yang aktif, mengetikkan teks baru secara utuh, dan menutup keyboard virtual.

• Parameter Utama:
  • text (string, wajib): Teks yang akan diisikan (misal: caption, judul, tag).
  • submit (boolean, opsional): Otomatis menekan Enter/Search pada keyboard virtual setelah teks selesai diketik (default: false).

setText

Mengetikkan teks secara bertahap ke kolom input yang sedang memiliki fokus kursor.

tap

Mengetuk koordinat X dan Y absolut pada layar. Digunakan bila elemen tidak memiliki representasi semantik.

swipe

Menggulir layar menggunakan arah semantik atau koordinat geser.

• Mode Semantik:
  • direction: "down", "up", "left", "right".
  • amount: "small", "medium", "large".
• Mode Koordinat: x1, y1, x2, y2, dan duration_ms.

press_key

Mengirim sinyal penekanan tombol fisik/sistem Android: "ENTER", "SEARCH", "BACK", "HOME".

home

Menekan tombol navigasi Home Android untuk kembali ke layar beranda ponsel.

back

Menekan tombol navigasi Back Android untuk menutup dialog, keyboard, atau kembali ke halaman sebelumnya.

---

4. Manajemen Media & Scoped Storage

Pengelolaan berkas video/gambar yang aman mematuhi aturan Android 11+ Scoped Storage.

stage_media

Mengunduh aset media dari URL publik ke galeri lokal HP (/sdcard/DCIM/Camera) dan memicu Android MediaScanner agar berkas langsung terdeteksi oleh pemilih galeri Instagram, TikTok, atau YouTube.

• Parameter: media_url (string, wajib), filename (string, opsional).

list_media

Memeriksa berkas media sementara yang tersimpan di penyimpanan ponsel.

• Parameter: folder ("camera", "download", "all").

cleanup_media

Menghapus file media staging sementara secara aman melalui Android MediaStore (gosmed_*, reel_*) untuk menjaga kapasitas memori HP pengguna tetap bersih setelah posting selesai.

---

5. Keamanan, Guardrail & Verifikasi

Fitur perlindungan yang menjamin keamanan data pengguna dan mendeteksi rintangan otomasi.

check_security_challenge

Mendeteksi apakah layar sedang menampilkan tantangan keamanan: puzzle geser, CAPTCHA gambar, verifikasi SMS 2FA, atau permintaan login ulang akun sosial media.

• Respon Terstruktur: Mengembalikan status terdeteksi dan merekomendasikan transisi ke status human_intervention_required agar pemilik ponsel dapat menyelesaikan verifikasi secara manual.

Sensor Kredensial Otomatis (Credential Redaction)

MCP Hub dan Mobile Agent menerapkan penyaringan kata sandi otomatis: setiap input atau pembacaan pada simpul bertipe password secara native disensor menjadi [REDACTED]. Kata sandi akun Anda tidak pernah dikirim ke LLM.

---

6. Platform & Pengelolaan SaaS

Pintu masuk untuk memeriksa ketersediaan aset dan menjadwalkan pekerjaan di ekosistem GoSosmed.

list_devices

Menampilkan daftar perangkat Android yang terhubung ke ruang kerja Anda.

• Filter: status ("online", "offline").

check_device_status

Memeriksa kesehatan perangkat target: status koneksi WebSocket, level baterai, suhu perangkat, dan status transport Privileged ADB.

list_accounts

Menampilkan daftar akun sosial media yang terhubung dan siap digunakan.

• Filter: platform ("instagram", "tiktok", "youtube", "facebook", "threads").

schedule_post

Mendaftarkan pekerjaan penerbitan konten ke dalam antrian kerja terkelola GoSosmed.

• Parameter: account_id, platform, content, media_url, scheduled_at, product_link, affiliate_url.

startApp

Membuka aplikasi sosial media menggunakan alias ringkas ("tiktok", "instagram", "youtube", "facebook", "threads") atau nama paket Android lengkap.

search_mobile_app

Membuka aplikasi target dan langsung mengarahkan ke antarmuka pencarian dengan kata kunci tertentu.

---

Ringkasan Matriks 24 Tools

No	Nama Tool	Kategori	Protokol
1	annotated_screenshot	Observasi & Visual	v2 (ROI Zoom)
2	wait_for_node	Observasi & Visual	v1/v2 In-Memory
3	node_inspector	Observasi & Visual	v1
4	dump	Observasi & Visual	Legacy Fallback
5	screenshot	Observasi & Visual	Raw Proof
6	click_and_wait	Aksi Terpadu	v2 Compound
7	click_element	Interaksi Semantik	v1/v2
8	replace_text	Interaksi Teks	v2 (Auto-Submit)
9	setText	Interaksi Teks	v1
10	tap	Interaksi Koordinat	v1
11	swipe	Interaksi Gerak	v2 Semantik Scroll
12	press_key	Navigasi Sistem	v1
13	home	Navigasi Sistem	v1
14	back	Navigasi Sistem	v1
15	stage_media	Penyimpanan & Galeri	v1/v2 MediaScanner
16	list_media	Penyimpanan & Galeri	v1
17	cleanup_media	Penyimpanan & Galeri	v1 MediaStore
18	check_security_challenge	Keamanan & Guardrail	v1/v2
19	list_devices	Manajemen Ekosistem	v1 SaaS
20	check_device_status	Manajemen Ekosistem	v1 SaaS
21	list_accounts	Manajemen Ekosistem	v1 SaaS
22	schedule_post	Manajemen Ekosistem	v1 SaaS
23	startApp	Peluncur Aplikasi	v1
24	search_mobile_app	Peluncur Aplikasi	v1

Langkah berikutnya: Lihat Panduan Integrasi Klien untuk memasang tools ini ke editor atau skrip Anda.