Panduan Pemula untuk Vision API Google di Python

Sudah cukup lama sejak Google merilis API khusus bernama Vision API untuk menjalankan tugas terkait computer vision. Computer vision adalah bidang yang membahas bagaimana komputer memproses sebuah gambar. Bagi kita manusia, cukup mudah untuk mendapatkan wawasan bermanfaat dari sebuah gambar, tetapi bagaimana komputer melakukannya?

Misalnya, Anda memberikan gambar seekor anjing ke komputer, lalu dengan bantuan perangkat lunak, komputer memberi tahu bahwa gambar yang diterimanya adalah gambar anjing. Di sinilah computer vision berperan. Computer vision adalah dunia studi tersendiri, dan Vision API menyediakan sejumlah utilitas untuk menjalankan tugas-tugas terkait computer vision dengan sangat mudah. Bagian terbaiknya adalah pengembang yang sama sekali belum berpengalaman dalam computer vision tetap dapat menggunakan Vision API dengan membaca dokumentasinya.

Tutorial ini berupaya memperkenalkan Anda pada Vision API dan cara memanggilnya dari kode Python.

Catatan: Jika Anda merasa perlu mengetahui lebih lanjut tentang API secara umum (dari sudut pandang Python dan Machine Learning) sebelum memulai tutorial ini, berikut beberapa sumber yang sangat baik:

• Pengantar API
• Mengubah Model Machine Learning menjadi API di Python

Apa itu Vision API Google? Pengantar yang Lebih Mendalam

Google membungkus model Machine Learning mereka dalam sebuah API untuk memungkinkan pengembang menggunakan teknologi Vision mereka. Vision API dapat dengan cepat mengklasifikasikan gambar ke dalam ribuan kategori dan memberinya label yang masuk akal. API ini bahkan dapat mendeteksi objek individual, wajah, dan potongan teks di dalam gambar.

Secara garis besar, Vision API Google memungkinkan Anda melakukan dua hal:

• Menggunakan API langsung dari kode Anda untuk melakukan analisis gambar yang kuat dalam skala besar.
• Membangun model kustom menggunakan API untuk memberikan fleksibilitas lebih sesuai kebutuhan kasus penggunaan Anda.

API ini sangat berguna karena seiring perkembangan zaman, kebutuhan akan praktisi "Full-Stack" meningkat sangat pesat. Sekarang, bayangkan seorang pengembang web Full-Stack (artinya pengembang menguasai teknologi front-end dan back-end terkait pengembangan web) diminta membangun situs yang menerima gambar dan mendeteksi jenisnya. Ini tentu memerlukan pengetahuan yang cukup dalam Computer Vision (jika belum memilikinya) karena pengembang harus menginstruksikan kode back-end agar dapat mendeteksi gambar secara akurat. Anggap juga tenggat waktunya tidak panjang.

Pada situasi seperti ini, jika pengembang mulai belajar Computer Vision dari nol lalu mengimplementasikan tugas yang dibutuhkan, kemungkinan besar tenggat waktu akan terlewat. Sebaliknya, jika ia menggunakan model computer vision pralatih dan mempelajari konsep dasarnya sambil berjalan, itu akan lebih praktis. Inilah tepatnya salah satu situasi di mana Vision API sangat membantu. API ini menyediakan banyak model pralatih mutakhir untuk melayani berbagai use case bisnis dunia nyata.

Istilah "Full-Stack" juga mulai dikaitkan dengan peran seperti Machine Learning Engineer, Data Scientist, dll. Seorang Praktisi Machine Learning/Data Scientist Full-Stack diharapkan merancang dan mengembangkan atau setidaknya mengetahui proses bisnis end-to-end. Ini mencakup "Membuat Model Siap Produksi" sebagai salah satu langkah paling krusial, di mana orang/tim terkait membungkus model yang dikembangkan ke dalam sebuah API atau sekumpulan API dan melakukan deployment ke lingkungan produksi. Istilah produksi bervariasi sesuai use case, tetapi gagasan/kerangka umum prosesnya tetap sama. Vision API memungkinkan Anda melatih model visi kustom secara efisien dengan AutoML Vision BETA.

Keren! Sampai di sini, Anda semestinya sudah mendapat gambaran yang cukup baik tentang Vision API. Eksperimen kecil yang bisa Anda lakukan di beranda Vision adalah menganalisis gambar favorit Anda dan mendapatkan wawasan bermanfaat dengan bantuan Vision. Berikut langkah-langkahnya:

• Buka beranda Vision.
• Ada bagian bernama "Try the API". Bagian ini memungkinkan Anda menyeret/mengunggah gambar ke antarmukanya.
• Setelah Anda memberikan sebuah gambar, ia menyajikan sejumlah informasi terkait gambar tersebut: Seperti yang terlihat, Vision mendeteksi banyak hal tentang gambar yang diberikan dalam waktu singkat. Silakan jelajahi tab lainnya juga untuk mempelajari lebih lanjut tentang gambar tersebut.

Pertimbangkan jika tugas ini harus dilakukan pada satu set berisi miliaran gambar. Menggunakan API seperti ini jelas akan sangat bermanfaat. Sekarang, mari pelajari penawaran Vision API dan lihat beberapa contoh use case dunia nyata yang telah dilayani API ini.

Apa Saja Penawaran Vision API - Beberapa Use Case Khusus

Vision API dikenal atas hasilnya yang akurat. Dokumentasi Vision API menyediakan kumpulan tutorial yang sangat baik dan memberi wawasan mendalam tentang API ini. Namun pada pandangan pertama, semua ini mungkin tampak membebani. Jadi, untuk menyederhanakan, Anda akan mempelajari beberapa use case yang sudah dilayani oleh Vision API.

• Optical Character Recognition (OCR): Ini adalah contoh klasik Computer Vision yang terutama berkaitan dengan ekstraksi teks dari gambar. Vision API mencakup banyak pendekatan mutakhir untuk melakukan hal ini.
• Deteksi Properti Gambar: Ini adalah tugas yang Anda lakukan pada bagian sebelumnya. Dengan Vision API Anda dapat mengambil atribut umum dari sebuah gambar, fitur seperti warna dominan.
• Deteksi Label: Tugas ini memberi anotasi pada gambar dengan label (atau "tag") berdasarkan konten gambar. Misalnya, foto anjing dapat menghasilkan label "dog", "animal", atau anotasi serupa lainnya. Ini adalah langkah penting dalam bidang Content-based Information Retrieval.
• Deteksi Wajah: Diberikan satu atau sekumpulan gambar, tugasnya adalah mendeteksi wajah yang ada di dalamnya. Ini memiliki banyak aplikasi besar seperti Sistem Pengawasan.

Itu adalah beberapa use case unggulan yang dapat dilakukan Vision API dengan mulus, dan Anda dapat mengintegrasikan salah satu di antaranya ke aplikasi Anda dalam waktu yang sangat singkat. Jika ingin mempelajari lebih banyak use case seperti ini, pastikan untuk melihat tutorial ini.

Vision API menyediakan dukungan untuk berbagai bahasa seperti Go, C#, Java, PHP, Node.js, Python, Ruby. Pada bagian selanjutnya, Anda akan melihat cara menggunakan Vision API di Python.

Library Klien Vision API untuk Python

Langkah pertama untuk menggunakan varian Python dari Vision API adalah menginstalnya. Cara terbaik untuk memasangnya adalah melalui pip.

!pip install google-cloud-vision

Setelah instalasi berhasil, langkah berikutnya adalah memverifikasi keberhasilannya.

from google.cloud import vision

Jika baris kode di atas berjalan tanpa error, Anda siap melanjutkan. Google menyediakan serangkaian tutorial hebat tentang menggunakan Vision API di Python.

Sekarang, Anda akan membangun aplikasi sederhana di Python yang dapat mendeteksi beberapa atribut umum dari sebuah gambar, seperti warna dominan.

Studi Kasus dengan Vision API di Python

Aplikasi Anda akan menerima path sebuah gambar sebagai input, dan akan menampilkan atribut umum dari gambar terkait. Ini berguna ketika gambar berada di komputer tempat aplikasi dijalankan. Namun bagaimana jika Anda perlu membaca gambar dari internet? Vision API juga mendukung pembacaan gambar dari internet.

Pada studi kasus ini, Anda akan mempelajari cara menangani skenario pertama. Tetapi hanya perlu satu baris kode untuk mengakomodasi varian internet.

Seperti biasa, Anda akan memulai dengan mengimpor vision dari modul google.cloud.

from google.cloud import vision

Langkah berikutnya adalah memanggil ImageAnnotatorClient() yang berisi utilitas untuk mengekstrak properti gambar.

client = vision.ImageAnnotatorClient()

Anda kemungkinan akan menemui error jika variabel lingkungan GOOGLE_APPLICATION_CREDENTIALS belum disetel. Ini karena pustaka tersebut menggunakan Application Default Credentials (ADC) untuk menemukan kredensial aplikasi Anda. Saat kode Anda menggunakan pustaka seperti ini, strateginya adalah memeriksa kredensial Anda.

Ikuti tautan ini untuk mempelajari cara menghasilkan GOOGLE_APPLICATION_CREDENTIALS. Tujuan Anda adalah menghasilkan berkas client_secrets.json yang akan digunakan untuk autentikasi.

Setelah client_secrets.json diperoleh, jalankan kode berikut untuk menyetel variabel lingkungan GOOGLE_APPLICATION_CREDENTIALS.

import os
os.environ["GOOGLE_APPLICATION_CREDENTIALS"]="client_secrets.json"

Sekarang menjalankan kode di bawah ini seharusnya tidak menimbulkan error.

client = vision.ImageAnnotatorClient()

Anda sekarang akan menulis kode untuk membaca gambar melalui path yang diberikan.

Kredit Gambar

import io

path = 'Image.jpeg'
with io.open(path, 'rb') as image_file:
        content = image_file.read()

Anda telah berhasil memuat sebuah gambar ke dalam workspace. Sekarang, Anda akan membuat instans objek bertipe vision.types.Image dan memberikan content=content sebagai argumennya.

image = vision.types.Image(content=content)

Anda tinggal melakukan langkah terakhir dari aplikasi deteksi Properti Gambar. Pada langkah-langkah ini, Anda akan:

• Memanggil client.image_properties dengan argumen (image=image).
• Menyimpan respons dari image_properties() dalam variabel response dan mengekstrak properti gambar dengan memanggil argumen image_properties_annotation dari response.
• Menampilkan beberapa properti gambar secara terformat.

 response = client.image_properties(image=image)
props = response.image_properties_annotation
print('Properties of the image:')

for color in props.dominant_colors.colors:
    print('Fraction: {}'.format(color.pixel_fraction))
    print('\tr: {}'.format(color.color.red))
    print('\tg: {}'.format(color.color.green))
    print('\tb: {}'.format(color.color.blue))

Anda mungkin kembali menemui error jika belum mengaktifkan Vision API untuk aplikasi Anda. Mengaktifkan API sangat mudah, dan jejak error menyediakan instruksi agar Anda dapat segera mengaktifkannya.

Setelah mengaktifkan API, Anda juga harus mengaktifkan Billing untuk menggunakan Vision API. Utilitas untuk deteksi Properti Gambar hanya memakan biaya $0,60. Setelah itu selesai, kode berhasil dijalankan dan menghasilkan output.

Selamat!

Anda telah melihat betapa mudahnya menggunakan Vision API, serta jenis utilitas yang disediakannya dengan biaya yang sangat terjangkau. Saat ini, banyak perusahaan dan organisasi mendapatkan manfaat dari API ini baik untuk tujuan bisnis maupun penelitian. Dalam tutorial ini, Anda baru menggores permukaan Vision API, tetapi ini dapat menjadi titik awal yang baik untuk menggunakan API Machine Learning pada aplikasi Anda.

Pastikan Anda melihat seluruh rangkaian API Machine Learning yang disediakan Google yang dikenal sebagai CloudML.

Anda dapat membangun banyak aplikasi keren dengan bantuan API yang mudah dipanggil ini. Tautan ke Vision API dan CloudML menyediakan kumpulan tutorial yang mengagumkan sehingga Anda bisa bereksperimen dengan mudah. Semoga sukses!

Jika Anda tertarik mengetahui lebih jauh tentang Pemrosesan Gambar, ikuti kursus DataCamp Convolutional Neural Networks for Image Processing.