Model Microsoft MAI: Menguji MAI-Transcribe-1, MAI-Voice-1, dan MAI-Image-2 dengan Streamlit

Apa Itu Model Microsoft MAI?

Keluarga model MAI dibangun oleh tim Microsoft AI Superintelligence. Ini adalah model internal sepenuhnya, dilatih di infrastruktur Microsoft, dioptimalkan untuk tumpukan penyajian Microsoft, dan disebarkan langsung melalui Azure. Model MAI-Transcribe-1 dan MAI-Voice-1 berjalan di infrastruktur Azure Speech yang sama yang sudah melayani pelanggan perusahaan dalam skala besar, sementara MAI-Image-2 menggunakan arsitektur difusi flow-matching dengan tujuan pelatihan yang sama di balik Stable Diffusion 3, dengan antara 10 hingga 50 miliar parameter non-embedding. 

Berikut ringkasan cepat dari ketiganya:

Mari membahas lebih dalam masing-masing sebelum membangun.

MAI-Transcribe-1

MAI-Transcribe-1 adalah model ucapan-ke-teks yang mendukung 25 bahasa. Klaim utamanya adalah 3,88% rata-rata Word Error Rate (WER) pada tolok ukur FLEURS—semakin rendah semakin baik—yang menempatkannya di depan GPT-Transcribe (4,17%), Scribe v2 (4,32%), Gemini 3.1 Flash-Lite (4,89%), dan Whisper-large-v3 (7,60%).

Model ini dibuat khusus untuk audio dunia nyata yang berantakan, termasuk lingkungan berisik, aksen campuran, dan gaya bicara alami. Microsoft juga mengklaim MAI-Transcribe-1 memberikan akurasi yang baik dengan biaya GPU sekitar 50% lebih rendah dibanding alternatif terdepan, yang merupakan keunggulan berarti bagi perusahaan yang menjalankan transkripsi dalam skala besar.

Namun, model ini masih belum memiliki transkripsi waktu nyata, diarization penutur, dan bias konteks—semuanya tercantum sebagai "segera hadir." 

MAI-Voice-1

MAI-Voice-1 adalah model TTS fidelitas tinggi dari Microsoft. Kemampuan kuncinya adalah voice prompting, di mana Anda memberikan sampel audio 10 detik, dan model meniru suara tersebut tanpa fine-tuning. Namun, kloning suara memerlukan persetujuan terbatas dari Microsoft, tetapi pustaka suara terkurasi (nama seperti en-us-Jasper:MAI-Voice-1, en-us-June:MAI-Voice-1) tersedia segera.

Model ini menghasilkan audio 60 detik dalam satu detik pada satu GPU, mendukung kontrol emosi per-giliran melalui SSML, dan dibuat untuk konten berdurasi panjang seperti buku audio dan podcast. Model ini sudah mendukung Audio Expressions dan fitur podcast Copilot di produk Microsoft sendiri.

Satu kekurangan model ini adalah “hanya bahasa Inggris”, dengan lebih dari 10 bahasa akan segera hadir.

MAI-Image-2

MAI-Image-2 menggunakan arsitektur difusi flow-matching dengan 10–50 miliar parameter. Model ini berada di tiga besar pada papan peringkat gambar Arena.ai dan 2x lebih cepat daripada MAI-Image-1 di produksi. Model ini dikembangkan bersama fotografer, desainer, dan pendongeng visual, dan sudah digunakan di Copilot, Bing Image Creator, dan PowerPoint. Model ini dibangun khusus untuk fotorealisme, rona kulit yang akurat, dan teks dalam-gambar yang terbaca.

Skor Elo per kategori mencakup photorealistic (1201) dan potret (1201), tempat model ini unggul, sementara perenderan teks (1186) lebih baik dari sebelumnya tetapi masih menjadi kategori terlemah.

Menyiapkan Azure untuk Semua Model

Ketiga model MAI tersedia di Microsoft Azure. MAI-Transcribe-1 dan MAI-Voice-1 berbagi resource Azure Speech yang sama, sementara MAI-Image-2 berjalan melalui Microsoft Foundry. Mari siapkan keduanya satu per satu.

Prasyarat

• Daftar atau masuk ke akun Azure Anda untuk mendapatkan kredit gratis $200
• Python 3.9+

Langkah 1: Buat Resource Azure Speech 

Model MAI-Transcribe-1 dan MAI-Voice-1 diakses melalui layanan Azure AI Speech, jadi satu resource mencakup keduanya.

• Buka portal.azure.com

• Di bilah pencarian, ketik Speech dan pilih Speech services

• Klik + Create

• Isi formulir:

• Resource group: Buat resource group baru dan beri nama mai-demo-rg

• Region: Pilih East US karena model MAI saat ini hanya didukung untuk East US dan West US

• Name: mai-speech-demo

• Pricing tier: Standard S0

• Catatan: Free F0 memiliki batas laju yang dapat mengganggu demo

• Terakhir, klik Review and create, dan setelah pemuatan, klik Create.

Setelah penyebaran selesai, buka Keys and Endpoint di sidebar kiri dan salin Key 1 serta catat nilai Region (eastus).

Langkah 2: Buat resource Foundry dan sebarkan MAI-Image-2

MAI-Image-2 diakses melalui Microsoft Foundry, yang terpisah dari portal Azure biasa.

• Dari beranda portal Azure, klik Foundry di deretan layanan teratas 

• Klik Create a resource

• Kemudian, isi detail berikut:

• Resource group: Pilih mai-demo-rg yang sama dari Langkah 1

• Region: East US

• Name: mai-image-demo

• Default project name: proj-default

• Lalu, klik Review and create, dan tekan Create

• Setelah resource aktif, klik Go to Foundry portal. 

• Selanjutnya, di antarmuka Foundry, klik Model catalog di sidebar kiri

• Cari MAI di bilah pencarian, dan Anda akan melihat keempat model MAI tercantum

• Pilih MAI-Image-2 dan klik Use this model

• Di dialog deploy, atur:

• Deployment name: MAI-Image-2 

• Deployment type: Global Standard

• Terakhir, klik deploy

Setelah deployment, Anda akan masuk ke halaman detail deployment. Salin Target URI (semacam https://mai-image-demo.services.ai.azure.com/models) dan Key.

Langkah 3: Konfigurasi berkas .env

Buat berkas .env di direktori proyek lokal Anda dan tambahkan detail yang kita dapatkan dari dua langkah sebelumnya:

AZURE_SPEECH_KEY=your_speech_key_1_here
AZURE_SPEECH_REGION=eastus
AZURE_IMAGE_ENDPOINT=https://your-resource-name.services.ai.azure.com/models
AZURE_IMAGE_KEY=your_foundry_key_here
AZURE_IMAGE_DEPLOYMENT=MAI-Image-2

Catatan Penting: AZURE_IMAGE_DEPLOYMENT peka huruf besar kecil. Gunakan MAI-Image-2 persis seperti yang muncul di Foundry, karena huruf kecil mai-image-2 akan menghasilkan galat unknown_model.

Demo Model MAI: Bangun Aplikasi Speech, Voice, dan Image dengan Streamlit

Di bagian ini, kita akan membangun aplikasi Streamlit tiga tab yang memanggil ketiga model MAI melalui panggilan API Azure langsung. Secara garis besar, berikut yang dilakukan aplikasi:

• Tab 1: Menerima berkas audio WAV, MP3, atau apa pun dan mengirimkannya ke MAI-Transcribe-1 melalui Azure Speech REST API, mengembalikan transkrip lengkap dengan metrik latensi dan biaya
• Tab 2: Mengambil input teks dengan pilihan suara dan gaya emosi, membangun permintaan SSML, dan memanggil MAI-Voice-1 untuk mengembalikan berkas audio MP3 yang dapat diputar
• Tab 3: Menerima prompt teks dan pengaturan resolusi, memanggil MAI-Image-2 melalui endpoint Azure Foundry, dan merender gambar yang dihasilkan secara inline dengan opsi unduhan
• Aplikasi juga menampilkan estimasi biaya waktu nyata untuk setiap model saat Anda mengonfigurasi input

Berikut susunan berkasnya:

mai_demo/
├── app.py            # Streamlit UI 
├── mai_clients.py    # Azure API wrappers 
├── requirements.txt
└── .env

Aplikasi dibagi menjadi dua berkas: mai_clients.py, yang menangani semua panggilan API Azure dan mengembalikan dict hasil terstruktur, dan app.py, yang menangani UI Streamlit. Mari bangun langkah demi langkah.

Langkah 1: Instal dependensi

Tidak seperti penyiapan model lokal, aplikasi ini terhubung ke API cloud Azure langsung, jadi daftar dependensi mencakup Azure Speech SDK serta pustaka HTTP dan gambar pendukung.

pip install -r requirements.txt

Berkas requirements.txt berisi:

.txt
streamlit>=1.35.0
azure-cognitiveservices-speech>=1.38.0
requests>=2.31.0
pillow>=10.0.0
python-dotenv>=1.0.0
openai>=1.30.0

Dalam proyek ini, kita akan menggunakan:

• streamlit untuk UI tiga tab, pengunggah berkas, pemutar audio, dan perenderan gambar inline

• azure-cognitiveservices-speech untuk Azure Speech SDK, digunakan berkomunikasi dengan MAI-Transcribe-1 dan MAI-Voice-1

• requests untuk membuat panggilan REST API langsung ke ketiga endpoint Azure

• pillow untuk mendekode dan menampilkan byte gambar yang dikembalikan oleh MAI-Image-2

• python-dotenv untuk memuat kunci Azure dan URL endpoint dari berkas .env saat runtime

• openai untuk SDK yang kompatibel dengan Azure OpenAI, yang mendukung endpoint pembuatan gambar Foundry

Setelah terinstal, pastikan berkas .env berada di direktori yang sama dengan app.py sebelum menjalankan aplikasi. Semua pemuatan kredensial terjadi otomatis saat startup melalui python-dotenv.

Langkah 2: Membangun lapisan klien API (mai_clients.py)

Semua panggilan API Azure berada di mai_clients. py ', di mana setiap fungsi mengembalikan dict sederhana {"success": bool, ...}` sehingga lapisan UI tidak pernah crash saat terjadi error.

MAI-Transcribe-1: Ucapan-ke-Teks

MAI-Transcribe-1 diakses melalui endpoint LLM Speech pada Azure Speech REST API. Detail utamanya adalah ia menerima permintaan formulir multipart berupa berkas audio dan objek definisi JSON.

def transcribe_audio(audio_bytes: bytes, filename: str = "audio.wav") -> dict:
    url = (
        f"https://{speech_region}.api.cognitive.microsoft.com"
        f"/speechtotext/transcriptions:transcribe?api-version=2024-11-15"
    )
    headers = {"Ocp-Apim-Subscription-Key": speech_key}
    definition = '{"locales":["en-US"],"profanityFilterMode":"None"}'
    files = {
        "audio": (filename, audio_bytes, _mime_type(filename)),
        "definition": (None, definition, "application/json"),
    }
    resp = requests.post(url, headers=headers, files=files, timeout=60)
    data = resp.json()
    combined = " ".join(
        p.get("text", "") for p in data.get("combinedPhrases", [])
    ).strip()
    return {"success": True, "transcript": combined, "raw": data, ...}

Respons dari cuplikan kode di atas kembali sebagai objek JSON dengan combinedPhrases, yang merupakan larik segmen teks. Kita gabungkan menjadi satu string transkrip. Format audio yang didukung termasuk WAV, MP3, dan FLAC. API saat ini terkunci wilayah ke East US dan West US.

MAI-Voice-1: Teks-ke-Ucapan

MAI-Voice-1 menggunakan Azure Speech TTS standar via SSML. Kuncinya adalah menyusun blok <mstts:express-as> untuk kontrol emosi dan merujuk format nama suara yang benar (en-us-Jasper:MAI-Voice-1).

def _build_ssml(text: str, emotion: str, voice_name: str) -> str:
    style_map = {
        "neutral": None,
        "joy": "joy",
        "excitement": "excitement",
        "empathy": "empathy",
    }
    style = style_map.get(emotion)
    text_block = (
        text if style is None
        else f"<mstts:express-as style='{style}'>{text}</mstts:express-as>"
    )
    return f"""<speak version='1.0' xml:lang='en-US'
        xmlns='http://www.w3.org/2001/10/synthesis'
        xmlns:mstts='http://www.w3.org/2001/mstts'>
      <voice name='{voice_name}'>
        {text_block}
      </voice>
    </speak>"""

Nama suara yang tersedia untuk MAI-Voice-1 mengikuti pola en-us-{Name}:MAI-Voice-1. Daftar saat ini mencakup Jasper, June, Grant, Iris, Reed, dan Joy.

MAI-Image-2: Teks-ke-Gambar

MAI-Image-2 menggunakan endpoint khusus Foundry, yang bukan jalur standar Azure OpenAI /openai/deployments/. Format endpoint yang benar adalah:

url = f"{base_endpoint}/mai/v1/images/generations"

Di sini, base_endpoint adalah akar URL resource Foundry kita (mis. https://your-resource.services.ai.azure.com), dengan jalur /models di ujung dihapus sebelum menyusun permintaan. Isi permintaan memiliki dua persyaratan: pertama, Anda harus secara eksplisit meneruskan kolom model diatur ke nama deployment Anda, tidak seperti endpoint OpenAI standar, di mana model diinferensikan dari jalur URL:

payload = { "model": deployment, # "MAI-Image-2" "prompt": prompt, "width": width, "height": height, }

Kedua, dimensi gambar memiliki batas keras: baik width maupun height harus minimal 768 piksel, dan hasil kali keduanya tidak boleh melebihi 1.048.576, yang setara dengan maksimum 1024×1024 untuk gambar persegi. Mengirim 512×512 atau mengabaikan dimensi sepenuhnya akan mengembalikan 400 Bad Request.

Respons mengikuti bentuk standar pembuatan gambar OpenAI. Setiap item di array data akan berisi url yang menunjuk ke gambar terhosting atau kolom b64_json dengan byte mentah yang dikodekan base64. Klien menangani keduanya:

image_url = row.get("url")
b64 = row.get("b64_json")
if b64:
    img_bytes = base64.b64decode(b64)
elif image_url:
    img_resp = requests.get(image_url, timeout=30)
    img_bytes = img_resp.content

Perlu dicatat bahwa respons url berbatas waktu, yang berarti kita perlu mengambil dan menyimpan sementara byte segera, bukan menyimpan URL untuk penggunaan nanti.

Langkah 3: Membangun UI Streamlit (app.py)

Aplikasi diorganisasi menjadi tiga tab, satu per model. Berikut strukturnya:

import streamlit as st
from mai_clients import transcribe_audio, synthesize_speech, generate_image
tab1, tab2, tab3 = st.tabs([
    "🎙 MAI-Transcribe-1",
    "🔊 MAI-Voice-1",
    "🖼 MAI-Image-2",
])

Setiap tab mengikuti pola yang sama: input → tombol → spinner → tampilan hasil → metrik biaya.

Tab 1: MAI-Transcribe-1

Tab pertama menangani unggah audio dan transkripsi. Mendukung berkas WAV, MP3, dan FLAC, memutar audio secara inline agar Anda dapat memverifikasi yang diuji, dan mengirim byte langsung ke transcribe_audio() saat tombol diklik.

with tab1:
    audio_file = st.file_uploader("Upload audio file", type=["wav", "mp3", "flac"])
    if audio_file:
        st.audio(audio_file)
        if st.button("Transcribe", type="primary"):
            with st.spinner("Calling MAI-Transcribe-1..."):
                result = transcribe_audio(audio_file.read(), audio_file.name)
            if result["success"]:
                st.text_area("Transcript", value=result["transcript"], height=140)
                m1, m2, m3 = st.columns(3)
                m1.metric("Latency", f"{result['latency_s']}s")
                m2.metric("Audio duration", f"{result['duration_ms']/1000:.1f}s")
                m3.metric("Est. cost", f"${result['duration_ms']/3_600_000 * 0.36:.5f}")

Jika respons berhasil, transkrip muncul dalam area teks yang dapat diedit diikuti tiga metrik: latensi API dalam detik, durasi audio yang diambil dari kolom durationMilliseconds pada respons, dan estimasi biaya yang dihitung sebagai duration_in_hours × $0,36.

Klip 7 detik berbiaya kira-kira $0,0000007, sehingga Anda dapat menjalankan puluhan berkas uji tanpa benar-benar mengurangi kredit Azure Anda.

Tab 2: MAI-Voice-1

Tab kedua menangani sintesis teks-ke-ucapan. Tab ini menampilkan tiga kontrol yang paling penting untuk menguji MAI-Voice-1: input teks, gaya emosi, dan pemilihan suara, yang semuanya diteruskan langsung ke fungsi synthesize_speech().

with tab2:
    text_input = st.text_area("Text to synthesize", value="The quarterly results exceeded...")
    emotion = st.selectbox("Emotion / style", ["neutral", "joy", "excitement", "empathy"])
    voice_name = st.selectbox("Voice", ["en-us-Jasper:MAI-Voice-1", "en-us-June:MAI-Voice-1", ...])
    if st.button("Synthesize", type="primary"):
        with st.spinner("Calling MAI-Voice-1..."):
            result = synthesize_speech(text_input, emotion=emotion, voice_name=voice_name)
        if result["success"]:
            st.audio(result["audio_bytes"], format="audio/mp3")

Pemilih emosi dipetakan ke gaya SSML <mstts:express-as> di balik layar; neutral menghilangkan tag sepenuhnya untuk keluaran dasar yang bersih, sementara pemilih joy, excitement, dan empathy menghasilkan profil tempo dan nada yang berbeda nyata. Dropdown suara mencakup enam suara MAI-Voice-1 yang saat ini tersedia: Jasper, June, Grant, Iris, Reed, dan Joy.

Jika berhasil, byte MP3 yang dikembalikan diteruskan langsung ke st.audio() untuk pemutaran inline. Pada 113 karakter, estimasi biaya adalah $0,000002, yang berarti Anda dapat menjalankan banyak uji tanpa menghabiskan terlalu banyak kredit.

Tab 3: MAI-Image-2

Tab ketiga menangani pembuatan gambar dari teks. API MAI-Image-2 saat ini mengekspos dua parameter input, yaitu prompt dan resolusi. Tidak ada tingkatan kualitas atau kontrol gaya; model yang menangani secara internal.

with tab3:
    prompt = st.text_area("Image prompt", value="A worn paperback book on a café table...")
    size = st.selectbox("Resolution", ["1024x1024", "1365x768", "768x1365"])
    if st.button("Generate", type="primary"):
        with st.spinner("Calling MAI-Image-2..."):
            result = generate_image(prompt, size=size)
        if result["success"]:
            img = Image.open(io.BytesIO(result["image_bytes"]))
            st.image(img, use_container_width=True)

Tiga opsi resolusi mencakup rasio aspek utama: persegi (1024×1024), lanskap (1365×768), dan potret (768×1365). String ukuran diurai menjadi bilangan bulat lebar dan tinggi terpisah sebelum dikirim ke API, karena endpoint Foundry menerimanya sebagai kolom individual, bukan string gabungan.

Jika berhasil, byte gambar mentah dari respons API dibungkus dalam buffer BytesIO, dibuka dengan Pillow, dan dirender inline dengan lebar kontainer penuh. Pembuatan gambar biasanya memakan waktu 2–4 detik, yang terasa lebih cepat daripada MAI-Image-1 di lingkungan yang sama.

Langkah 4: Menjalankan Aplikasi

Dengan berkas .env terkonfigurasi dan dependensi terinstal, Anda siap menjalankan aplikasi.

streamlit run app.py

Streamlit akan memulai server lokal dan otomatis membuka aplikasi di browser Anda pada http://localhost:8501. Anda akan melihat antarmuka tiga tab dengan MAI-Transcribe-1 aktif secara default.

Menguji Model

Berikut yang benar-benar dihasilkan model saat kami menjalankannya.

Uji 1: Transkripsi audio berisik

Saya menguji MAI-Transcribe-1 dengan klip audio 7 detik yang direkam di lingkungan berisik yang optimal dengan aksen India. Model mengembalikan transkrip bersih dan akurat dalam waktu kurang dari 2 detik.

Intinya: Hasilnya cukup baik pada ucapan beraksen, area di mana Whisper-large-v3 biasanya paling kesulitan. Meski begitu, angka per bahasa bercerita lain, seperti untuk bahasa Arab yang berada di 10,1% dan Denmark di 13,2%, keduanya jauh di atas angka utama. Jika kasus penggunaan Anda melibatkan bahasa tertentu atau distribusi aksen regional, uji dengan audio aktual Anda sebelum berkomitmen pada model di produksi.

Uji 2: Kontrol emosi

Saya menyintesis kalimat 113 karakter dengan gaya excitement menggunakan model suara en-us-Jasper:MAI-Voice-1, dan model mengembalikan MP3 6 detik dalam waktu kurang dari 1 detik. Emosi jelas terasa pada keluaran dengan tempo lebih berenergi dan variasi nada yang lebih tinggi.

Intinya: Klip 6 detik yang dihasilkan dalam waktu kurang dari 1 detik sangat mengesankan. Kontrol emosi SSML berfungsi tetapi terbatas pada empat gaya: neutral, joy, excitement, dan empathy. Jadi, jangan berharap jangkauan ekspresi penuh seperti perpustakaan gaya ElevenLabs.

Uji 3: Fotorealisme dan perenderan teks

Ini adalah uji paling menarik karena saya sengaja memilih prompt yang menggabungkan dua hal: komposisi adegan fotorealistik dan teks dalam gambar. Sebagian besar model difusi gagal setidaknya pada salah satunya.

Prompt: "A worn paperback book on a café table, natural window light, steam rising from an espresso cup beside it. The book cover reads: INFERENCE AT SCALE — text clearly legible, not warped."

Intinya: Fotorealisme benar-benar kuat dengan pencahayaan jendela alami, uap yang meyakinkan, dan tekstur yang realistis pada buku dan cangkir. Teks "INFERENCE AT SCALE" juga dirender dengan benar dan terbaca.

Namun, perenderan teks tidak konsisten antarrun. Dalam beberapa generasi uji dengan prompt serupa, model sesekali menghasilkan teks salah eja atau kacau. Ini adalah mode kegagalan yang dikenal untuk semua model difusi saat ini, dan MAI-Image-2 lebih baik daripada kebanyakan tetapi tidak kebal. Selain itu, resolusi maksimum saat ini adalah 1024×1024 piksel, yang untuk sebagian besar kasus penggunaan web dan konten sudah cukup, tetapi meniadakan keluaran kualitas cetak atau karya kreatif format besar tanpa langkah peningkatan skala. Jika Anda membuat gambar di mana akurasi teks sangat penting, pastikan selalu menambahkan langkah tinjauan manusia.

Kesimpulan

Keluarga model MAI dari Microsoft benar-benar mengesankan, di mana angka FLEURS MAI-Transcribe-1 adalah yang paling objektif dapat diverifikasi di antara ketiganya, karena mempertahankan rata-rata WER 3,88%, yang terbaik di kelasnya saat tulisan ini dibuat.

MAI-Voice-1 mengesankan dari sisi kecepatan dan kualitas suara tetapi dibatasi oleh dukungan hanya bahasa Inggris dan palet emosi yang terbatas. MAI-Image-2 menghasilkan keluaran fotorealistik yang kuat, namun dengan catatan penting bahwa halusinasi teks masih terjadi dan memerlukan tinjauan manusia di produksi.

Kode lengkap untuk tutorial ini tersedia di GitHub.