MediaTek mengumumkan pada hari Senin bahwa mereka telah mengoptimalkan beberapa platform seluler mereka untuk mendukung model kecerdasan buatan (AI) Phi-3.5 dari Microsoft.
Seri model bahasa kecil (small language models/SLM) Phi-3.5, yang terdiri dari Phi-3.5 Mixture of Experts (MoE), Phi-3.5 Mini, dan Phi-3.5 Vision, dirilis pada bulan Agustus dan tersedia secara open-source di Hugging Face.
Dalam sebuah posting blog, MediaTek menyatakan bahwa chipset Dimensity 9400, Dimensity 9300, dan Dimensity 8300 kini telah dioptimalkan untuk model AI Phi-3.5.
Dengan optimalisasi ini, platform seluler ini dapat memproses dan menjalankan inferensi untuk tugas-tugas AI generatif di perangkat secara efisien, menggunakan NPU (Neural Processing Units) milik MediaTek.
Optimalisasi chipset untuk model AI tertentu melibatkan penyesuaian desain hardware, arsitektur, dan operasi chipset untuk mendukung daya pemrosesan, pola akses memori, dan aliran data dari model tersebut. Setelah dioptimalkan, model AI akan menunjukkan latensi dan konsumsi daya yang lebih rendah, serta peningkatan throughput.
MediaTek menekankan bahwa prosesor mereka tidak hanya dioptimalkan untuk Microsoft Phi-3.5 MoE, tetapi juga untuk Phi-3.5 Mini yang menawarkan dukungan multi-bahasa dan Phi-3.5 Vision yang dilengkapi dengan pemahaman dan penalaran gambar multi-frame.
Phi-3.5 MoE memiliki 16x3.8 miliar parameter, di sisi lain, Phi-3.5 memiliki 4,2 miliar parameter dan image encoder, dan Phi-3.5 Mini memiliki 3,8 miliar parameter.
Dalam hal performa, Microsoft mengklaim bahwa Phi-3.5 MoE mengungguli model AI Gemini 1.5 Flash dan GPT-4o mini pada benchmark SQuALITY, yang menguji keterbacaan dan akurasi saat meringkas blok teks.
Developer dapat memanfaatkan Microsoft Phi-3.5 secara langsung melalui Hugging Face atau Katalog Model AI Azure. MediaTek juga menawarkan akses ke SLM ini melalui toolkit NeuroPilot SDK mereka.
MediaTek menyatakan bahwa toolkit ini akan memungkinkan developer untuk membangun aplikasi pada perangkat yang dioptimalkan untuk inferensi AI generatif menggunakan model-model AI di berbagai platform seluler yang disebutkan di atas.
Dengan langkah ini, MediaTek menunjukkan komitmennya dalam menghadirkan teknologi AI yang lebih canggih dan efisien di perangkat seluler, memberikan pengalaman pengguna yang lebih baik dalam berbagai aplikasi yang didukung oleh AI.
