Selama ini, asumsi umum di kalangan pengguna teknologi adalah menjalankan model bahasa besar seperti Llama atau Mistral membutuhkan GPU khusus dengan daya komputasi tinggi. Namun, eksperimen terbaru membuktikan bahwa CPU konsumen standar—yang dayanya hanya seperlima dari kartu grafis gaming—pun ternyata mampu menjalankan tugas tersebut.
Eksperimen ini menggunakan Ollama, sebuah alat yang memungkinkan pengguna menjalankan LLM secara lokal di perangkat mereka. Prosesor yang dipakai adalah chip dengan Thermal Design Power (TDP) hanya 15 watt—jauh lebih rendah dibandingkan server di pusat data yang biasanya membutuhkan ratusan watt per unitnya.
Untuk konteks, satu permintaan ke ChatGPT atau Claude di cloud melibatkan server raksasa yang boros listrik. Jika Bitcoin mining dulu dikritik karena pemborosan energi, konsumsi daya untuk AI kini berada di level yang sama mengkhawatirkannya.
Yang mengejutkan dari eksperimen ini bukan sekadar keberhasilannya berjalan, melainkan kualitas output yang dihasilkan. Model yang dijalankan di CPU 15W mampu memberikan jawaban yang koheren dan relevan untuk berbagai pertanyaan umum.
Tentu saja, kecepatan pemrosesan tidak akan menyamai GPU kelas data center. Namun untuk tugas-tugas seperti merangkum artikel, menulis draf email, atau menjawab pertanyaan sederhana, hasilnya sudah lebih dari cukup. Ini membuktikan bahwa hambatan utama adopsi AI lokal bukan lagi soal perangkat keras.
Temuan ini sangat relevan bagi pengguna di Indonesia yang mungkin tidak memiliki akses ke GPU high-end atau koneksi internet stabil untuk layanan cloud. Dengan CPU laptop standar sekalipun, seseorang kini bisa menjalankan AI pribadi yang tidak bergantung pada server pihak ketiga.
Keuntungan lainnya adalah privasi data. Semua proses terjadi secara lokal di perangkat, tidak ada data yang dikirim ke server awan. Ini menjadi solusi bagi perusahaan atau individu yang khawatir dengan kebocoran data sensitif saat menggunakan layanan AI publik.
Meski begitu, pengguna tetap perlu menyesuaikan ekspektasi. Model yang bisa dijalankan di CPU 15W umumnya adalah versi kecil dari LLM (sekitar 3-7 miliar parameter). Untuk model raksasa seperti GPT-4 atau Llama 70B, GPU khusus masih menjadi kebutuhan mutlak.