DRAM berdaya rendah Micron 'mengonsumsi sekitar sepertiga daya DDR5' dalam beban kerja pusat data AI, tapi saya tidak yakin itu kabar baik

Rasa lapar AI akan daya dan memori, ditambah krisis pasokan yang diakibatkan, telah membuat banyak pelaku industri terlibat dalam pemecahan masalah secara kreatif. Sebagai contoh, Micron dan Meta telah berkolaborasi dalam peluncuran pusat data eksperimental dengan DRAM berdaya rendah.

Micron telah mengembangkan SOCAMM2, bentuk segar untuk LPDDR5X yang merupakan "modul modular dan dapat diperbaiki yang dirancang untuk server." Pengujian menggunakan "suite benchmark open-source DCPerf dari Meta, yang mencerminkan lingkungan produksi di seluruh armada hyperscale," dan menemukan bahwa modul DRAM berdaya rendah ini "mengonsumsi sekitar sepertiga daya DDR5." Menurut laporan white paper Micron, itu menyumbang kurang dari 7% dari total daya sistem.

White paper tersebut menjelaskan bahwa "tegangan operasi yang dikurangi dan sinyal canggih LPDDR5X memungkinkan bandwidth untuk diskalakan tanpa peningkatan konsumsi daya yang sesuai, sehingga menghasilkan performa bandwidth per watt yang lebih baik dibandingkan memori server konvensional." Pada dasarnya, pusat data dapat memasang lebih banyak DRAM berdaya rendah tanpa juga menaikkan biaya operasional terkait daya.

Industri AI yang berpotensi beralih dari DDR5 mungkin terdengar sebagai kabar baik dalam jangka pendek bagi gamer PC yang kekurangan memori, tetapi gambaran keseluruhannya sedikit lebih kompleks. Salah satunya, meningkatkan produksi DRAM berdaya rendah kemungkinan akan mengalihkan sumber daya yang sudah terbatas dari produksi DDR5, sehingga para gamer PC berada dalam posisi yang hampir sama. Selain itu, DRAM berdaya rendah cenderung digunakan pada perangkat mobile seperti ponsel dan tablet, sehingga konsumen masih bisa merasakan tekanan di sana.

Perlu dicatat bahwa kami telah melihat DRAM berdaya rendah di setidaknya satu laptop, khususnya dalam bentuk modul memori LPCAMM2 di Framework 13 Pro di Computex. Namun, krisis pasokan memori kemungkinan berarti kita tidak akan melihat modul daya rendah serupa di banyak laptop lain dalam waktu dekat.

Berbicara tentang kekurangan memori, industri AI hampir tidak ada insentif untuk melakukan apa pun selain menggunakan pengembangan DRAM berdaya rendah ini untuk terus meningkatkan skala, bukan memperlambat. Terutama karena makalah putih Micron menemukan bahwa memasang lebih banyak modul DRAM berdaya rendah "menghilangkan tumpahan disk di [benchmark], memberikan peningkatan dramatis."

Saya juga sulit untuk tidak merasa sedikit sinis terhadap berita efisiensi daya yang keluar dari sektor AI.

Sebelumnya, Google mengklaim Gemini hanya menyesap 'lima tetes' air per prompt teks, dan Sam Altman dari OpenAI mengatakan bahwa satu kueri ChatGPT menggunakan 'satu perlima belas sendok teh' air—namun ini bukan metrik yang berarti dalam hal konsumsi air keseluruhan industri.

Demikian pula, tidak bisa diabaikan betapa besar kekuatan yang digunakan oleh para pemain besar, dengan para analis mengklaim konsumsi listrik Google 'berubah dari pertumbuhan linear ke eksponensial' selama dua tahun terakhir. Jadi beban kerja DRAM berdaya rendah untuk AI memang baik, tapi apa artinya dari segi dampak lingkungan dan iklim? Belum lagi apakah saya bisa menemukan dua batang memori untuk digosok dengan harga yang wajar dalam waktu dekat.