Data Science
Fungsi Aktivasi GELU: Rumus, Intuisi, dan Penggunaan dalam Deep Learning
GELU adalah fungsi aktivasi yang mulus dan probabilistik yang mengungguli alternatif yang lebih sederhana seperti ReLU dalam arsitektur deep learning, dan telah menjadi pilihan default pada model transformer seperti BERT dan GPT.
Dario Radečić