PENINGKATAN KINERJA BACKPROPAGATION MELALUI PENERAPAN STOCHASTIC GRADIENT DESCENT PADA PENENTUAN BOBOT DAN LEARNING RATE

Abstract

Backpropagation memiliki beberapa kelemahan yaitu hasil error, waktu pelatihan, dan akurasi ditentukan pada saat penentuan bobot awal dan learning rate. Algoritma Backpropagation melakukan perubahan bobot setelah semua iterasi dilakukan forward propagation dengan menghitung rata – rata gradient, sedangkan SGD melakukan perubahan bobot pada setiap iterasi dengan rata – rata error pada iterasi sebelumnya tanpa menunggu 1 epoch selesai melakukan forward propagation. Hal lain yang perlu diperhatikan di dalam backpropagation adalah learning rate. Learning rate yang optimal pada suatu model backpropagation belum tentu optimal apabila diterapkan pada permasalahan yang berbeda. Pada learning rate 0,1, 0,01, 0,001, dan 0,0000001 menghasilkan backpropagation dengan sgd memiliki hasil yang lebih baik yaitu mse yang lebih rendah, waktu pelatihan yang lebih cepat, dan akurasi yang lebih tinggi. Pada learning rate 0,0001, 0,00001, dan 0,000001 menghasilkan backpropagation dengan sgd memiliki hasil yang lebih baik yaitu mse yang lebih rendah, waktu pelatihan yang lebih cepat, tetapi pada akurasi menghasilkan nilai yang sama dengan backpropagation tanpa sgd.