penjelas dan pengertian K-Nearest Neighbor

K-Nearest Neighbor

Algoritma K-Nearest Neighbor (KNN) adalah sebuah metode untuk melakukan klasifikasi terhadap objek berdasarkan data pembelajaran yang jaraknya paling dekat dengan objek tersebut. Teknik ini sangat sederhana dan mudah diimplementasikan. Mirip dengan teknik clustering, yaitu mengelompokkan suatu data baru berdasarkan jarak data baru itu ke beberapa data/tetangga terdekat. Pertama sebelum mencari jarak data ke tetangga adalah menentukan nilai K tetangga (neighbor). Lalu, untuk mendefinisikan jarak antara dua titik yaitu titik pada data training dan titik pada data testing, maka digunakan rumus Euclidean dengan persamaan : 

 [1]

Keterangan:

d (a,b) : jarak Euclidian

x : data 1

y : data 2

i : fitur ke -

n : jumlah fitur

Tujuan dari algoritma ini adalah mengklasifikasikan obyek berdasarkan atribut dan training sample. Clasifier tidak menggunakan apapun untuk dicocokkan dan hanya berdasarkan pada memori. Diberikan titik query, akan ditemukan sejumlah k obyek atau (titik training) yang paling dekat dengan titik query. Klasifikasi menggunakan voting terbanyak diantara klasifikasi dari k obyek.  Algoritma K-Nearest Neighbor (K-NN) menggunakan klasifikasi ketetanggaan sebagai nilai prediksi dari query instance yang baru. algoritma ini dianggap mampu menyelesaikan masalah klasifikasi yang sederhana. 
pada algoritma ini setiap data harus ditentukan kelasnya dan setiap kelas harus memiliki label. mungkin untuk sebagian data tanpa label akan sulit menentukan label jika akan menggunakan algoritma ini. algoritma ini dianggap lebih mudah digunakan jika data sudah memiliki label.

#klasifikasi #Algoritma #KNN #rumusKNN #PengertianKNN #penjelasanKNN

sumber : 

[1]

N. N. Dzikrulloh, Indriati dan B. D. Setiawan, “Penerapan Metode K–Nearest Neighbor (KNN) dan Metode Weighted Product (WP) Dalam Penerimaan Calon Guru Dan Karyawan Tata Usaha Baru Berwawasan Teknologi (Studi Kasus : Sekolah Menengah Kejuruan Muhammadiyah 2 Kediri),” Jurnal Pengembangan Teknologi Informasi dan Ilmu Komputer, vol. 1, no. 5, pp. 378-385, 2017.

Pengertian regresi liner, graient descent dan algoritma least mean square

disini saya akan menjelaskan secara singkat apa itu regresi linier , graient descent dan algoritma least mean square

Regresi Linier

apakah itu regresi linier ? Regresi merupakan alat ukur yg digunakan untuk mengetahui ada tidaknya korelasi antarvariabel. Analisis regresi lebih akurat dlm analisis korelasi karena tingkat perubahan suatu variabel terhdp variabel lainnya dpt ditentukan). Jadi pada regresi, peramalan atau perkiraan nilai variabel terikat pada nilai variabel bebas lebih akurat pula.Regresi linier adalah regresi yang variabel bebasnya (variabel X) berpangkat paling tinggi satu. Utk regresi sederhana, yaitu regresi linier yg hanya melibatkan dua variabel (variabel X dan Y). 

Regresi linier adalah pendekatan untuk memodelkan hubungan antara variable terikat Y dan satu atau lebih variable bebas yang disebut X. Salah satu kegunaan dari regresi linier adalah untuk melakukan prediksi berdasarkan data yang telah dimiliki sebelumnya. Hubungan diantara variable bebas, maka regresi linier dapat dibagi menjadi dua, yaitu regresi linier univariate dan regresi linier multivariate. regresi multivariate adalah memiliki variabel yang lebih dari 1 jenis.

Gradient Descent

Algoritma penurunan gradien atau gradient descent merupakan algoritma yang digunakan untuk mencari nilai minimum lokal yang dapat dihasilkan dari suatu fungsi parametrik. Teknik ini didasarkan pada fakta bahwa nilai gradien dari suatu fungsi pada titik tertentu menyatakan kemiringan lereng dari nilai tersebut terhadap titik di sekitarnya sehingga nilai minimum dapat diraih dengan mengurangi nilai titik tersebut dengan nilai gradien. Algoritma ini dapat dibalik untuk tujuan mencari nilai maksimum dengan cara menambahkan suatu nilai titik dengan gradien fungsinya pada titik tersebut. Algoritma ini sangat umum digunakan pada teknik Regresi maupun Pembelajaran mesin untuk mencari variabel pada fungsi galat sehingga suatu fungsi dapat memodelkan data dengan galat yang minimum. nilainya harus jelas dan tidak ambigu.

Algoritma Least Mean Square

Algoritma LMS diperkenalkan oleh Widrow dan Hoff.,1975 yang diaplikasikan untuk proses pembelajaran. Algoritma ini mempunyai kinerja yang dapat menekan noise dari sinyal yang telah terkena noise. Algoritma LMS merupakan pendekatan dari algoritma steepest descant yang menggunakan estimasi sesaat dari gradien vektor sebagai fungsi yang dipertimbangkan. Nilai estimasi gradien didasarkan pada nilai sampel vektor masukan dan nilai galat (error) yang diperoleh. 

#LMS #Gc #RegresiLinear #Penjelasan #Pengertian