FAKULTAS TEKNOLOGI INFORMASI
PENAMBANGAN DATA
[ KP368 / 3 SKS ]
FAKULTAS
TEKNOLOGI INFORMASI
Pertemuan 10
EVALUASI MODEL DATA MINING
FAKULTAS
TEKNOLOGI INFORMASI
Tujuan Pembelajaran
Mahasiswa mampu memahami bagaimana mengevaluasi
performa model / algoritma data mining.
FAKULTAS
TEKNOLOGI INFORMASI
Proses Data Mining
1. Himpunan 2. Metode 3. Pengetahuan 4. Evaluation
Data Data Mining
(Pahami dan (Pilih Metode (Pahami Model dan (Analisis Model dan
Persiapkan Data) Sesuai Karakter Data) Pengetahuan yg Sesuai ) Kinerja Metode)
DATA PREPROCESSING MODELING MODEL KINERJA
Data Cleaning Estimation Formula Akurasi
Data Integration Prediction Tree Tingkat Error
Classification Cluster Jumlah Cluster
Data Reduction
Clustering Rule
Data Transformation Correlation
Association MODEL
Atribute/Faktor
Korelasi
Bobot
FAKULTAS
TEKNOLOGI INFORMASI
Evaluasi Model Data Mining
1. Estimation:
Error: Root Mean Square Error (RMSE), MSE, MAPE, etc
2. Prediction/Forecasting (Prediksi/Peramalan):
Error: Root Mean Square Error (RMSE) , MSE, MAPE, etc
3. Classification:
Confusion Matrix: Accuracy
ROC Curve: Area Under Curve (AUC)
4. Clustering:
Internal Evaluation: Davies–Bouldin index, Dunn index,
External Evaluation: Rand measure, F-measure, Jaccard index, Fowlkes–Mallows
index, Confusion matrix
5. Association:
Lift Charts: Lift Ratio
Precision and Recall (F-measure)
FAKULTAS
TEKNOLOGI INFORMASI
Evaluasi Model Data Mining
Pembagian dataset, perbandingan 90:10 atau 80:20:
Data Training
Data Testing
Data training untuk pembentukan model, dan data
testing digunakan untuk pengujian model
Pemisahan data training dan testing
1. Data dipisahkan secara manual
2. Data dipisahkan otomatis dengan operator Split Data
3. Data dipisahkan otomatis dengan X Validation
FAKULTAS
TEKNOLOGI INFORMASI
PEMISAHAN DATA MANUAL
FAKULTAS
TEKNOLOGI INFORMASI
Latihan 1: Penentuan Kelayakan Kredit
Gunakan dataset di bawah:
creditapproval-training.xls: untuk membuat model
creditapproval-testing.xls: untuk menguji model
Data di atas terpisah dengan perbandingan:
data testing (10%) dan data training (90%)
Data training sebagai pembentuk model, dan data testing untuk
pengujian model, ukur performancenya
FAKULTAS
Confusion Matrix Accuracy TEKNOLOGI INFORMASI
pred MACET- true MACET: Jumlah data yang diprediksi macet dan
kenyataannya macet (TP)
pred LANCAR-true LANCAR: Jumlah data yang diprediksi lancar dan
kenyataannya lancar (TN)
pred MACET-true LANCAR: Jumlah data yang diprediksi macet tapi
kenyataannya lancer (FP)
pred LANCAR-true MACET: Jumlah data yang diprediksi lancar tapi
kenyataanya macet (FN)
𝐓𝐏 + 𝐓𝐍 53+ 37 90
Accuracy= = = =90 %
𝐓𝐏 + 𝐓𝐍 + 𝐅𝐏 + 𝐅𝐍 53+ 37+ 4+ 6 100
FAKULTAS
TEKNOLOGI INFORMASI
Precision and Recall, and F-measures
Precision: exactness – what % of tuples that
the classifier labeled as positive are actually
positive
Recall: completeness – what % of positive
tuples did the classifier label as positive?
Perfect score is 1.0
Inverse relationship between precision & recall
F measure (F1 or F-score): harmonic
mean of precision and recall,
Fß: weighted measure of precision
and recall
assigns ß times as much weight
to recall as to precision
FAKULTAS
TEKNOLOGI INFORMASI
Sensitivity and Specificity
Binary classification should be both sensitive and specific
as much as possible:
1. Sensitivity measures the proportion of true ’positives’
that are correctly identified (True Positive Rate (TP Rate)
or Recall)
2. Specificity measures the proportion of true ’negatives’
that are correctly identified (False Negative Rate (FN
Rate or Precision)
FAKULTAS
TEKNOLOGI INFORMASI
Kurva ROC - AUC (Area Under Curve)
ROC (Receiver Operating Characteristics) curves: for visual comparison of
classification models
Originated from signal detection theory
ROC curves are two-dimensional graphs in which the TP rate is plotted on the
Y-axis and the FP rate is plotted on the X-axis
ROC curve depicts relative trade-offs between benefits (’true positives’) and
costs (’false positives’)
Two types of ROC curves: discrete and continuous
FAKULTAS
TEKNOLOGI INFORMASI
Kurva ROC - AUC (Area Under Curve)
FAKULTAS
TEKNOLOGI INFORMASI
Guide for Classifying the AUC
1. 0.90 - 1.00 = excellent classification
2. 0.80 - 0.90 = good classification
3. 0.70 - 0.80 = fair classification
4. 0.60 - 0.70 = poor classification
5. 0.50 - 0.60 = failure
(Gorunescu, 2011)
FAKULTAS
TEKNOLOGI INFORMASI
Latihan 2: Prediksi Kanker Payudara
Gunakan dataset: breasttissue.xls
Split data dengan perbandingan:
data testing (10%) dan data training (90%)
Ukur performance (Accuracy dan Kappa)
FAKULTAS
TEKNOLOGI INFORMASI
Kappa Statistics
The (Cohen’s) Kappa statistics is a more vigorous measure than
the ‘percentage correct prediction’ calculation, because Kappa
considers the correct prediction that is occurring by chance
Kappa is essentially a measure of how well the classifier
performed as compared to how well it would have performed
simply by chance
A model has a high Kappa score if there is a big difference
between the accuracy and the null error rate (Markham, K.,
2014)
Kappa is an important measure on classifier performance,
especially on imbalanced data set
FAKULTAS
TEKNOLOGI INFORMASI
Latihan 3: Prediksi Harga Saham
Gunakan dataset di bawah:
hargasaham-training.xls: untuk membuat model
hargasaham-testing.xls: untuk menguji model
Data di atas terpisah dengan
perbandingan: data testing (10%) dan
data training (90%)
Jadikan data training sebagai pembentuk
model/pola/knowledge, dan data testing
untuk pengujian model
Ukur performance
FAKULTAS
TEKNOLOGI INFORMASI
FAKULTAS
TEKNOLOGI INFORMASI
Root Mean Square Error
The square root of the mean/average of the square of all of the error
The use of RMSE is very common and it makes an excellent general
purpose error metric for numerical predictions
To construct the RMSE, we first need to determine the residuals
Residuals are the difference between the actual values and the predicted values
We denoted them by
where is the observed value for the ith observation and
is the predicted value
They can be positive or negative as the predicted value under or over
estimates the actual value
You then use the RMSE as a measure of the spread of the y values
about the predicted y value
FAKULTAS
TEKNOLOGI INFORMASI
PEMISAHAN DATA OTOMATIS
FAKULTAS
TEKNOLOGI INFORMASI
Split Data Otomatis
The Split Data operator takes a dataset as its input and
delivers the subsets of that dataset through its output
ports
The sampling type parameter decides how the
examples should be shuffled in the resultant partitions:
1. Linear sampling: Divides the dataset into partitions without
changing the order of the examples
2. Shuffled sampling: Builds random subsets of the dataset
3. Stratified sampling: Builds random subsets and ensures that the
class distribution in the subsets is the same as in the whole
dataset
FAKULTAS
TEKNOLOGI INFORMASI
FAKULTAS
TEKNOLOGI INFORMASI
Latihan 4: Prediksi Kelulusan Mahasiswa
1. Dataset: datakelulusanmahasiswa.xls
2. Pisahkan data menjadi dua secara otomatis (Split Data):
data testing (10%) dan data training (90%)
3. Ujicoba parameter pemisahan data baik menggunakan
Linear Sampling, Shuffled Sampling dan Stratified
Sampling
4. Jadikan data training sebagai pembentuk
model/pola/knowledge, dan data testing untuk pengujian
model
5. Terapkan algoritma yang sesuai dan ukur performance dari
model yang dibentuk
FAKULTAS
TEKNOLOGI INFORMASI
Proses Prediksi Kelulusan Mahasiswa
FAKULTAS
TEKNOLOGI INFORMASI
Latihan 5: Estimasi Konsumsi Minyak
1. Dataset: HeatingOil.csv
2. Pisahkan data menjadi dua secara otomatis (Split
Data): data testing (10%) dan data training (90%)
3. Jadikan data training sebagai pembentuk
model/pola/knowledge, dan data testing untuk
pengujian model
4. Terapkan algoritma yang sesuai dan ukur
performance dari model yang dibentuk
FAKULTAS
TEKNOLOGI INFORMASI
CROSS-VALIDATION
FAKULTAS
TEKNOLOGI INFORMASI
Metode Cross-Validation
Metode cross-validation digunakan untuk menghindari
overlapping pada data testing
Tahapan cross-validation:
1. Bagi data menjadi k subset yg berukuran sama
2. Gunakan setiap subset untuk data testing dan sisanya untuk data
training
Disebut juga dengan k-fold cross-validation
Seringkali subset dibuat stratified (bertingkat) sebelum
cross-validation dilakukan, karena stratifikasi akan
mengurangi variansi dari estimasi
FAKULTAS
TEKNOLOGI INFORMASI
10 Fold Cross-Validation
Eksperi Akura
Dataset
men si
1 93% Orange: k-subset
2 91%
(data testing)
3 90%
4 93%
5 93%
6 91%
7 94%
8 93%
9 91%
10 90%
92%
Akurasi Rata-Rata
FAKULTAS
TEKNOLOGI INFORMASI
10 Fold Cross-Validation
Metode evaluasi standard: stratified 10-fold cross-
validation
Mengapa 10? Hasil dari berbagai percobaan yang
ekstensif dan pembuktian teoritis, menunjukkan
bahwa 10-fold cross-validation adalah pilihan
terbaik untuk mendapatkan hasil validasi yang
akurat
10-fold cross-validation akan mengulang pengujian
sebanyak 10 kali dan hasil pengukuran adalah nilai
rata-rata dari 10 kali pengujian
FAKULTAS
TEKNOLOGI INFORMASI
Latihan 6: Prediksi Elektabilitas Caleg
1. Lakukan training pada data pemilu (datapemilukpu.xls)
2. Lakukan pengujian dengan menggunakan 10-fold X Validation
3. Ukur performance-nya dengan confusion matrix dan ROC Curve
4. Lakukan ujicoba, ubah algoritma menjadi Naive Bayes, k-NN,
Random Forest (RF), Logistic Regression (LogR), analisis mana
algoritma yang menghasilkan model yang lebih baik (akurasi tinggi)
C4.5 NB k-NN
Accuracy 92.87% 79.34% 88.7
%
AUC 0.934 0.849 0.5
FAKULTAS
TEKNOLOGI INFORMASI
KOMPARASI ALGORITMA DATA MINING
FAKULTAS
TEKNOLOGI INFORMASI
Metode Data Mining
1. Estimation (Estimasi):
Linear Regression (LR), Neural Network (NN), Deep Learning (DL),
Support Vector Machine (SVM), Generalized Linear Model (GLM), etc
2. Forecasting (Prediksi/Peramalan):
Linear Regression (LR), Neural Network (NN), Deep Learning (DL),
Support Vector Machine (SVM), Generalized Linear Model (GLM), etc
3. Classification (Klasifikasi):
Decision Tree (CART, ID3, C4.5, Credal DT, Credal C4.5, Adaptative Credal
C4.5), Naive Bayes (NB), K-Nearest Neighbor (kNN), Linear Discriminant
Analysis (LDA), Logistic Regression (LogR), etc
4. Clustering (Klastering):
K-Means, K-Medoids, Self-Organizing Map (SOM), Fuzzy C-Means (FCM),
etc
5. Association (Asosiasi):
FAKULTAS
TEKNOLOGI INFORMASI
Latihan 7: Prediksi Elektabilitas Caleg
1. Lakukan training pada data pemilu
(datapemilukpu.xls) dengan menggunakan algoritma
1. Decision Tree (C4.5)
2. Naïve Bayes (NB)
3. K-Nearest Neighbor (K-NN)
2. Lakukan pengujian dengan menggunakan 10-fold X
Validation
DT NB K-NN
Accuracy 92.45% 77.46% 88.72%
AUC 0.851 0.840 0.5
FAKULTAS
TEKNOLOGI INFORMASI
FAKULTAS
TEKNOLOGI INFORMASI
Latihan 8: Prediksi Elektabilitas Caleg
1. Lakukan training pada data pemilu (datapemilukpu.xls)
dengan menggunakan algoritma C4.5, NB dan K-NN
2. Lakukan pengujian dengan menggunakan 10-fold X
Validation
3. Ukur performance-nya dengan confusion matrix dan ROC
Curve
4. Uji beda dengan t-Test untuk mendapatkan model terbaik
FAKULTAS
TEKNOLOGI INFORMASI
FAKULTAS
TEKNOLOGI INFORMASI
Hasil Prediksi Elektabilitas Caleg
Komparasi Accuracy dan AUC
C4.5 NB K-NN
Accuracy 92.45% 77.46% 88.72%
AUC 0.851 0.840 0.5
Uji Beda (t-Test) C4.5 NB kNN
C4.5
NB
kNN
Values with a colored background are smaller than alpha=0.050, which indicate a probably significant
difference between the mean values
Urutan model terbaik: 1. C4.5 2. k-NN 3. NB
FAKULTAS
TEKNOLOGI INFORMASI
Hasil Prediksi Elektabilitas Caleg
Komparasi Accuracy dan AUC
C4.5 NB K-NN
Accuracy 93.41% 79.72% 91.76%
AUC 0.921 0.826 0.885
Uji Beda (t-Test) C4.5 NB kNN
C4.5
NB
kNN
Values with a white background are higher than alpha=0.050, which indicate a probably NO significant difference
between the mean values
FAKULTAS
TEKNOLOGI INFORMASI
Latihan 9: Komparasi Prediksi Harga Saham
Gunakan dataset
harga saham
(hargasaham- 1. GLM
training.xls) 2. LR
Lakukan pengujian
3. NN
dengan 10-fold X
Validation 4. DL dan SVM
Lakukan ujicoba
dengan mengganti
algoritma (GLM, LR,
NN, DL, SVM), catat
hasil RMSE yang
keluar
Uji beda dengan t-
Test
FAKULTAS
TEKNOLOGI INFORMASI
Latihan 10 : Estimasi Performance CPU
1. Lakukan training pada data cpu (cpu.xls) dengan
menggunakan algoritma linear regression, neural
network dan support vector machine
2. Lakukan pengujian dengan XValidation (numerical)
3. Ukur performance-nya dengan menggunakan RMSE
(Root Mean Square Error)
LR NN SVM
RMSE 54.676 55.192 94.676
4. Urutan model terbaik: 1. LR 2. NN 3. SVM
FAKULTAS
TEKNOLOGI INFORMASI
FAKULTAS
TEKNOLOGI INFORMASI
Latihan 11: Estimasi Konsumsi Minyak
1. Lakukan training pada data minyak pemanas
(HeatingOil.csv) dengan menggunakan algoritma
linear regression, neural network dan support vector
machine, Deep Learning
2. Lakukan pengujian dengan XValidation (numerical)
dan Uji beda dengan t-Test
3. Ukur performance-nya dengan menggunakan RMSE
(Root Mean Square Error)
LR NN SVM DL
RMSE
FAKULTAS
TEKNOLOGI INFORMASI
Urutan model terbaik:
1. NN dan DL
2. LR dan SVM
LR NN DL SVM
LR
NN
DL
SVM
FAKULTAS
TEKNOLOGI INFORMASI
Latihan 12: Prediksi Elektabilitas Caleg
1. Lakukan training pada data pemilu (datapemilukpu.xls)
dengan menggunakan algoritma Decision Tree, Naive
Bayes, K-Nearest Neighbor, RandomForest, Logistic
Regression
2. Lakukan pengujian dengan menggunakan XValidation
3. Ukur performance-nya dengan confusion matrix dan ROC
Curve
4. Masukkan setiap hasil percobaan ke dalam file Excel
DT NB K-NN RandFor LogReg
Accuracy 92.21% 76.89% 89.63%
AUC 0.851 0.826 0.5
FAKULTAS
TEKNOLOGI INFORMASI
Latihan 13: Prediksi Harga Saham
1. Lakukan training pada data harga saham
(hargasaham-training.xls) dengan neural network,
linear regression, support vector machine
2. Lakukan pengujian dengan menggunakan
XValidation
LR NN SVM
RMSE
FAKULTAS
TEKNOLOGI INFORMASI
Kesimpulan
Model / algoritma data mining dapat dievaluasi performa
atau kemampuannya menggunakan berbagai ukuran.
Beberapa ukuran performa yang sering digunakan:
Akurasi, Presisi, Recall, F-Measure, dll
RMSE, MAPE
ROC, AUC, dll
Model / algoritma yang sama belum tentu menghasilkan
performa yang sama untuk dataset yang berbeda.
FAKULTAS
TEKNOLOGI INFORMASI
KESIMPULAN
SELESAI
