Regresi Univariat: how to
Pertemuan 11
Matematika & Statistika
Hari ini
- Regresi univariat
Korelasi
Pada uji hipotesis, kita mencoba menebak apakah sampel yang kita miliki telah sesuai dengan pembandingnya:
dibandingkan dengan sebuah angka -> uji hipotesis 1 populasi.
dibandingkan dengan sampel lain -> uji hipotesis 2 populasi.
Pada perhitungan korelasi, kita mendapatkan informasi tentang hubungan 2 variabel, Y dan X.
Regresi menggunakan 2 prinsip di atas untuk mencari perubahan marjinal dari Y dan X.
Regresi
Kali ini kita coba plot data jam belajar vs nilai UTS, tapi datanya ada 70 observasi (n=70).
Dapat dilihat ada pattern di data tersebut, di mana X dan Y memiliki korelasi positif.
Jika terdapat korelasi linear, kita dapat membuat garis lurus yang mewakili kurang lebih korelasi tersebut. (lihat garis biru)
Bagaimana cara membuatnya?
Regresi
- Garis biru tersebut dibuat sedemikian sehingga ia meminimalisir jarak vertikal antara setiap titik observasi dengan si garis biru.
- misalnya, lihat X=15, ada 4 titik berbeda, yaitu 64,65,68, dan 69.
- garis biru bertemu X=15 di Y=69.
- Jarak setiap titik terhadap Y=69 adalah [-5,-4,-1,0]
- Lakukan untuk semua titik, maka garis biru akan memberikan jumlah perbedaan terkecil dibanding posisi lain.
Ordinary Least Square
- Ada yang ingat rumus untuk membuat sebuah garis linear di diagram kartesian?
ˆY=β0+β1X
ˆY adalah Y yang didapatkan dari persamaan tersebut.
β0 adalah titik awal, atau Y ketika X=0, disebut juga konstanta.
β1 menunjukkan kemiringan garis. Disebut juga dengan gradien.
OLS
- Perbedaan vertikal antara garis biru dengan setiap observasi adalah:
ε=Y−ˆY
di mana Y adalah Y yang kita dapat dari data. si ε inilah yang diminimalisir.
- Untuk melakukan minimalisasi, kita memanfaatkan First Order Condition di mana untuk beberapa fungsi f(x), kita dapat menemukan titik optimal di mana f′(x)=0
OLS
- karena ε bisa jadi negatif, kita kuadratkan dulu lalu ditambahkan, sehingga:
minβ0,β1∑i(Yi−β0−β1Xi)2
kita mencari β0 dan β1 di mana ∂∂β0=0 dan ∂∂β1=0
Dengan kata lain, kita buat dulu persamaannya baru kita cari parameter garisnya dulu.
Metode ini disebut Ordinary Least Square (OLS) / metode kuadrat terkecil.
OLS
Kita tidak perlu melakukan penurunan rumus dari slide sebelumnya.
Sudah ada rumus yg siap pakai, yaitu:
β0=∑Y∑X2−∑X∑XYn∑X2−(∑X)2 dan β1=n∑XY−∑X∑Yn∑X2−(∑X)2
Rumus lain
- setelah mendapatkan kedua parameter kita, kita dapat menggambar garis kita:
ˆY=β0+β1X
Dan dapat menghitung error ε=Y−ˆY
Sehingga rumus regresi utuhnya adalah:
Y=β0+β1X+ε
Regresi univariat
Yi=β0+β1Xi+εi
Y disebut juga variabel dependen
X disebut juga variabel independen
nilai Y dan X kita dapatkan dari data
ε disebut juga error term / residual. Dia bersifat independen
β1 disebut juga dengan marginal effect. Ada yang ingat turunan?
Marginal effect
pada dasarnya, β1=dYdX. Apa artinya?
Untuk kenaikan X sebesar 1 satuan, Y naik sebesar β1
Jika kita gunakan konteks kita, bagaimana menerjemahkan β1 ?
Jika jam belajar bertambah 1 jam/minggu, nilai UTS naik sebesar β1
Ramalan
Disamping itu, kita dapat meramal Y jika tau X. Jika saya belajar 13 jam, berapa ekspektasi nilai UTS saya?
ˆY=β0+β1×13
Y aslinya belum tentu sama dengan ˆY, tapi walaupun beda, harusnya tidak terlalu jauh.
Semakin besar korelasinya, semakin bagus ramalannya.
Video regresi excel
Minggu depan
Syarat menggunakan regresi
analisis pola error
Regresi Univariat: how to Pertemuan 11 Matematika & Statistika