Senin, 04 September 2017

Metode Estimasi Parameter Fungsi Regresi

OLS, WLS dan GLS, apa bedanya?, sumber foto: dokpri.

Sebelum menginjak pada pembahasan tentang regresi, ada baiknya kita obrolkan soal metode estimasi parameter fungsi regresi. Dalam praktiknya, terdapat beberapa jenis metode estimasi parameter fungsi regresi, yaitu Ordinary Least Square (OLS), Generalized Least Square (GLS), Weighted Least Square (WLS) dan Maximum Likelihood Estimation (MLE). Untuk lebih fokus, kita bahas terlebih dahulu OLS, GLS dan WLS. Ketiga jenis metode estimasi ini perlu dieksplor lebih gamblang lagi mengingat terdapat literatur yang belum jelas dalam hal membedakan ketiganya, khususnya GLS dan WLS.

Ordinary Least Square (OLS) merupakan metode estimasi yang umum digunakan dalam analisis regresi linier, baik sederhana maupun berganda. Metode ini adalah metode yang paling sering digunakan.  Karakteristik dari OLS yang utama adalah adanya "Line of Best Fit" yang dapat dimaknai sebagai jumlah kuadrat dari simpangan amatan atau titik observasi terhadap garis regresi minimum.

Dengan menggunakan OLS, penduga parameter regresi dapat dihitung. OLS dalam hal ini berfungsi untuk mengetahui seberapa besar pengaruh variabel bebas (Xi; i = 1, 2, 3, ... , n) terhadap variabel terikat (Y).

Meski demikian, syarat mutlak dalam menggunakan OLS adalah terpenuhinya semua uji asumsi klasik yang pada bagian berikutnya akan kita bahas. Sebab, apabila salah satu uji asumsi klasik terlanggar, maka estimator yang dihasilkan dengan metode OLS tidak lagi efisien dan tidak dapat digunakan karena estimatornya tak lagi memenuhi sifat Best Linier Unbiased Estimator (BLUE). Persamaan regresi populasi secara garis besar dapat dituliskan sebagai berikut.
Persamaan regresi populasi, sumber foto: dokpri.

Untuk menduga parameter alpha dan beta regresi populasi itu, maka kita gunakan regresi berdasarkan sampel. Secara matematis dapat kita tuliskan berikut.
Regresi sampel untuk menduga parameter, sumber foto: dokpri.

Kita perlu memahami bahwa untuk garis regresi dugaan, kita menggunakan tanda topi pada estimator parameter. Dari formula itu pula, kita juga harus memahami bahwa epsilon i berbeda dengan residu (eror i). Epsilon i kita sebut sebagai disturbance, yaitu sesuatu (kesalahan) yang tidak dapat diamati (unobserved). Tetapi, eror i adalah kesalahan yang masih dapat kita amati (observed). Dari mana? Kesalahan ini kita dapatkan dari selisih nilai amatan di sekitar garis regresi.
Meminimumkan jumlah kuadrat eror, sumber foto: dokpri.

Di dalam metode ini, diketahui bahwa jumlah dari eror sama dengan nol, buktikan!. Sehingga, untuk tetap dapat diamati, kita menjumlahkan kuadrat simpangan atau eror ini. Metode OLS merupakan metode yang bertujuan meminimumkan jumlah kuadrat eror tersebut, maka kita mencari nilai alpha dan beta yang dapat meminimumkan jumlah kuadrat eror.
Rumus meminimumkan jumlah kuadrat eror, sumber foto: dokpri.

Bagaimana caranya? Nah, kita dapat meminimumkan jumlah kuadrat eror itu dengan menurunkan (diferensial) fungsi jumlah kuadrat eror terhadap alpha dan terhadap beta sedemikian sehingga sama dengan nol.
Rumus menentukan penduga alpha dan beta metode OLS, sumber foto: dokpri.

Dari hasil penurunan fungsi tersebut, kita dapat menentukan penduga alpha dan penduga beta regresi.

Lantas, bagaimana untuk regresi yang menggunakan variabel bebas lebih dari satu?. Untuk menduga parameter regresi linier berganda, kita dapat menggunakan OLS dengan matriks. Secara matematis, rumusan fungsi matriks dari regresi linier berganda dapat dituliskan berikut.
Fungsi matriks regresi linier berganda, sumber foto: dokpri.

Tanda garis bawah menunjukkan vektor sedangkan garis bergelombang menunjukkan matriks dari variabel bebas. Dalam kondisi regresi linier berganda, jumlah kuadrat eror kita transformasi dalam matriks menjadi eror transpose eror.
Transformasi matriks jumlah kuadrat eror, sumber foto: dokpri.

Demikian halnya dengan perkalian persamaan matriks fungsi regresinya.
Diferensiasi fungsi jumlah kuadrat eror dengan matriks untuk OLS, sumber foto: dokpri.

Dengan cara menurunkan terhadap alpha dan beta untuk dapat meminimumkan eror, maka kita dapatkan -2 X'y + 2X'Xb = 0. Dengan menghilangkan pengaruh pengalih 2, kita dapatkan:
Rumus mencari penduga beta OLS dengan matriks, sumber foto: dokpri.

Dalam transformasi matriks ini, alpha dapat kita pandang sebagai beta nol sehingga secara umum, estimator parameternya dapat kita hitung dengan formula tersebut.

Sebuah model dalam kenyataannya tak harus memenuhi asumsi klasik. Ada saja model kita yang secara riil tidak memenuhi uji asumsi klasik, ini sebuah keniscayaan karena data yang kita dapatkan adalah data yang acak (random). Acak dalam artian tak mungkin kita "paksa" atau kita "buat" agar mampu membentuk model yang sempurna. Dalam kondisi tertentu, yang paling sering terjadi pada model kita mengalami gangguan heteroskedastisitas (materi ujinya dapat dibaca di sini), autokorelasi (dapat dipahami di sini), atau mengalami kedua-duanya.

Gangguan heteroskedastisitas biasanya terjadi pada data cross section, sedangkan gangguan autokorelasi (korelasi serial) biasanya terjadi pada data runtun waktu (time series).

Weighted Least Square (WLS) adalah satu metode estimasi parameter regresi ketika dalam menggunakan OLS, ternyata terganggu oleh heteroskedastisitas. Pada kondisi heteroskedastisitas, asumsi varians sigma kuadrat Identitas berubah untuk setiap regresi sampel atau amatan sehingga kita memerlukan sebuah penimbang (pembobot) atau weighted, katakanlah matriks V yang dituliskan sebagai berikut.
Matriks varians WLS, sumber foto: dokpri.

Dengan menggunakan penimbang tersebut, maka penduga parameter regresi dapat kita tentukan. Kendati WLS ini berguna untuk menghilangkan gangguan heteroskedastisitas, namun kelemahannya adalah kita harus mengetahui penimbang (weighted) untuk setiap unit atau amatan kita. Penimbang itu tak bisa kita tentukan begitu saja, namun haruslah memiliki dasar yang kuat, misalnya kita dapatkan dari beberapa pengamatan sebelumnya, atau dapat pula kita tentukan berdasarkan pengalaman empiris sebelumnya.

Kemudian kita beranjak pada penggunaan metode Generalized Least Square (GLS). Metode GLS ini biasanya digunakan ketika model mengalami gangguan heteroskedastisitas dan autokorelasi, biasanya dua gangguan ini terjadi pada data panel, sebab data panel merupakan data gabungan cross section dan data runtun waktu (time series).
Matriks varians-kovarians GLS, sumber foto: dokpri.

Perbedaan matriks varian-kovarians antara metode WLS dan GLS adalah pada nilai koraviansnya. Pada matriks varians-kovarians WLS, tidak terdapat kovarians karena memang tak ada gangguan autokorelasi, sedangkan pada GLS, terdapat nilai kovarians tidak sama dengan nol.

Dengan menggunakan cara yang sama, kita kemudian mendapatkan sebuah matriks Ohm seperti pada gambar dan nilai penduga parameter regresinya dapat kita tentukan dengan menggunakan nilai invers (kebalikan) dari matriks varians-kovarians tersebut.