Lains (2003) mengatakan bahwa istilah regresi dikemukakan untuk pertama kali oleh Francis Galton dalam artikelnya “Family Likeness in Stature” pada tahun 1886. Studinya ini menghasilkan apa yang dikenal dengan hukum regresi universal tentang tingginya anggota suatu masyarakat. Hukum tersebut menyatakan bahwa distribusi tinggi suatu masyarakat tidak mengalami perubahan yang besar sekali antar generasi. Hal ini dijelaskan Galton berdasarkan fakta yang memperlihatkan adanya kecenderungan mundurnya (regress) tinggi rata-rata anak dari orang tua dengan tinggi tertentu menuju tinggi rata-rata seluruh anggota masyarakat. Ini berarti terjadi penyusutan ke arah keadaan sekarang. Tetapi sekarang istilah regresi telah diberikan makna yang jauh berbeda dari yang dimaksudkan oleh Galton. Secara luas analisis regresi diartikan sebagai suatu analisis tentang ketergantungan suatu variabel kepada variabel lain yaitu variabel bebas dalam rangka membuat estimasi atau prediksi dari nilai rata-rata variabel tergantung dengan diketahuinya nilai variabel bebas.
Nachrowi dan Usman (2006) menjelaskan bahwa Gauss Markov telah membuktikan bahwa penduga dalam regresi mempunyai sifat BLUE (best linier unbiased estimate), atau mempunyai sifat yang linier, tidak bias, dan varians minimum, bila beberapa persyaratan terpenuhi. Manurung et al. (2005) mengatakan bahwa The Gaussian atau Classical Linear Regression Model (CLRM) membuat 10 asumsi. Asumsi tersebut adalah: (1) model regresi linier, (2) nilai variabel eksplanatoris tetap pada sampel berulang. Secara teknis variabel bebas diasumsikan nonstochastic, artinya analisis regresi adalah analisis regresi bersyarat pada nilai regressor tertentu, (3) nilai rata-rata dari disturbance term error ε adalah nol, (4) homoskedastisitas atau varians εi sama untuk seluruh observasi, (5) tidak ada otokorelasi antara disturbance term, (6) kovarians antara disturbance term regressor adalah nol, dengan kata lain disturbance term error dan regressor tidak berkorelasi, (7) jumlah observasi harus lebih besar dari jumlah parameter yang ditaksir atau jumlah observasi harus lebih besar dari jumlah variabel eksplanatoris, (8) variabilitas dalam variabel eksplanatoris, artinya nilai variabel bebas harus bervariasi, (9) model regresi dispesifikasi dengan benar, (10) tidak terdapat multikolinier sempurna.Pengujian normalitas dilakukan untuk menguji apakah dalam model regresi, variabel independen dan dependen mempunyai distribusi normal atau tidak.
Nachrowi dan Usman (2006) menjelaskan bahwa Gauss Markov telah membuktikan bahwa penduga dalam regresi mempunyai sifat BLUE (best linier unbiased estimate), atau mempunyai sifat yang linier, tidak bias, dan varians minimum, bila beberapa persyaratan terpenuhi. Manurung et al. (2005) mengatakan bahwa The Gaussian atau Classical Linear Regression Model (CLRM) membuat 10 asumsi. Asumsi tersebut adalah: (1) model regresi linier, (2) nilai variabel eksplanatoris tetap pada sampel berulang. Secara teknis variabel bebas diasumsikan nonstochastic, artinya analisis regresi adalah analisis regresi bersyarat pada nilai regressor tertentu, (3) nilai rata-rata dari disturbance term error ε adalah nol, (4) homoskedastisitas atau varians εi sama untuk seluruh observasi, (5) tidak ada otokorelasi antara disturbance term, (6) kovarians antara disturbance term regressor adalah nol, dengan kata lain disturbance term error dan regressor tidak berkorelasi, (7) jumlah observasi harus lebih besar dari jumlah parameter yang ditaksir atau jumlah observasi harus lebih besar dari jumlah variabel eksplanatoris, (8) variabilitas dalam variabel eksplanatoris, artinya nilai variabel bebas harus bervariasi, (9) model regresi dispesifikasi dengan benar, (10) tidak terdapat multikolinier sempurna.Pengujian normalitas dilakukan untuk menguji apakah dalam model regresi, variabel independen dan dependen mempunyai distribusi normal atau tidak.
Tetapi jika terjadi penyimpangan terhadap asumsi distribusi normalitas, maka masih tetap menghasilkan penduga koefisien regresi yang linier, tidak berbias dan terbaik. Penyimpangan asumsi normalitas ini akan semakin kecil pengaruhnya apabila jumlah sampel diperbesar. Salah satu penyelesaiannya adalah dengan cara mengubah bentuk nilai variabel yang semula nilai absolut ditransformasikan menjadi bentuk lain (kuadratik, resiprokal dan lain sebagainya) sehingga distribusi menjadi normal. Pengujian normalitas ini biasanya dilakukan dengan menggunakan rasio skewness yang memperbandingkan antara nilai skewness yang dihasilkan dengan nilai standard error. Model regresi dianggap berdistribusi normal jika rasio skewness berada pada range antara –2 hingga +2.
Analisis regresi berkenaan dengan studi ketergantungan suatu variabel, variabel tak bebas, pada satu atau lebih variabel lain, variabel yang menjelaskan (explanatory variables), dengan maksud menaksir dan atau meramalkan nilai rata-rata hitung (mean) atau rata-rata (populasi) variabel tak bebas, dipandang dari segi nilai yang diketahui atau tetap variabel yang menjelaskan (Gujarati, 2004).
Regresi dalam statistika adalah salah satu metode untuk menentukan tingkat pengaruh suatu variabel terhadap variabel yang lain. Variabel yang pertama disebut dengan bermacam-macam istilah: variabel penjelas, variabel eksplanatorik, variabel independen, atau secara bebas, variabel X (karena seringkali digambarkan dalam grafik sebagai absis, atau sumbu X). Variabel yang kedua adalah variabel yang dipengaruhi, variabel dependen, variabel terikat, atau variabel Y. Kedua variabel ini dapat merupakan variabel acak (random), namun variabel yang dipengaruhi harus selalu variabel acak.
Analisis regresi adalah salah satu analisis yang paling populer dan luas pemakaiannya. Hampir semua bidang ilmu yang memerlukan analisis sebab-akibat boleh dipastikan mengenal analisis ini.
Analisis ini pertama kali dipergunakan oleh Karl Pearson, seorang matematikawan dan penyokong ide eugenetika, untuk menganalisis hubungan antara sifat orang tua dan anaknya.
Korelasi dan regresi mempunyai hubungan yang sangat erat. Setiap regresi pasti ada korelasinya, tetapi korelasi belum tentu dilanjutkan dengan regresi. Korelasi yang tidak dilanjutkan dengan regresi adalah korelasi antara dua variabel yang tidak mempunyai hubungan kausal/sebab-akibat atau hubungan fungsional. Untuk menetapkan apakah kedua variabel mempunyai hubungan kausal atau tidak, maka harus dilandaskan pada teori atau konsep tentang dua variabel tersebut (Sugiyono, 2005).
Contoh Persamaan Regresi:
Contoh Persamaan Regresi:
Y = 2 + 10X ……..(1)
Y = variabel respon; X = variabel prediktor/bebas
Angka 2 pada persamaan (1) biasanya disebut sebagai intersep.
Sedangkan angka 10 biasanya disebut sebagai slope. Pada umumnya, intersep diartikan sebagai nilai rata-rata Y bila nilai X sama dengan nol.
Sering ditemui di lapangan, para peneliti yang melakukan analisis data dengan regresi linier, baik sederhana maupun berganda, selalu “memaksa” untuk menginterpretasikan makna nilai intersep dari persamaan regresi yang didapatkan. Padahal, intersep tidak selalu dapat diartikan, apalagi jika tidak ada dukungan secara teori terhadap kasus yang sedang diteliti. Intersep sebenarnya merupakan komponen yang harus muncul agar nilai slope dapat dihitung. Apabila data pengamatan untuk variabel bebas/prediktor (variabel X) tidak mengikutkan nilai 0 (atau mendekati 0), maka peneliti perlu berhati-hati dalam memaknai intersep. Apabila tetap dipaksakan untuk memaknai intersep tanpa didukung oleh latar belakang keilmuan untuk kasus yang diteliti, dikuatirkan akan melanggar aturan dari penggunaan persamaan regresi, yaitu bahwa persamaan regresi tidak dapat digunakan untuk memprediksi nilai variabel respon (variabel Y) secara ekstrapolasi. Hal ini disebabkan karena kita tidak tahu apakah bentuk hubungan antara variabel respon dan prediktor juga masih berbentuk linier apabila nilai pengamatan variabel prediktor diperluas hingga mendekati nilai 0. Dalam hal ini, peneliti dituntut memahami secara lebih mendalam mengenai latar belakang keilmuan dari kasus yang diteliti. Biasanya, secara teoritis, para ahli suatu bidang ilmu telah menjelaskan mengenai peran intersep dalam ilmu tersebut. Misalnya dalam bidang eonomi, untuk penelitian mengenai biaya, intersep biasanya diartikan sebagai fixed cost, sedangkan slope diartikan sebagai variabel cost.
Dalam kehidupan sehari-hari, seringkali dijumpai hubungan antara suatu variabel dengan satu atau lebih variabel lain. Di dalam bidang pertanian sebagai contoh, dosis dan jenis pupuk yang diberikan berhubungan dengan hasil pertanian yang diperoleh, jumlah pakan yang diberikan pada ternak berhubungan dengan berat badannya, dan sebagainya. Secara umum ada dua macam hubungan antara dua atau lebih variabel, yaitu bentuk hubungan dan keeratan hubungan. Bila ingin mengetahui bentuk hubungan dua variabel atau lebih, digunakan analisis regresi. Bila ingin melihat keeratan hubungan, digunakan analisis korelasi.
Analisis regresi adalah teknik statistika yang berguna untuk memeriksa dan memodelkan hubungan diantara variabel-variabel. Penerapannya dapat dijumpai secara luas di banyak bidang seperti teknik, ekonomi, manajemen, ilmu-ilmu biologi, ilmu-ilmu sosial, dan ilmu-ilmu pertanian. Pada saat ini, analisis regresi berguna dalam menelaah hubungan dua variabel atau lebih, dan terutama untuk menelusuri pola hubungan yang modelnya belum diketahui dengan sempurna, sehingga dalam penerapannya lebih bersifat eksploratif.
Analisis regresi dikelompokkan dari mulai yang paling sederhana sampai yang paling rumit, tergantung tujuan yang berlandaskan pengetahuan atau teori sementara, bukan asal ditentukan saja.
a. Regresi Linier Sederhana
Regresi linier sederhana bertujuan mempelajari hubungan linier antara dua variabel. Dua variabel ini dibedakan menjadi variabel bebas (X) dan variabel tak bebas (Y). Variabel bebas adalah variabel yang bisa dikontrol sedangkan variabel tak bebas adalah variabel yang mencerminkan respon dari variabel bebas.
b. Regresi Berganda
Regresi berganda seringkali digunakan untuk mengatasi permasalahan analisis regresi yang melibatkan hubungan dari dua atau lebih variabel bebas. Pada awalnya regresi berganda dikembangkan oleh ahli ekonometri untuk membantu meramalkan akibat dari aktivitas-aktivitas ekonomi pada berbagai segmen ekonomi. Misalnya laporan tentang peramalan masa depan perekonomian di jurnal-jurnal ekonomi (Business Week, Wal Street Journal, dll), yang didasarkan pada model-model ekonometrik dengan analisis berganda sebagai alatnya. Salah satu contoh penggunaan regresi berganda dibidang pertanian diantaranya ilmuwan pertanian menggunakan analisis regresi untuk menjajagi antara hasil pertanian (misal: produksi padi per hektar) dengan jenis pupuk yang digunakan, kuantitas pupuk yang diberikan, jumlah hari hujan, suhu, lama penyinaran matahari, dan infeksi serangga.
c. Regresi Kurvilinier
Regresi kurvilinier seringkali digunakan untuk menelaah atau memodelkan hubungan fungsi variabel terikat (Y) dan variabel bebas (X) yang tidak bersifat linier. Tidak linier bisa diartikan bilamana laju perubahan Y sebagai akibat perubahan X tidak konstan untuk nilai-nilai X tertentu. Kondisi fungsi tidak linier ini (kurvilinier) seringkali dijumpai dalam banyak bidang. Misal pada bidang pertanian, bisa diamati hubungan antara produksi padi dengan taraf pemupukan Phospat. Secara umum produksi padi akan meningkat cepat bila pemberian Phospat ditingkatkan dari taraf rendah ke taraf sedang. Tetapi ketika pemberian dosis Phospat diteruskan hingga taraf tinggi, maka tambahan dosis Phospat tidak lagi diimbangi kenaikan hasil, sebaliknya terjadi penurunan hasil. Untuk kasus-kasus hubungan tidak linier, prosedur regresi sederhana atau berganda tidak dapat digunakan dalam mencari pola hubungan dari variabel-variabel yang terlibat. Dalam hal ini, prosedur analisis regresi kurvilinier merupakan prosedur yang sesuai untuk digunakan.
d. Regresi Dengan Variabel Dummy (Boneka)
Analisis regresi tidak saja digunakan untuk data-data kuantitatif (misal : dosis pupuk), tetapi juga bisa digunakan untuk data kualitatif (misal : musim panen). Jenis data kualitatif tersebut seringkali menunjukkan keberadaan klasifikasi (kategori) tertentu, sering juga dikatagorikan variabel bebas (X) dengan klasifikasi pengukuran nominal dalam persamaan regresi. Sebagai contoh, bila ingin meregresikan pengaruh kondisi kemasan produk dodol nenas terhadap harga jual. Pada umumnya, cara yang dipakai untuk penyelesaian adalah memberi nilai 1 (satu) kalau kategori yang dimaksud ada dan nilai 0 (nol) kalau kategori yang dimaksud tidak ada (bisa juga sebaliknya, tergantung tujuannya). Dalam kasus kemasan ini, bila kemasannya menarik diberi nilai 1 dan bila tidak menarik diberi nilai 0. Variabel yang mengambil nilai 1 dan 0 disebut variabel dummy dan nilai yang diberikan dapat digunakan seperti variabel kuantitatif lainnya.
e. Regresi Logistik (Logistic Regression)
Bila regresi dengan variabel bebas (X) berupa variabel dummy, maka dikatagorikan sebagai regresi dummy. Regresi logistik digunakan jika variabel terikatnya (Y) berupa variabel masuk katagori klasifikasi. Misalnya, variabel Y berupa dua respon yakni gagal (dilambangkan dengan nilai 0) dan berhasil (dilambangkan dengan nilai 1). Kondisi demikian juga sering dikatagorikan sebagai regresi dengan respon biner. Seperti pada analisis regresi berganda, untuk regresi logistik variabel bebas (X) bisa juga terdiri lebih dari satu variabel.
Regresi linier
Regresi linier digunakan untuk memodelkan hubungan sebab akibat antara variabel bebas dengan variabel respon. Dari namanya saja udah kelihatan, bahwa model hubungan yang dimaksud adalah model hubungan linier. Contoh: Ingin dicari model regresi antara “biaya iklan” dengan “penjualan”. Variabel bebas/prediktor adalah biaya iklan dan variabel respon adalah penjualan. Jadi ingin dicari bagaimanakah model hubungan antara 2 variabel tsb, sehingga bisa diketahui berapakah nilai penjualan yang akan diperoleh bila perusahaan mengeluarkan biaya iklan sebesar X rupiah.
Regresi Linier Berganda
Analisis regresi merupakan studi dalam menjelaskan dan mengevaluasi hubungan antara suatu peubah bebas (independent variable) dengan satu peubah tak bebas (dependent variable) dengan tujuan untuk mengestimasi dan atau meramalkan nilai peubah tak bebas didasarkan pada nilai peubah bebas yang diketahui (Widarjono, 2005).
Metode regresi linear berganda dapat digunakan untuk melihat pengaruh beberapa peubah penjelas atau peubah bebas terhadap satu peubah tak bebas. Metode analisis yang digunakan dalam penelitian ini adalah analisis regresi linear berganda. Analisis regresi linier berganda digunakan untuk melihat pengaruh peubah stok karet alam AS, PDB AS, harga karet alam di pasar internasional, dan jumlah kendaraan bermotor di AS terhadap volume ekspor karet alam Indonesia.
Selain itu, analisis regresi linear berganda juga digunakan untuk melihat pengaruh peubah produksi karet alam Indonesia, impor karet sintetis Indonesia, jumlah kendaraan bermotor di Indonesia, serta kebijakan pemerintah dalam Kepres no.1 tahun 1986 terhadap konsumsi karet alam Indonesia.
Untuk menyatakan kuat tidaknya hubungan linier antara peubah penjelas dan peubah bebas dapat diukur dari koefisisen korelasi ( coefficient correlation) atau R, dan untuk melihat besarnya sumbangan (pengaruh) dari peubah bebas terhadap perubahan peubah tak bebas dapat dilihat dari koefisien determinasi (coefficient of determination) atau R2. Variabel boneka (dummy) adalah variabel yang menjelaskan ada atau tidak adanya kualitas dengan membentuk variabel buatan yang mengambil nilai 1 atau 0 (Budiani, 2005).
Regresi Liear Klasik
Setelah didapatkan model regresi, kita tidak bisa langsung melakukan interpretasi terhadap hasil yang diperoleh. Hal ini disebabkan karena model regresi harus diuji terlebih dahulu apakah sudah memenuhi asumsi klasik. Apabila ada satu syarat saja yang tidak terpenuhi, maka hasil analisis regresi tidak dapat dikatakan bersifat BLUE (Best Linear Unbiased Estimator). Asumsi regresi linier klasik tersebut antara lain adalah:
- Model regresi dispesifikasikan dengan benar.
- Error menyebar normal dengan rataan nol dan memiliki suatu ragam (variance) tertentu.
- Tidak terjadi heteroskedastisitas pada ragam error.
- Tidak terjadi multikolinieritas antara peubah bebas.
- Error tidak mengalami autokorelasi (error tidak berkorelasi dg dirinya sendiri).