کلیات رگرسیون خطی ساده (فرمولها)

مدل رگرسیونی

یکی از پرکاربردترین روش های آماری در علوم مختلف، اجرای انواع روش های رگرسیون برای تعیین رابطه ی بین یک متغیر وابسته با یک یا چند متغیر مستقل می باشد . متغیر وابسته ، پاسخ و متغیرهای مستقل ، متغیرهای توضیحی نیز نامیده می شوند.

اجرای یک مدل رگرسیونی با تعریف مدل رگرسیون امکان پذیر است. مدل رگرسیون ساده با متغیر وابسته یY وp-1  متغیر مستقل X1,X2,…,Xp-1 به صورت زیر تعریف می شود ،

به عنوان مثال فرض کنید یک محقق قصد دارد اثر دو متغیر سن و وزن را بر فشارخون اندازه گیری نماید. برای این مطالعه مقادیر سن و وزن برای n=500 نفر اندازه گیری می شود. در این مطالعه سن و وزن متغیرهای مستقل یا پیشگو و متغیر فشارخون متغیر وابسته می باشد.

معادله ی (1) را می توان به فرم ماتریسی زیر نیز تعریف کرد: 

ماتریس X مقادیر مشاهده شده ی p-1  متغیر را برای n نفر نشان می دهد. بردار Y نیز مقادیر مشاهده  شده ی متغیر وابسته برای نمونه ای به حجم n می باشد. در یک مدل رگرسیونی Β_j ها پارامترهای مدل بوده و به کمک روش های مختلفی مانند روش حداقل مربعات و روش درستنمایی ماکزیمم برآورد می شوند. ε_i ها نیز جملات خطا نامیده می شوند و دارای توزیع نرمال با میانگین صفر و واریانس σ² هستند. 

معادله ی رگرسیون با تعریف ماتریس متغیرهای توضیحی و بردارهای متغیر پاسخ ، پارامترهای مدل و جملات خطا به صورت زیر تعریف می شود :

برآورد ضرایب رگرسیون

به کمک روش حداقل مربعات مقادیر بردار β_p*1 با می نیمم کردن معادله 

حاصل می شود. برآورد بردار  β_p*1  را با  b_p*1 نشان داده و با توجه به فرم ماتریسی تعریف شده در معادله (2) به صورت زیر محاسبه می شود

مقادیر برازش شده و خطاها

با برآورد پارامترهای مدل ، برآورد بردارYبا استفاده از رابطه ی

حاصل می شود. به  Ŷ  مقادیر برازش شده گفته می شود.

تفاوت بین مقادیر واقعی و مقادیر برازش شده مانده های رگرسیون نامیده می شوند؛

مجموع و میانگین مربعات

 برای تهیه ی جدول آنالیز واریانس و بررسی معنی داری مدل برازش داده شده  به معرفی مقادیر مجموع مربعات خطا و میانگین مربعات خطا می پردازیم.

مجموع مربعات کل 

این مقدار مجموع توان دوم تفاضل هریک از اعضای بردار Y از میانگین این بردار حاصل می شود. مجموع مربعات کل با SSTO نمایش داده شده و به صورت زیر تعریف می شود .

SSTO دارای n-1 درجه آزادی است .

J  ماتریسی n*n است که تمام اعضای آن 1 هستند.

مجموع مربعات رگرسیون 

این مقدار میزان  تغییراتی از متغیر پاسخ را که توسط مدل برازش شده تبیین می شود، نشان می دهد. مجموع مربعات رگرسیون دارای p-1 درجه آزادی می باشد:

مجموع مربعات خطا 

میزان تغییراتی از متغیر پاسخ که توسط مدل رگرسیون بیان نمی شود ، در مجموع مربعات خطا قرار می گیرد. این عبارت دارای n-p درجه ی آزادی است. 

ماتریس H به شکل زير تعریف می شود :

با توجه به تعاریف ارائه شده ذکر این نکته لازم به نظر می رسد که مجموع تغییرات متغیر پاسخ به وسیله ی دو جزء مجموع مربعات رگرسیون و مجموع مربعات خطا قابل بیان می باشد.

SSTO = SSR + SSE 

به این ترتیب میانگین مربعات رگرسیون و میانگین مربعات خطا از تقسیم SSR وSSE بر درجه آزادی هریک حاصل می شوند و داریم :    

منبع : کتاب مقدمه ای بر مدل های خطی آماری . نوشته ی مایکل کاتنر (Michael H.Kutner) و جان نتر (John Neter).