کلیات رگرسیون خطی ساده (فرمولها)

  1. خانه
  2. chevron_right
  3. مقالات تحلیل آماری
  4. chevron_right
  5. همبستگی و رگرسیون
  6. chevron_right
  7. کلیات رگرسیون خطی ساده (فرمولها)
نام دسته مطالب: همبستگی و رگرسیون

کلیات رگرسیون خطی ساده (فرمولها)

2 دیدگاه

مدل رگرسیونی

یکی از پرکاربردترین روش های آماری در علوم مختلف، اجرای انواع روش های رگرسیون برای تعیین رابطه ی بین یک متغیر وابسته با یک یا چند متغیر مستقل می باشد . متغیر وابسته ، پاسخ و متغیرهای مستقل ، متغیرهای توضیحی نیز نامیده می شوند.

اجرای یک مدل رگرسیونی با تعریف مدل رگرسیون امکان پذیر است. مدل رگرسیون ساده با متغیر وابسته یY وp-1  متغیر مستقل X1,X2,…,Xp-1 به صورت زیر تعریف می شود ،

 رگرسیون خطی ساده

به عنوان مثال فرض کنید یک محقق قصد دارد اثر دو متغیر سن و وزن را بر فشارخون اندازه گیری نماید. برای این مطالعه مقادیر سن و وزن برای n=500 نفر اندازه گیری می شود. در این مطالعه سن و وزن متغیرهای مستقل یا پیشگو و متغیر فشارخون متغیر وابسته می باشد.

معادله ی (1) را می توان به فرم ماتریسی زیر نیز تعریف کرد: 

 رگرسیون خطی ساده

ماتریس X مقادیر مشاهده شده ی p-1  متغیر را برای n نفر نشان می دهد. بردار Y نیز مقادیر مشاهده  شده ی متغیر وابسته برای نمونه ای به حجم n می باشد. در یک مدل رگرسیونی Βj ها پارامترهای مدل بوده و به کمک روش های مختلفی مانند روش حداقل مربعات و روش درستنمایی ماکزیمم برآورد می شوند. εi ها نیز جملات خطا نامیده می شوند و دارای توزیع نرمال با میانگین صفر و واریانس σ2 هستند. 

 رگرسیون خطی ساده

معادله ی رگرسیون با تعریف ماتریس متغیرهای توضیحی و بردارهای متغیر پاسخ ، پارامترهای مدل و جملات خطا به صورت زیر تعریف می شود :

 رگرسیون خطی ساده

برآورد ضرایب رگرسیون

به کمک روش حداقل مربعات مقادیر بردار βp*1 با می نیمم کردن معادله 

 رگرسیون خطی ساده

حاصل می شود. برآورد بردار  βp*1  را با  bp*1 نشان داده و با توجه به فرم ماتریسی تعریف شده در معادله (2) به صورت زیر محاسبه می شود

 رگرسیون خطی ساده

مقادیر برازش شده و خطاها

با برآورد پارامترهای مدل ، برآورد بردارYبا استفاده از رابطه ی

 رگرسیون خطی ساده

حاصل می شود. به  Ŷ  مقادیر برازش شده گفته می شود.

تفاوت بین مقادیر واقعی و مقادیر برازش شده مانده های رگرسیون نامیده می شوند؛

 رگرسیون خطی ساده

مجموع و میانگین مربعات

 برای تهیه ی جدول آنالیز واریانس و بررسی معنی داری مدل برازش داده شده  به معرفی مقادیر مجموع مربعات خطا و میانگین مربعات خطا می پردازیم.

مجموع مربعات کل 

این مقدار مجموع توان دوم تفاضل هریک از اعضای بردار Y از میانگین این بردار حاصل می شود. مجموع مربعات کل با SSTO نمایش داده شده و به صورت زیر تعریف می شود .

SSTO دارای n-1 درجه آزادی است .

 رگرسیون خطی ساده

J  ماتریسی n*n است که تمام اعضای آن 1 هستند.

مجموع مربعات رگرسیون 

این مقدار میزان  تغییراتی از متغیر پاسخ را که توسط مدل برازش شده تبیین می شود، نشان می دهد. مجموع مربعات رگرسیون دارای p-1 درجه آزادی می باشد:

 رگرسیون خطی ساده

مجموع مربعات خطا 

میزان تغییراتی از متغیر پاسخ که توسط مدل رگرسیون بیان نمی شود ، در مجموع مربعات خطا قرار می گیرد. این عبارت دارای n-p درجه ی آزادی است. 

 رگرسیون خطی ساده

ماتریس H به شکل زير تعریف می شود :

 رگرسیون خطی ساده

با توجه به تعاریف ارائه شده ذکر این نکته لازم به نظر می رسد که مجموع تغییرات متغیر پاسخ به وسیله ی دو جزء مجموع مربعات رگرسیون و مجموع مربعات خطا قابل بیان می باشد.

SSTO = SSR + SSE 

به این ترتیب میانگین مربعات رگرسیون و میانگین مربعات خطا از تقسیم SSR وSSE بر درجه آزادی هریک حاصل می شوند و داریم :    

 رگرسیون خطی ساده

منبع : کتاب مقدمه ای بر مدل های خطی آماری . نوشته ی مایکل کاتنر (Michael H.Kutner) و جان نتر (John Neter).

3.4/5 - (5 امتیاز)
,
بررسی فرض هاي زيربنايي هر رگرسيون، مناسب بودن الگو
رگرسیون گام به گام، و فنون انتخاب متغیر در آن

سایر مطالب مرتبط با موضوع فوق:

توجه شود که بخش سوال و جواب ها و کامنتها بعد از این بخش قرار دارد.

ضریب همبستگی

ضریب همبستگی پیرسون و ضريب همبستگي اسپيرمن

comment293 دیدگاه
1- ضریب همبستگی پیرسون ضریب همبستگی پیرسون که به نام های ضریب همبستگی گشتاوری و یا ضریب همبستگی مرتبه ی صفر نیز نامیده می شود ، توسط سر کارل پیرسون معرفی شده است. این ضریب به منظور تعیین میزان رابطه،…
مفهوم رگرسیون

مفهوم رگرسيون به زبان ساده

comment93 دیدگاه
رگرسيون چيست؟ رگرسيون يعني بازگشت. يعني پيش بيني و بيان تغييرات يک متغير بر اساس اطلاعات متغير ديگر. مثال: رابطه بين قد و وزن انسانها را در نظر بگيريد. همه مي دانيم که اين رابطه يک رابطه مستقيم رياضي و…
معنی داری مدل رگرسیون

آزمون معنی داری رگرسیون و ضرایب آن با نرم افزار SPSS

comment38 دیدگاه
1- بررسی معنی دار بودن مدل رگرسیون برای آزمون این که آیا رابطه ی رگرسیونی ارائه شده بین متغیر پاسخ (وابسته) و متغیرهای پیشگو (مستقل) معنی دار است یا خیر با تعریف مدل رگرسیون به صورت، فرضیه ی”  ”  را در…
ضریب همبستگی

ضريب همبستگي و انواع آن در تحليل آماري

comment7 دیدگاه
مقدمه در اين مقاله به بررسي موضوع ضريب همبستگي يا correlation coefficient که يکي از مفاهيم بنيادي در علم آمار است خواهيم پرداخت و به نقش آن در مدل سازي معادلات ساختاري اشاره خواهيم نمود. 1- انواع ضرایب همبستگی سر…
معنی داری مدل رگرسیون

آثار همخطی چند گانه در یک مدل رگرسیون

comment7 دیدگاه
1- مقدمه تفسیر و استفاده از یک مدل رگرسیون چندگانه اغلب به برآوردهای تک تک ضرایب رگرسیونی بستگی دارد. پاره ای از کاربردهای مدل رگرسیون عبارتند از: 1) شناسایی اثرات نسبی متغیرهای وابسته، 2) پیشگویی و یا برآورد کردن و…
تحلیل آماری

سوال و جواب پیرامون این مبحث از طریق ارسال دیدگاه:
– نیاز به عضویت در سایت ندارد
– از طریق ایمیل خود، از دریافت پاسخ مطلع می گردید
– اگر کامنتها زیاد است، برای جستجو و یافتن سوال مد نظر خود از (f + Ctrl) استفاده نمایید.
– لطفا دوستانی که اطلاعاتی تخصصی و یا تجربه ای دارند، به سوالات پاسخ دهند تا محققان سراسر کشور بهره ببرند (زکات علم نشر آن است)

2 دیدگاه. همین الان خارج شوید

  • با سلام
    ممنون از مطالب خوبی که در سایت قرار دادید
    بنده دانشجوی رشته الکترونیک بوده و در حوزه بررسی کیفیت چای با استفاده از بینی الکترونیکی تحقیق می کنم
    چند نمونه چای تهیه کردم و با استفاده از بینی الکترونیکی سیگنال بوی هر چای رو استخراج نمودم و یک سری ویژگی آماری استخراج و با استفاده از تحلیل های lda و pca تونستم برند این چای ها رو از هم تفکیک کنم اما چالش جدیدم اینه: این چای ها توسط تستر ها ارزیابی شده اند و برای هر کدام نمره ای بین 10 تا 20 در نظر گرفته شده حالا من با استفاده از ویژگی هایی که استخراج کردم (مثلا 4 ویژگی ) می خوام مدل پیش گویی طراحی کنم که نمونه چای جدید رو سطح کیفی نمونه چای جدید رو پیش بینی کنه آیا از روش های رگرسیون می تونم استفاده کنم اگر امکان داره تا جایی که مقدور باشه راهنمایی بفرمایید.

    پاسخ
    • سلام. فکر نکنم
      ببینید شما چون آزمایشات از قبل طراحی شده ای دارید، روش رگرسیون احتمالا کارایی زیادی نخواهد داشت.
      شما بر روی آنالیز واریانس و آزمون های مقایسات میانگین بررسی داشته باشید. معمولا در آزمایشات از روش آماری آنالیز وایانس استفاده می شود.

      پاسخ

دیدگاهتان را بنویسید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *

این قسمت نباید خالی باشد
این قسمت نباید خالی باشد
لطفاً یک نشانی ایمیل معتبر بنویسید.

2 × 4 =

فهرست
0
    0
    سبد خرید شما
    سبد خرید شما خالی استرفتن به فروشگاه