در سالهای اخیر، انجمن روانشناسی آمریکا (APA ) تغییراتی را در شیوه های ارائه گزارش تحقیقات پیشنهاد کرده است. این انجمن از پژوهشگران درخواست کرده است که از سطح اطمینان و مقیاسهای اندازه اثر در ارائه گزارشهای خود استفاده بیشتری به عمل آورند.شرکت تحقیقات بازار آزود به بررسی این موارد میپردازیم
اگر امروز گزارشهای تحلیلی حوزه تحقیقات بازار سری بزنید، متوجه می شوید که در اکثر قریب به اتفاق آنها، برای گزارش معنی دار بودن تفاوت یا رابطه بین متغیرها فقط از سطح معنی داری که معمولا در علوم انسانی 5% است و با ارزش p نمایش داده می شود، استفاده گردیده است. اما در واقع استفاده از سطح اطمینان و اندازه اثر بر قوت نتیجه گیریها می افزاید.
اما موضوع مهمی که در انجام امر فوق وجود دارد، عدم آشنایی بسیاری از موسسههای تحقیقات بازار با مفهوم این ابزارهاست. در زیر سعی شده تا توضیحاتی در این خصوص ارائه شود.
سطح معنی داری
سطح معنی داری که به آن ارزش p یا p-value گفته می شود که در گزارشهای آماری در spss به صورت sig.value نمایش داده می شود، میزان یا معیاری است که به عنوان پایه معنی داری شناخته می شود و همچنین به عنوان خطای نوع اول هم معروف است. این میزان در تحقیقات علوم انسانی 5% در نظر گرفته می شود و در علوم پزشکی 1% تعیین می گردد. اگر نتایج بررسی تفاوت یا رابطه متغیرها کمتر از 5% باشد، می گوییم احتمال شانسی بودن این تفاوت یا رابطه خیلی کم است و می توان نتیجه گرفت که تفاوت یا رابطه مورد نظر معنی دار است و اگر بیشتر از 5% باشد، پس احتمال شانسی بودن نتیجه بسیار است و رابطه یا تفاوت متغیرها معنی دار نیست. این درست مثل این است که دو سرمربی برای تیم فوتبال بیاورید و بخواهید عملکرد این دو سرمربی را مقایسه کنید. اگر نتایج به دست آمده نشان دهنده سطح معنی داری کمتر از 5% باشد، می توانید بگویید که تفاوت عملکرد دو مربی مذکور معنی دار و واقعی است و تصادفی یا شانسی نیست و بعد می توانید در مورد انتخاب از بین دو سرمربی اقدام کنید.
سطح اطمینان
در زمان تخمین اطلاعات آماری دو روش وجود دارد: روش اول استفاده از تخمین نقطه ای است. مثلا وقتی میگوییم که میانگین قد ایرانیها 1/70 سانتیمتر است، کاملا معلوم است که احتمال واقعی بودن این مقدار خیلی کم است. اما تخمین نقطه ای بهترین حدسی است که در چنین وضعیتی می توان زد هرچند معلوم نیست که این برآورد تا چه حد صحیح است.
سطح اطمینان ( یا فاصله اطمینان) اشکال فوق را برطرف می سازد. چون از دو مقدار به صورت حد بالا و حد پایین تشکیل شده که میزان مورد انتظار ما در دامنه اعداد بین این دو حد بالا و پایین قرار می گیرد. مثلا اگر حد بالا و پایین سطح اطمینان 95% معادل 1/6 و 1/8 باشد، در این صورت پارامتر مورد نظر ما می تواند در این فاصله قرار گیرد.
استفاده از سطح اطمینان به ما کمک می کند که حدسی در مورد جامعه بزنیم و میزانی از خطا را برای حدسمان در نظر بگیریم. علاوه بر این، سطح اطمینان اجازه می دهد که ما برای حدسمان یک دامنه ای از مقادیر احتمالی را در نظر بگیریم، نه اینکه مثل برآورد نقطه ای فقط یک اندازه مشخص مثل میانگین قد را ملاک تصمیم گیری قرار دهیم.
اندازه اثر
در مثال ارائه شده در خصوص انتخاب یک سرمربی مناسب یرای تیم ملی فوتبال، همانطور که گفته شد، شما با استفاده از سطح معنی داری که نشان دهنده معنی داری تفاوت نتایج به دست آمده در عملکرد دو سرمربی است، می توانید تصمیم بگیرید که کدام مربی بهتر عمل کرده و مسیر انتخاب شما را هموارتر می سازد. اما قضیه به این راحتی نیست، چون باید معلوم شود که تفاوت بین دو مربی تا چه حد است و روش هر یک از آنها، تا چه حد در موفقیت عملکرد تیم اثر داشته است. ممکن است این تفاوت زیاد نباشد و آیا فقط به دلیل یک تفاوت اندک می توان به انتخاب مربی دوم که درخواست مبلغ بیشتری در قرارداد داشته و شاید شرایط سختی را در قرارداد ضروری دانسته، اقدام کرد؟ آیا این تفاوت کم، ارزش تن دادن به شرایط دشوار پیشنهاد شده توسط مربی دوم را دارد؟
محاسبه اندازه اثر، در چنین شرایطی بسیار مفید است. در بسیاری از مقالات به مقایسه روشهای آموزش درس تربیت بدنی در مدارس و یا دانشگاهها پرداخته شده است و در نهایت با به دست آوردن معنی داری تفاوت در بین دو روش تدریس، محقق به راحتی پیشنهاد می کند که از روشی که در آزمون، برتر شناخته شده باید استفاده کرد و «این کاملا اشتباه است» مگر آنکه، اندازه اثر را نیز در تحقیق خود بسنجید و اجازه دهیدکه برای انتخاب روش تدریس برتر، تمام شرایط به درستی بررسی شود و بعد تصمیم گیری گردد که آیا روش جدید از همه نظر به صرفه است یا نه !
اندازه اثر با استفاده از مقیاسهای متفاوتی مورد اندازه گیری و بیان قرار می گیرد. اصلی ترین و گاه مؤثرترین مقیاس اندازه اثر، میانگین های تفاوت است که همیشه مؤثر نیست. اما استاندارد کردن مقیاس اندازه اثر، با استفاده از بیان آن بر اساس واحد انحراف استاندارد، روشی است که توسط کوهن معرفی شده و ظاهرا روش مؤثری است. این مقیاس که به نام d کوهن معروف است، به ما می گوید که به چه میزان تفاوت میانگین به توزیع نمره ها وابسته است و برای تشخیص اندازه اثر، طبقه بندی خاصی را پیشنهاد کرده است؛ به این ترتیب که اندازه اثر 0/2 را مقداری کوچک، 0/5 را متوسط و 0/8 را زیاد تعریف کرده است. پس اگر اندازه اثر در استفاده از یک روش تدریس یا آموزش، زیاد بود؛ باید با توجه به سایر شرایط مثل هزینه استفاده از روش جدید، دشواری استفاده از آن و سایر شرایط، به تصمیم گیری در خصوص انتخاب روش جدید پرداخت.
نتیجه اینکه برای بررسی معنی داری تفاوت یا رابطه بین متغیرها، سطح معنی داری فقط به ما می گوید که این رابطه و یا تفاوت معنی دار است یا نه! ولی استقاده از سطح اطمینان و نیز اندازه اثر، در تصمیم گیری بهتر به ما یاری می رسانند.