ترکیب شاخص های کامپوزیت مبتنی بر نقطه مرجع با تجزیه و تحلیل پاکت نامه: کاربرد برای ارزیابی دانشگاه ها

در جامعه دانش ما ، جایی که دانشگاه ها بازیکنان کلیدی هستند ، ارزیابی مؤسسات آموزش عالی باید خواسته های جدید محیط پیچیده فعلی را برآورده کند. این خواستار استفاده از تکنیک هایی است که قادر به مدیریت این پیچیدگی هستند. در این مقاله ، ما ترکیبی جدید از روش ها را پیشنهاد می کنیم ، به طور مشترک با استفاده از یک طرح مرجع چند معیار و تجزیه و تحلیل پاکت نامه داده ها (DEA) برای ارزیابی دانشگاه ها. این ترکیب به ما این امکان را می دهد تا تمام جنبه های مورد نظر برای ارزیابی عملکرد دانشگاه را در نظر بگیریم و از آنها به عنوان خروجی در تجزیه و تحلیل کارآیی استفاده کنیم. یافته های ما راحتی را برای ارزیابی عملکرد دانشگاه با استفاده از برنامه های جبرانی و غیر جبران کننده برجسته می کند. به این ترتیب ، اطلاعات ارائه شده اجازه می دهد تا اقدامات مورد نیاز برای بهبود عملکرد دانشگاه ها را تشخیص دهند ، نه اینکه فقط یک اندازه گیری عملکرد کلی ارائه دهند. علاوه بر این ، ترکیب استفاده از شاخص های کامپوزیت با تجزیه و تحلیل DEA تصویری کامل تر از مؤسسات ارزیابی شده را ارائه می دهد و به دانشگاه ها این امکان را می دهد تا کارایی خود را بررسی کرده و نقاط ضعف و نقاط قوت آنها را بر این اساس تشخیص دهند. این رویکرد با استفاده از داده های 47 دانشگاه عمومی اسپانیا برای سال تحصیلی ، 2016-2017 نشان داده شده است.

روی نسخه خطی کار می کنید؟

مقدمه

ارزیابی عملکرد دانشگاه ها به دلیل نقش اساسی آنها در رشد اقتصادی و توسعه اجتماعی جامعه ما ضروری شده است. مؤسسات آموزش عالی محرک اصلی رشد عملکرد ، سعادت و رقابت هستند ، هم در سطح ملی و هم بین المللی و در نتیجه ، رتبه بندی دانشگاه ، نتیجه رقابت با جهانی سازی ، بر دانشگاه ها فشار آورده است تا با نیروهای بازار سازگار شوند. بدون به خطر انداختن کیفیت (Heitor & Horta ، 2013). با این حال ، بسیاری از رتبه بندی های موجود تحت مفهوم "هرچه ارزش برای همه شاخص ها بالاتر باشد ، عملکرد به دست آمده بالاتر است (گونزالز-گارای و همکاران ، 2019). از این رو ، آنها بدون در نظر گرفتن اینکه آیا آنها از منابع خود استفاده می کنند یا خیر ، اقدامات خاصی را به دانشگاه ها اختصاص می دهند.

تجزیه و تحلیل پوششی داده ها (DEA) و تغییرات آن، متداول ترین روش های مورد استفاده برای اندازه گیری کارایی در زمینه آموزش عالی بوده است. تحقیقات تجربی در مورد کارایی آموزش عالی با استفاده از مدل‌های DEA اهمیت فزاینده‌ای در سطح بین‌المللی پیدا می‌کند (به عنوان مثال، Abbott & Doucouliagos، 2003؛ Agasisti و همکاران، 2019؛ Johns، 2006). در اسپانیا، با توجه به Martínez-Campillo & Fernandez-Santos (2020)، تحقیقات محدودی در مورد کارایی فنی دانشگاه های دولتی انجام شده است (Berbegal-Mirabent و همکاران، 2013؛ Berbegal-Mirabent، 2018؛ de la Torre et al..، 2017a، 2017b؛ د خورخه مورنو و همکاران، 2019؛ مارتینز-کامپیلو و فرناندز-سانتوس، 2020؛ سالاس-ولاسکو، 2020a، 2020b).

این رویکرد به چند دلیل در این زمینه مناسب است: (الف) می تواند چندین ورودی و خروجی های متعدد را به روشی ساده مدیریت کند، (ب) هیچ رابطه عملکردی اساسی بین ورودی ها و خروجی ها را فرض نمی کند و (ج) وزن ها را تعیین می کند. ورودی ها و خروجی ها به صورت درون زا، به دنبال آنهایی هستند که هر واحد را در مقایسه با تمام واحدها به بهترین نحو ممکن ارزیابی می کنند (ابوت و دوکولیاگوس، 2003). اما تعداد ورودی ها و خروجی های مناسب نسبت به تعدادواحدهای گنجانده شده در تحلیل هنوز قابل بحث است (اکبری و همکاران، 2020). برخی از نویسندگان ادعا می کنند که تعداد واحدها باید حداقل دو برابر تعداد ورودی ها و خروجی های مورد استفاده باشد (دایسون و همکاران، 2001)، در حالی که برخی دیگر پیشنهاد می کنند که تعداد واحدها باید سه برابر بیشتر باشد. در واقع، مشکلات تمایز بین واحدهای کارآمد و ناکارآمد اغلب زمانی به وجود می‌آیند که تعداد نسبتاً زیادی از متغیرها در مقایسه با تعداد واحدها وجود داشته باشد (چارلز و همکاران، 2019) و بنابراین، تعداد ورودی‌ها و خروجی‌ها بیشتر می‌شود. اگر در رابطه با تعداد واحدها استفاده شود، تبعیض در ارزیابی کارایی نسبی کمتر است (دی خورخه مورنو و همکاران، 2019). شایان ذکر است که برخی از رویکردهای موجود در مورد تجمیع متغیرها (شاخص) قبل از DEA، مانند تجزیه و تحلیل مؤلفه اصلی ما (آدلر و یاژمسکی، 2010)، که در آن مؤلفه‌های کاربردی اصلی جایگزین متغیرهای اصلی می‌شوند. همچنین پیشنهاد شده است که وزن متغیرهای اصلی را با استفاده از اطلاعات مربوط به قیمت ها (Nguyen & Zelenyuk, 2021) یا قضاوت های ارزشی از طریق فرآیند تحلیل سلسله مراتبی (Meng et al., 2008) یا استفاده از یک نوع DEA که ارائه می دهد، تعیین کنید. متغیر خلاصه شده از زیر مجموعه های متغیر تعریف شده توسط متخصصان (چارلز و همکاران، 2019). در مورد ما، متغیرهای خروجی در مدل DEA، شاخص‌های ترکیبی هستند که اطلاعات مربوط به جنبه‌های مختلف عملکرد واحدها را خلاصه می‌کنند تا تحلیل کنند که آیا عملکرد بهتر با استفاده کارآمد از منابع موجود همراه است یا خیر.

در مورد خاص دانشگاه ها ، بیشتر مقالاتی که از DEA استفاده می کنند ، ورودی های کار و سرمایه را برای تولید دو خروجی اصلی ترکیب می کنند: سرمایه انسانی (تدریس) و دانش علمی (تحقیق). مطالعات کمی ، مانند مواردی توسط Berbegal-Mirabent و همکاران.(2013) و De La Torre و همکاران.(2017a) انتقال فناوری را به عنوان یک مأموریت جدا از دانشگاه سنتی دانشگاه (تدریس و تحقیق) در نظر بگیرید. ما در این مقاله این تمرکز را دنبال می کنیم. جالب اینجاست که تعداد خروجی های در نظر گرفته شده در مقالات قبلاً ارجاع شده از دو تا چهار متغیر است ، که تعداد دانشجویان فارغ التحصیل و تعداد نشریات متداول ترین موارد است. با این وجود ، سیستم آموزش عالی کاملاً متنوع و چند وجهی است ، بنابراین ، چگالش فعالیت متنوع در دانشگاه ها به چند متغیر به عنوان پراکندگی خروجی دشوار است (گونزالز-گارای و همکاران ، 2019). به همین دلیل ، لازم است معیارهای جدیدی را معرفی کنیم که به ما اجازه می دهد تا جنبه های بیشتری را با هم ترکیب کنیم و در عین حال از استفاده از تعداد بیش از حد متغیرها جلوگیری کنیم ، که می تواند مدل DEA را کاهش دهد ، قدرت تبعیض آمیز آن را کاهش می دهد. علاوه بر این ، در محیط جهانی و بسیار رقابتی امروز ، سیستم آموزش عالی باید به جای رتبه بندی دانشگاه ها ، ابزاری قدرتمند برای تشخیص مناطق بهبود داشته باشد. در نتیجه ، ارزیابی سیستم دانشگاه نیاز به استفاده از تکنیک هایی دارد که قادر به مدیریت همه این پیچیدگی ها هستند (Attardi et al. ، 2017).

در سالهای اخیر ، اندازه گیری چنین چارچوب های چند بعدی مورد توجه ویژه قرار گرفته است. در این زمینه ، استفاده از شاخص های کامپوزیت بسیار مناسب است. آنها جمع آوری بسیاری از شاخص های واحد را به یک اندازه گیری امکان پذیر می کنند و این امکان را فراهم می آورد تا بسیاری از واحدها را مقایسه کنند (Molinos-Senante ، 2018). به این ترتیب ، آنها مقادیر زیادی از اطلاعات را به روشی واضح و قابل درک ادغام می کنند که تفسیر تصمیم گیرندگان برای تصمیم گیرندگان آسان است (Szuwarzynski ، 2018). استفاده از شاخص های کامپوزیت ، مقایسه بین موسسات آموزش عالی را بسیار ساده می کند و به آنها کمک می کند تا عملکرد خود را در برابر یکدیگر به روشی ساده محک بزنند (گونزالز-گارای و همکاران ، 2019).

برخی از ابتکارات ، ارزیابی عملکرد دانشگاه را بدون استفاده از شاخص های کامپوزیت مانند U-Multirank ، که نمرات دانشگاه ها را در شاخص های فردی در نظر می گیرد ، مقابله کرده و این موارد را در پنج گروه عملکردی قرار می دهد ("بسیار خوب" به "ضعیف"). برعکس ، یک روند گسترده به سمت ساخت شاخص های کامپوزیت در این زمینه ایجاد شده است. بسیاری از رتبه های موجود شاخص های کامپوزیتی را برای ارائه رتبه های مؤسسات آموزش عالی یا کشورها ایجاد کرده اند (ARWU ؛ رتبه بندی دانشگاه جهانی آموزش عالی (The) ؛ رتبه بندی دانشگاه جهانی QS (QS) ؛ پروژه U-Ranking BBVAبنیاد و پاورقی IVIE 1 (Aguillo et al. ، 2008 ؛ Alasehir et al. ، 2014 ؛ Giannoulis & Ishizaka ، 2010 ؛ Torres-Salinas et al. ، 2011).

ساخت شاخص های کامپوزیت از زوایای مختلف مقابله شده است. یکی از گسترده ترین رویکردها شامل استفاده از روشهای تصمیم گیری چند معیار (MCDM) است (به عنوان مثال ، ال گیباری و همکاران ، 2019). موریاس و همکاران.(2008) یک شاخص کامپوزیت برای ارزیابی کیفیت در سیستم دانشگاه دولتی اسپانیا با استفاده از DEA ارائه می دهد ، در حالی که Giannoulis و Ishizaka (2010) Electre III را برای ارزیابی عملکرد دانشگاه های انگلیس ، منعکس کننده ترجیحات شخصی اتخاذ می کنند. ال گیباری و همکاران.(2018) شاخص های کامپوزیتی را برای مدرک های مختلف جبران خسارت برای هر یک از سه ماموریت اصلی دانشگاه (تحقیق ، تدریس و انتقال فناوری) ایجاد کنید. برای این منظور ، آنها عملکرد دانشگاه های دولتی را با استفاده از یک تکنیک تجزیه و تحلیل چند معیار ، بر اساس روش نقطه مرجع مضاعف ارزیابی می کنند (Ruiz et al. ، 2011 ؛ Wierzbicki ، 1980). استفاده از این تکنیک در ارزیابی عملکرد دانشگاه دو مزیت اصلی دارد. اول ، استفاده از سطح مرجع برای هر شاخص باعث می شود نتایج به دست آمده از نظر عملکرد دانشگاه با توجه به این سطوح به راحتی قابل تفسیر باشد. دوم ، تجمع برای مدارک مختلف جبران خسارت ارائه می شود ، و بنابراین ، جدا از ارائه یک اندازه گیری عملکرد کلی از دانشگاه ها ، آنها همچنین سیگنال های هشدار دهنده ای را ارائه می دهند که به کاربر در تصمیم گیری استراتژیک برای اهداف سیاست کمک می کند. این روش به روش مرجع چند شاخص کامپوزیت ضعیف (MRP-WSCI) تعمیم داده شد ، که در آن می توان از هر تعداد مرجع و هر مقیاس استفاده کرد (Ruiz et al. ، 2020).

به گفته ناردو و همکاران.(2005)، وزن دهی یک گام کلیدی در ساخت شاخص های ترکیبی است. وزن ها می توانند تأثیر قابل توجهی بر شاخص ترکیبی کلی و نتایج به دست آمده داشته باشند. ادبیات طیف گسترده ای از رویکردهای روش شناختی را ارائه می دهد. به طور کلی، وزن ها معمولاً بر اساس نظرات متخصصان و تصمیم گیرندگان اتخاذ می شوند، اما رویکرد وزن دهی برابر نیز به طور گسترده مورد استفاده قرار می گیرد (Antanasijevic و همکاران، 2017؛ Blancas و همکاران، 2010؛ Langhans و همکاران، 2014؛ ژو و همکاران..، 2010). به هر حال، وزن دهی مستلزم معرفی عناصر بحث برانگیز و ذهنی است که در مورد آنها اجماع عمومی وجود ندارد (هوانگ، 2011؛ مارجینسون و ون در وند، 2007).

در این مقاله، ما بحث می‌کنیم که چگونه ترکیب رویکرد MRP-WSCI با تحلیل پوششی داده‌ها (DEA) می‌تواند به شاخص‌های مرکب سنتی ارزش بیافزاید، نه تنها از نظر تضمین عملکرد بالا، بلکه در نحوه استفاده مناسب ازمنابعبنابراین، سهم این مقاله در ادبیات کنونی دوچندان است. ابتدا، ما اطلاعات اضافه شده را با در نظر گرفتن مشترک شاخص های ترکیبی MRP-WSCI و تجزیه و تحلیل DEA تجزیه و تحلیل می کنیم. برخلاف رویکردی که در مطالعات قبلی دنبال شد، ما برای هر مأموریت (تدریس، تحقیق و انتقال فناوری) از شاخص‌های ترکیبی مختلفی استفاده می‌کنیم که به ما امکان می‌دهد تا جنبه‌های متنوع‌تری را در رابطه با فعالیت‌های دانشگاه‌ها در نظر بگیریم. علاوه بر این، بسته به امکان یا عدم امکان جبران پذیری در بین شاخص های خاص، دو سناریو را در نظر می گیریم تا تأثیر آن را در ارزیابی کارایی دانشگاه ها آزمایش کنیم. دوم، امتیازات کارایی DEA برای دانشگاه‌های دولتی اسپانیا با توجه به تغییرات وزن‌ها هنگام ساخت شاخص‌های ترکیبی MRP-WSCI در یک محیط قوی انجام می‌شود. روش پیشنهادی در مورد دانشگاه‌های دولتی اسپانیا اعمال می‌شود، اما می‌تواند به عنوان یک ابزار پشتیبانی در سایر سیستم‌های دانشگاهی مورد استفاده قرار گیرد و به تصمیم‌گیرندگان اجازه می‌دهد تا عوامل مهم کارایی آموزشی و اثربخشی دانشگاه‌ها را شناسایی و بهبود بخشند. در واقع هدف نهایی پژوهش پیشنهادی در این مقاله، ارائه ابزاری به تصمیم گیرندگان نظام آموزش عالی است که به آنها امکان می دهد عملکرد و کارایی دانشگاه ها را ارزیابی کرده و بر اساس آن با در نظر گرفتن ترجیحات خود تصمیم گیری کنند.

پس از این مقدمه ، "سیستم شاخص های موجود" یک مرور کلی از داده های مورد استفاده برای ارزیابی دانشگاه های عمومی اسپانیا ارائه می دهد."روشهای تحقیق" روش MRP-WSCI و ترکیب آن را با تجزیه و تحلیل DEA توصیف می کند. نتایج تجربی برای سناریوهای جبرانی و غیر جبرانی در "سناریوی جبرانی" و "سناریوی غیر جبران کننده" ارائه شده است ، در حالی که "بحث" در مورد برخی از جنبه های قابل توجه مربوط به نتایج این مقاله بحث می کند ، و در نهایت ، "نتیجه گیری" برخی از آنها را ارائه می دهدنتیجه گیری

سیستم شاخص های موجود

اولین مرحله از مطالعه ما شامل تجزیه و تحلیل عملکرد دانشگاه های عمومی اسپانیا است. برای این منظور ، ما از مجموعه ای از شاخص های موجود استفاده کرده ایم که اغلب توسط چندین موسسه اسپانیایی استفاده می شود. به طور دقیق تر ، مجموعه ای از 23 شاخص عملکرد با توجه به اهمیت آنها برای اندازه گیری عملکرد دانشگاه های عمومی اسپانیا و در دسترس بودن آنها انتخاب شده است (برای اطلاعات بیشتر در مورد شاخص های عملکرد در نظر گرفته شده در هر مأموریت ، به جدول 1 مراجعه کنید). همه آنها شاخص های نتیجه هستند و برخی دیگر به منظور جلوگیری از تعصب به دلیل اندازه دانشگاه ، نسبی شده اند (آلازی و همکاران ، 2014). ما می خواهیم خاطرنشان کنیم که هدف از این تحقیق نشان دادن اعتبار روش ارائه شده در این زمینه است. ما در مورد مناسب بودن سیستم خاص شاخص های مورد استفاده ، یعنی سیستم مورد استفاده مدیران آموزش عالی اسپانیا بحث نمی کنیم. در صورتی که توسط تصمیم گیرندگان مناسب تر باشد ، می توان از روش ما برای هر سیستم دیگری از شاخص های موجود استفاده کرد.

مأموریت های تحقیق و تدریس به ترتیب به ترتیب به سه و دو زیر بلوک تقسیم می شوند ، در حالی که مأموریت های انتقال فناوری هیچ بلوک فرعی ندارند. ما در نظر گرفته ایم که شاخص های موجود در یک زیر بلوک قابل جایگزین هستند ، یعنی عملکرد ضعیف در بعضی از موارد می تواند با رفتارهای خوب در سایر موارد جبران شود. با این حال ، زیر بلوک های مختلف متعلق به همان مأموریت ممکن است قابل تعویض باشد یا خیر. این مسئله بسته به اینکه آیا جبران پذیری فرض شده است یا خیر ، به دو سناریو منجر می شود.

دوم، ما کارایی دانشگاه‌های دولتی اسپانیا را اندازه‌گیری می‌کنیم، جایی که خروجی‌های در نظر گرفته شده، شاخص‌های ترکیبی ارائه‌شده توسط رویکرد MRP-WSCI هستند. طبق (Salas-Velasco، 2020b)، "مجموعه کامل ورودی ها" برای ارزیابی کارایی دانشگاه وجود ندارد. در واقع، ادبیات کارایی آموزش عالی طیف وسیعی از ورودی ها را ارائه می دهد. به گفته Berbegal-Mirabent و همکاران.(2013) و اندرسون و همکاران.(2007)، در زمینه آموزش عالی، نیروی کار و نهاده های سرمایه حیاتی هستند. به ویژه، مهم است که اعضای هیئت علمی را در نظر بگیریم، زیرا آنها دانش را به دانشجویان منتقل می کنند و بیشتر تحقیقات را انجام می دهند، در حالی که درآمد تحقیق و توسعه منابع مالی لازم برای توسعه تحقیقات جدید و خروجی های انتقال فناوری را فراهم می کند. علاوه بر این، هزینه‌های مالی معین ورودی‌های کلیدی برای توسعه فعالیت‌های هر دانشگاه هستند (ژونگ و همکاران، 2011). در این مقاله، چهار ورودی در نظر گرفته شده است: نسبت اعضای هیئت علمی با دکترا، بودجه تحقیق و توسعه به ازای هر عضو هیئت علمی، هزینه های کارکنان به ازای هر دانشجو و هزینه های کالا و خدمات به ازای هر دانشجو (مشابه آگاسیستی و پرز-اسپارلز، 2010؛ Expósito-گارسیا و ولاسکو-مورنته، 2018؛ یانگ و همکاران، 2018، این هزینه‌ها عمدتاً به مخارج کارکنان دانشگاهی، هزینه‌های کارکنان غیرآکادمیک و هزینه‌های جاری در رابطه با کالاها و خدمات اشاره دارد. مشخصات ورودی و خروجی هر آنالیز DEA انجام شده در جدول 2 نمایش داده شده است.

به طور خلاصه، شاخص های عملکرد و ورودی های در نظر گرفته شده در این مقاله توسط مقامات آموزش اسپانیا برای ارزیابی دانشگاه های اسپانیا در زمینه های مختلف مانند دسترسی به بودجه، کیفیت و تعالی، بین المللی شدن و نتایج استفاده شده است. پایگاه داده ما حاوی داده هایی در مورد تحقیق، آموزش و انتقال فناوری برای 47 دانشگاه دولتی اسپانیا برای سال تحصیلی 2016-2017 است (جدول 5 در ضمیمه نام چنین دانشگاه ها و مخفف های آنها را ثبت می کند). داده‌ها از دو منبع جمع‌آوری شد: پاورقی 2 کنفرانس روسای دانشگاه اسپانیا (CRUE) و پانوشت 3 رصدخانه IUNE.

روش های تحقیق

در این مقاله، ما ترکیبی از رویکرد MRP-WSCI (روئیز و همکاران، 2020) با تحلیل DEA (چارنز و همکاران، 1978) برای ارزیابی دانشگاه‌های دولتی اسپانیا پیشنهاد می‌کنیم. این بخش هر دو روش را توضیح می دهد. سپس مراحل ترکیب آنها را شرح می دهیم.

رویکرد MRP-WSCI

رویکرد MRP-WSCI ، در Ruiz و همکاران تعریف شده است.(2020) ، اقتباسی از روش نقطه مرجع اصلی است که توسط Wierzbicki (1980) با ساخت شاخص های کامپوزیت ارائه شده است ، که روش نقطه مرجع مضاعف را تعمیم می دهد (Ruiz et al. ، 2011 ؛ Wierzbicki et al. ، 2000). به منظور ساخت شاخص های کامپوزیت MRP-WSCI ، جنبه های مختلفی در نظر گرفته می شود:

سطح مرجع. عملکرد واحدها (J) ، در مورد ما ، 47 دانشگاه عمومی اسپانیا ، از نظر میزان هر شاخص (i) از سطح مرجع مورد نظر ارزیابی می شود. تصمیم گیرنده می تواند هر تعداد مرجع (\ (q_i^t \)) را برای هر شاخص ارائه دهد. این سطح مرجع می تواند "مطلق" یا "نسبی" باشد. در حالت اول ، اگر دانش کافی در مورد این مشکل داشته باشند ، سطح مرجع توسط یک یا گروهی از متخصصان داده می شود. در این حالت ، نشانگر کامپوزیت نهایی با توجه به این مقادیر ، اندازه گیری مطلق عملکرد را به ما می دهد. از طرف دیگر ، با توجه به مجموعه داده ها ، می توانند از نظر آماری تنظیم شوند. در این حالت ، نشانگر کامپوزیت موقعیت نسبی واحدها را با توجه به کسانی که متعلق به مجموعه داده ها هستند ، اندازه گیری می کند.

توابع دستاورد. پس از برقراری سطح مرجع ، یک تابع به اصطلاح دستاورد (\ (S_ (X_ ، Q_I) \)) انحراف بین مقادیر توابع هدف و سطح مرجع را اندازه گیری می کند و در عین حال تمام شاخص ها را به ارمغان می آوردپایین به یک مقیاس مشترک. عملکرد دستاورد برای "هرچه بیشتر ، بهتر" از شاخص ها به شرح زیر محاسبه می شود:

جایی که \ (x_ \) مقدار شاخص I (\ (i = 1 ، \ dots ، i \)) برای واحد j (\ (j = 1 ، \ dots ، j \)) ، \ (q_i^t \ است.) \ ((t = 0 ، \ dots ، n+1) \) سطح مرجع شاخص I و هر \ (\ alpha ^t (t = 0 ، \ dots ، n+1) \) مقدار در استمقیاس مشترک

وزنبه طور اجتناب ناپذیر ، شاخص های مختلفی که برای اندازه گیری عملکرد دانشگاه استفاده می شود از اهمیت نسبی متفاوتی برخوردار هستند و این باید هنگام ساخت یک اقدام کلی در نظر گرفته شود. این روش باید به منظور شناسایی واضح این عناصر ذهنی طراحی شود و به کاربران بالقوه اجازه دهد تا وزن خود را (\ (\ mu _i \)) در این فرآیند بگنجانند.

جبران خسارت. روش MRP-WSCI بسته به درجه جبران خسارت در بین شاخص ها ، دو شاخص کامپوزیت مختلف را ایجاد می کند.

اول ، شاخص ضعیف (WCI) امکان جبران کامل بین شاخص های فردی را فراهم می کند.

که در آن \ (\ mu _i^w \) وزن عادی شده است که تا 1 اضافه می شود.

دوم ، شاخص قوی (SCI) هیچ گونه جبران خسارت را مجاز نمی داند. بنابراین ، این بدترین مقادیر حاصل از یک واحد را نشان می دهد ، که با وزن شاخص نسبی است. برای این منظور ، توابع دستاورد اصلی باید به شرح زیر اصلاح شوند:

$$\begin >>_i (x_ ، q_i) =<\left\< \begin \alpha ^t + (s_i(x_,q_i) - \alpha ^t) \mu _i^s, &<>\ text s_i (x_ ، q_i) \ in (\ alpha ^، \ alpha ^t] ، \\<>\ qquad (t = 1 ، \ dots ، n + 1) ، \\ \ alpha ^1 + (\ alpha ^0 - \ alpha ^1) \ mu _i ^s ، &<> \text s_i(x_,q_i) = \alpha ^0. \\ \end\right. > \end$$

که در آن \ (\ mu _i^s \) وزن عادی اصلاح شده هستند. هنگام ساخت SCI ، عادی سازی متفاوت وزن انجام می شود ، جایی که بیشترین وزن ارزش آن را می گیرد 1. به این ترتیب ، SCI اگر شاخص مربوطه وزن بالاتری داشته باشد ، ارزش بدتری می گیرد و به ویژه ، بدترین مقدار ممکن را می گیرداگر واحد J بدترین مقدار ممکن را در بالاترین شاخص وزنی داشته باشد.

بنابراین ، SCI شکل می گیرد:

با خلاصه ، WCI یک اندازه گیری عملکرد کلی از واحدها (دانشگاه ها) را ارائه می دهد ، در حالی که SCI سیگنال های هشدار دهنده ای را ارائه می دهد که به کاربر اجازه می دهد مناطق بهبود را تشخیص دهد.

تحلیل پوششی داده ها

تجزیه و تحلیل پاکت نامه داده ها (DEA) یک تکنیک غیر پارامتری است که در ابتدا توسط فارل (1957) معرفی شده و توسط چارنس و همکاران گسترش یافته است.(1978 ، 1981). پیشنهاد شده است تا با استفاده از چندین ورودی (\ (m = 1 ، \ ldots ، m \)) ، مشکل کارآیی سازمانهای پیچیده را تولید کند (\ (1 = 1 ، \ ldots ، o \)).

در یک مدل DEA ، راندمان فنی به عنوان توانایی نسبی هر واحد تصمیم گیری (DMU ، \ (j = 1 ، \ ldots ، j \)) در تولید خروجی ها با توجه به مجموعه خاصی از ورودی ها تعریف می شود. جنبه مهم برای تأکید در مدل DEA ، انتخاب مجموعه ای از وزنه ها است که ترکیبی از چندین خروجی و چندین ورودی است. این مسئله از طریق یک تکنیک برنامه نویسی خطی که بهترین مجموعه وزنه ها را برای هر DMU انتخاب می کند ، برای به حداکثر رساندن نسبت بهره وری (خروجی ها/ورودی ها) به DEA باقی مانده است.

در این مقاله، ما از یک مدل خروجی‌محور استفاده می‌کنیم، زیرا هدف ما از مدل DEA تجزیه و تحلیل این است که آیا عملکرد یک دانشگاه، که با شاخص‌های MRP-WSCI (خروجی‌ها) اندازه‌گیری می‌شود، با توجه به منابع موجود آن بهترین ممکن است یا خیر. ورودی ها). علاوه بر این، ما از مدل BCC استفاده می‌کنیم (بانکر و همکاران، 1984)، که بازده متغیر به مقیاس (VRS) را فرض می‌کند، به طوری که هر دانشگاه با دانشگاه‌های دیگر با اندازه «نسبی» مشابه مقایسه می‌شود. هر دو فرضیه در این زمینه معمول هستند (آگاسیستی و پرز-اسپارلز، 2010؛ ویزبال-کاداوید و همکاران، 2017). علاوه بر این، در مورد ما، مدل BCC به ما اجازه می دهد تا تضمین کنیم که خروجی پیش بینی شده در مقیاس رایج مورد استفاده برای شاخص های ترکیبی به دست آمده در مرحله اول است.

با توجه به این ملاحظات، برنامه خطی مورد استفاده برای به دست آوردن سطح کارایی هر DMU (دانشگاه j ) است:

$$\begin (P_j) <\left\< \begin \max \limits _ <\phi _j, \lambda _k, s_o^+, s_m^->\ چهار و<>\phi _j+\varepsilon \big (\sum \limits _^s_o^+ + \sum \limits _^s_m^- \big)\\ \متن &<>\sum \limits _^\lambda _k x_ + s_m^- = x_, \quad (m=1 ,\ldots , M)\\ &<>\sum \limits _^\lambda _k y_ - s_o^+ = \phi _j y_, \quad (o=1 ,\ldots , O) \\ &<>\sum \limits _^\lambda _k=1\\ &<>\lambda _k, s_o^+, s_m^-\ge 0,\\ \end\right. > \end$$

جایی که \(1\le \phi _j<+\infty\) indicates the score efficiency for university j . When \(\phi _j=1\) , university j attains an efficient (best-practice) performance, in the sense that each of its outputs could not be improved, remaining the inputs at the same level. Contrariwise, when \(\phi _j>1\)، دانشگاه j در دستیابی به بهترین عملکرد ناکام است.\(\lambda _k\) بردار شدت و \(\varepsilon\) ثابت بینهایت کوچک غیر ارشمیدسی است.\(s_o^+\) بردار شلی خروجی است، در حالی که \(s_m^-\) بردار شلی ورودی است.\(y_\) مقدار خروجی o از دانشگاه j و \(x_\) مقدار ورودی m از دانشگاه j است.

ترکیب رویکرد MRP-WSCI و تجزیه و تحلیل DEA

به منظور ارزیابی دانشگاه های دولتی اسپانیا با ترکیب رویکرد MRP-WSCI و تحلیل DEA، همانطور که در شکل 1 مشاهده می شود، تجزیه و تحلیل تجربی انجام شده در این مقاله مراحل زیر را دنبال می کند:

ساخت نشانگرهای ترکیبی MRP-WSCI برای هر ماموریت، در یک محیط قوی با توجه به وزن نشانگر.

عادی سازی. در این مقاله به منظور مقایسه دانشگاه های دولتی اسپانیا در بین خود، گزینه آماری برای تعیین سطوح مرجع انتخاب شده است. به این ترتیب، ما معیاری از عملکرد نسبی هر دانشگاه با توجه به همه دانشگاه‌های دولتی اسپانیا به دست خواهیم آورد. یعنی برای هر اندیکاتور i، جدا از مقادیر حداقل ( \(Min_i\)) و حداکثر ( \(Max_i\))، از دو سطح مرجع میانی استفاده کرده ایم: سطح رزرو ( \(r_i\) که مربوط بهمقدار متوسط بین مقدار میانگین و \(Min_i\)) و سطح آسپیراسیون ( \(a_i\) که مربوط به مقدار متوسط بین میانگین و مقدار \(Max_i\) است). هنگامی که سطوح مرجع داده شد، همه شاخص های عملکرد به یک مقیاس پیش فرض مشترک از 0 تا 3 ترجمه می شوند، یعنی \(\alpha _0 = 0\) , \(\alpha _1 = 1\) , \(\alpha _2 = 2\) و \(\alpha _3 = 3\) که سطوح عملکرد هر شاخص i را تعریف می کنند، به عنوان مثال. ضعیف (0 به 1، عملکرد دانشگاه بدتر از سطح \(r_i\) مربوطه)، منصفانه (1 به 2، دانشگاه بهتر از سطح \(r_i\)، اما بدتر از سطح \(a_i\) است)و خوب (2 تا 3، دانشگاه بهتر از \(a_i\) مربوطه عمل می کند). لازم به ذکر است که تشخیص پرت با استفاده از روش محدوده بین چارکی ( \(IQR = Q_3 - Q_1\)) انجام شد (Tukey, 1977). این تست به شما اجازه می دهد تا بین نقاط پرت خفیف (\(Q_1-1. 5 \بار IQR\) ، \(Q_3+1. 5 \times IQR\)) یا نقاط پرت شدید (\(Q_1-3 \times IQR\) , \(Q_3+3 \بار IQR\) ). در مطالعه موردی ما، هیچ نقطه پرت شدید تشخیص داده نشد، در حالی که نقاط دورافتاده خفیف شناسایی شده، به تابع دستاورد مربوطه، حداکثر یا حداقل مقدار (بسته به موقعیت نسبی آن) مقیاس اختصاص داده شد.

وزنه برداریهمانطور که قبلاً نیز گفته شد ، روش توسعه یافته با هدف ارائه ابزاری مفید برای تصمیم گیری ، تصمیم گیرندگان را در اختیار تصمیم گیرندگان قرار می دهد. بنابراین ، ارزیابی عملکرد دانشگاه ها باید ترجیحات آنها را در نظر بگیرد ، یعنی اهمیت نسبی آنها به عناصر مختلف سیستم شاخص های مورد استفاده می دهد. به همین دلیل ، در این مطالعه ، وزن شاخص های عملکردی و زیر بلوک های عملکردی توسط گروهی از متخصصان در زمینه دانشگاه های اسپانیا ، که توسط محققان و متخصصان در زمینه های مختلف تحقیق و دانشگاه های مختلف اسپانیا یکپارچه شده است ، ارزیابی شد (وزنهای اختصاص داده شده به هر شاخص و زیر بلوک در جدول 1 در "سیستم شاخص های موجود" در جدول 1 نمایش داده شده است). این کارشناسان طبق معیارهای افرادی که ظرفیت تصمیم گیری زیادی در زمینه سیستم دانشگاه عمومی اسپانیا دارند ، انتخاب شده اند. در هر صورت ، با توجه به تأثیر این وزنه ها بر نتایج نهایی به دست آمده ، در "بحث" مقایسه ای با نتایج حاصل می شود که در صورت استفاده از وزن های مساوی حاصل می شود.

تجزیه و تحلیل استحکام. به منظور ساخت شاخص های کامپوزیت MRP-WSCI در یک محیط قوی با توجه به وزن شاخص ، ما 500 دور محاسبات را پیاده سازی کرده ایم ، به طور تصادفی 10 ٪ وزن همه شاخص ها (و زیر بلوک های مربوطه) را برای ساخت و ساز تغییر می دهیم. از رویکرد MRP-WSCI برای هر مأموریت. مقادیر وزن از توزیع یکنواخت با محوریت مقدار واقعی آن نمونه برداری می شود و در 0 و 1 سانسور می شود.

تجمع. سرانجام ، شاخص های کامپوزیت MRP-WSCI در یک محیط قوی با توجه به وزن شاخص محاسبه می شوند. در مورد ما ، همانطور که در "سیستم شاخص های موجود" ذکر شده است ، مأموریت های تحقیق و تدریس به ترتیب به ترتیب به سه و دو زیر بلوک تقسیم می شوند ، در حالی که مأموریت انتقال فناوری هیچ بلوک فرعی ندارد (برای جزئیات بیشتر ، به جدول مراجعه کنید1 در "سیستم شاخص های موجود"). به این ترتیب ، تجمع در دو مرحله انجام می شود:

در مرحله اول ، از آنجا که اطلاعات ارائه شده توسط شاخص های فردی متعلق به هر زیر بلوک یکدست است ، جبران کامل در بین آنها مجاز است. یعنی عملکردهای بد در برخی از شاخص های واحد می توانند با اجرای خوب در سایر موارد جبران شوند. به این ترتیب ، ما WCI هر زیر بلوک تحقیق و مأموریت های تدریس را دریافت می کنیم.

در مرحله جمع آوری دوم ، درجه های مختلف جبران خسارت در بین زیر بلوک ها ارائه شده است. اول ، ما WWCI را می سازیم ، که امکان جبران کامل در بین بلوک های مختلف را فراهم می کند. به این ترتیب ، WWCI اندازه گیری عملکرد کلی هر دانشگاه دولتی اسپانیا در هر مأموریت را ارائه می دهد. دوم ، SWCI اجازه جبران خسارت بین زیر بلوک ها را نمی دهد. بنابراین ، استفاده از SWCI برای اشاره به بدترین زیر بلوک هر مأموریت و شناسایی مناطق بهبود احتمالی دانشگاه های عمومی اسپانیا مفید است. در مورد مأموریت انتقال فناوری ، که هیچ بلوک فرعی ندارد ، WCI و SCI مستقیماً در مرحله اول (با جمع کردن شاخص های فردی) به دست می آیند.

همانطور که قبلاً ذکر شد ، ساخت شاخص های کامپوزیت MRP-WSCI در یک محیط قوی با توجه به وزن شاخص ها انجام می شود. به این ترتیب ، ما 500 شاخص کامپوزیت MRP-WSCI را برای هر سناریوی جبرانی (و برای هر مأموریت) به دست می آوریم ، یعنی ما 500 WWCI و 500 SWCI را برای هر مأموریت می سازیم و به طور تصادفی 10 ٪ وزن مربوطه را تغییر می دهیم.

شاخص های کامپوزیت MRP-WSCI (که بعداً به عنوان خروجی در تجزیه و تحلیل DEA استفاده می شود) از طریق جعبه های جعبه برای 500 نمونه برای هر دانشگاه دولتی اسپانیا (و برای هر مأموریت) نشان داده شده است. به این ترتیب ، ما می توانیم به صورت گرافیکی تغییرپذیری شاخص های کامپوزیت ضعیف و قوی مربوطه را در 500 نمونه مشاهده کنیم و قابلیت اطمینان آنها را تجزیه و تحلیل کنیم.

هنگامی که عملکرد دانشگاه های عمومی اسپانیا با استفاده از رویکرد MRP-WSCI مورد تجزیه و تحلیل قرار گرفت ، مرحله بعدی با توجه به شاخص های کامپوزیت به دست آمده به عنوان خروجی ، محاسبه نمرات کارآیی دانشگاه های عمومی اسپانیا است. برای این منظور ، ما دو تجزیه و تحلیل DEA را با خروجی های مختلف انجام می دهیم. اول ، WWCI هر مأموریت به عنوان خروجی در نظر گرفته می شود. به طور مشابه ، برای هر مأموریت ، ما به عنوان خروجی SWCI در نظر می گیریم. همانطور که در "سیستم شاخص های موجود" ذکر شد ، چهار ورودی مختلف در نظر گرفته شده است (نسبت اعضای هیئت علمی با دکترا ، بودجه تحقیق و توسعه در هر عضو هیئت علمی ، هزینه های کارکنان برای دانشجویان و هزینه های خوب و خدمات برای هر دانش آموز). همانطور که قبلاً نیز گفته شد ، تمام شاخص های کامپوزیت به دست آمده در مقیاس 0 تا 3 قرار دارند و از آنجا که از مدل BCC (5) استفاده می کنیم ، ما داریم

یعنی خروجی پیش بینی شده در همان مقیاس با شاخص های کامپوزیت است. باید توجه کرد که تجزیه و تحلیل DEA برای هر یک از 500 نمونه انجام می شود و استحکام نتایج نیز مورد تجزیه و تحلیل قرار می گیرد.

سرانجام ، سطح ورودی و خروجی و نمرات کارآیی از طریق نمودارهای نوار برای هر دانشگاه دولتی اسپانیا نشان داده می شود.