کشف الگوهای پاسخ ناشناخته در داده های آزمون در حال پیشرفت برای بهبود برآورد عملکرد دانش آموزان

آزمون پیشرفت Medizin (PTM) یک آزمون سازنده 200 نفری است که در هر دوره به 11000 دانشجو در دانشگاه های پزشکی (آلمان ، اتریش ، سوئیس) انجام می شود. دانش آموزان بیشتر در مقایسه با گروه خود ، در مورد دانش (توسعه) خود بازخورد دریافت می کنند. در این مطالعه ، ما از داده های PTM برای یافتن گروه هایی با الگوهای پاسخ مشابه استفاده می کنیم.

مواد و روش ها

ما خوشه های K-Means را با مجموعه ای از 5،444 دانش آموز ، شماره خوشه انتخاب شده K = 5 انجام دادیم و به عنوان ویژگی ها پاسخ می دهیم. پس از آن ، داده ها با تکالیف خوشه به عنوان هدف به XGBoost منتقل شدند و هدف را برای شناسایی سؤالات مربوط به خوشه برای هر خوشه با شکل فراهم کرد. خوشه ها توسط کل نمرات ، الگوهای پاسخ و سطح اطمینان مورد بررسی قرار گرفتند. سؤالات مربوطه برای شاخص دشواری ، شاخص تبعیض آمیز و سطح صلاحیت مورد بررسی قرار گرفت.

نتایج

سه مورد از این پنج خوشه را می توان به عنوان خوشه "عملکرد" دانست: خوشه 0 (761 نفر) عمدتاً از دانشجویان نزدیک به فارغ التحصیلی تشکیل شده است. سؤالات مربوطه دشوار است ، اما دانش آموزان با اطمینان و صحیح پاسخ دادند. دانش آموزان در خوشه 1 (1،357 نفر) پیشرفته بودند ، خوشه 3 (1،453 نفر) عمدتاً از مبتدیان تشکیل شده بودند. سؤالات مربوط به این خوشه ها بسیار آسان بود. تعداد پاسخ های حدس زده افزایش یافته است. دو خوشه "ترک" وجود داشت: دانش آموزان در خوشه 2 (384 نفر) پس از انجام عملکرد خوب ، حدوداً از نیمه راه از آزمون خارج شدند. خوشه 4 (N = 1،489) شامل دانشجویان از ترم های اول و همچنین دانش آموزان "غیر جدی" هر دو با حدس های عمدتاً نادرست و یا بدون جواب.

نتیجه

خوشه ها عملکرد را در زمینه دانشگاه های شرکت کننده قرار دادند. سؤالات مربوطه به عنوان جداکننده های خوشه ای خوب عمل می کردند و از گروه های خوشه ای "عملکرد" ما حمایت می کردند.

زمینه

تست پیشرفت یک ارزیابی مقطعی و طولی است که معیاری متمایز و قابل تأیید از رشد و اثربخشی دانش دانش آموز را ارائه می کند ([1] و منابع موجود در آن). دانش آموزان در طول تحصیل خود به صورت دوره ای در این آزمون شرکت می کنند. گردآوری آزمون از یک طرح محتوای ثابت پیروی می کند، با سؤالات سطح فارغ التحصیلی که منجر به آزمون های متفاوت اما قابل مقایسه می شود [2، 3]. ماهیت طولی این آزمون امکان نظارت بر پیشرفت دانش آموز تا فارغ التحصیلی را فراهم می کند. ماهیت مقطعی امکان مقایسه دانش آموزان در همان گروه و در بین گروه ها یا دانشگاه ها را فراهم می کند، زیرا آزمون برای همه دانش آموزان یکسان است. بنابراین، آزمون های پیشرفت منبع غنی بازخورد برای افراد، گروه ها و دانشگاه ها هستند [4،5،6،7].

در آلمان، "تست پیشرفت مدیزین" (PTM) در آموزش پزشکی به طور مشترک توسط Charité - Universitätsmedizin برلین (Charité) و دانشگاه Witten/Herdecke در سال 1999 معرفی شد. امروز، کنسرسیوم PTM یک آزمون پیشرفت متشکل از 200 سوال چند گزینه ای را اجرا می کند. هر ترم به حدود 11000 دانشجو از 17 دانشگاه در آلمان، اتریش و سوئیس. PTM بر اساس طرحی دو بعدی است که هر سوال را به یک سیستم اندام و یک موضوع پزشکی ترسیم می کند [8]. دانش آموزان بر اساس دانش و انگیزه کسب شده به سوالات پاسخ می دهند. آنها 180 دقیقه برای تکمیل آزمون فرصت دارند و ممکن است از سؤالات صرف نظر کنند. از سال 2018، حدود نیمی از دانشگاه های شرکت کننده رتبه «قطعیت» (یا «اطمینان») را به محیط های امتحانی خود اضافه کرده اند. دانش آموزان اعتماد خود را به پاسخ های خود در مقیاس لیکرت 3 درجه ای نشان می دهند ("من خیلی مطمئن هستم"، "من نسبتاً مطمئن هستم"، "من حدس می زنم") [9] از این پس به عنوان سطح اطمینان نامیده می شود.

PTM یک ارزیابی تکوینی است که در آن تلاش کم آزمون معمولاً منجر به عواقب نمی شود. با این حال، تلاش کم در آزمون دادن ممکن است منجر به دست کم گرفتن عملکرد و مهارت دانش آموز شود، که به نوبه خود ممکن است منجر به نمرات کلی سوگیری منفی شود که ممکن است اعتبار نتایج آزمون را به خطر بیندازد [10، 11]. مجموعه ای از معیارها بر اساس کار Schüttpelz-Brauns و همکاران.[12] و کارای و همکاران.[13] برای شناسایی نمرات آزمونی به کار می رود که به دلیل «تلاش کم در آزمون دادن» است، زیرا این نمرات باید از آنهایی که به دلیل «دانش به دست آمده ناکافی» هستند متمایز شوند.

دانش آموزان بازخورد مفصلی و فردی دریافت می کنند که نشان دهنده دانش و دانش فعلی آنها برای هر سیستم اندام و موضوع پزشکی است. این بازخورد بر اساس نمرات عددی در مقایسه با گروههای فردی است که تفاوت در برنامه درسی را به خود اختصاص می دهد. بازخورد اضافی عملکرد فرد را به دانش همه دانشجویان در طول شرایط ، ترم های دانشگاهی و دانشگاه ها مرتبط می کند [1 ، 4 ، 14].

نمره کل نشان نمی دهد که دانش آموز به کدام گروه تعلق دارد یا در کدام ترم دانشگاهی قرار دارد ، زیرا افزایش دانش تدریجی است و افزایشی نیست. علاوه بر این ، نمرات کل برای استنباط پاسخ های سطح سؤال قابل استفاده نیست: نمرات سؤالات مربوط به محتوای مختلف با سطح اطمینان مختلف و شاخص های دشواری ممکن است به همان نمره کل اضافه شود. نظرسنجی در مورد PTM نشان داده است که دانشجویان مایل به مقایسه عملکرد خود با سایر دانشگاه های شرکت کننده هستند [15 ، 16]. هدف ما این است که گروه های دانش آموزان را با استنباط الگوهای پاسخ با استفاده از وضعیت پاسخ ، صحت و اعتماد به نفس در همه پاسخ ها ، به استثنای معیارهای از پیش تعریف شده مانند تلاش برای تست ("جدی بودن") ، گروه ها و تفاوت های برنامه درسی در دانشگاه ها شناسایی کنیم. بشرنشان داده شده است که رویکردهای داده کاوی برای شناسایی ساختارهای اساسی در داده های آموزشی [17] و پیش بینی عملکرد دانش آموزان ([18] و منابع موجود در آن) کمک می کند. وانگ و همکاران.(2021) از یک مدل زنجیره مارکوف برای شناسایی حالتهای نهفته در مسیرهای طولی دانشجویان پزشکی از یک دانشکده پزشکی استفاده کرد [19].

از آنجا که ما می خواهیم گروه های شناسایی شده ما از گروه ها مستقل باشند ، خوشه بندی گزینه بارز است. الگوریتم های خوشه بندی گروههایی را با عنوان خوشه ای شناسایی می کنند ، که اشیاء آنها بیشتر از یکدیگر شبیه به اشیاء در سایر خوشه ها هستند. علاوه بر این ، آنها بینش بهتری نسبت به داده های پیچیده ارائه می دهند [20]. خوشه بندی برای گروه بندی دانش آموزان با توجه به سطح مهارت آنها ، عمدتاً برای حمایت از یادگیری آنها استفاده شده است [21 ، 22].

سپس هدف ما این است که آن سؤالات PTM را که بیشترین تأثیر را در خوشه بندی داشتند ، شناسایی کنیم. ما به منظور افزایش درک ما از خوشه های شناسایی شده ، مواردی را که از نظر سطح صلاحیت در نظر گرفته شده ، شاخص دشواری و شاخص تبعیض در نظر گرفته شده است ، بررسی می کنیم. از این رو ، ما داده ها را با استفاده از خوشه ها به عنوان اهداف طبقه بندی می کنیم. ما از یک الگوریتم تقویت کننده تکراری استفاده می کنیم که مجموعه ای از مدل های ساده تر را با قدرت پیش بینی محدود ("زبان آموزان ضعیف") ترکیب می کند [23 ، 24]. در اینجا ، داده های ورودی نادرست طبقه بندی شده (بیشتر) در تکرارهای بعدی برای ارتقاء یادگیری الگوریتم بیشتر می شوند. نتیجه کلی دقیق تر از هر یادگیرنده ضعیف به تنهایی است [25 ، 26]. به عنوان مثال ، درختان تقویت کننده شیب در تجزیه و تحلیل دوره های گسترده آنلاین باز برای شناسایی مهمترین ویژگی ها برای موفقیت یا عدم موفقیت دانش آموزان ([27] و منابع موجود در آن) استفاده شده است. طبقه بندی توسط الگوریتم توضیح دهنده توضیحات افزودنی Shapley (Shap) [28] انجام می شود ، که به مشتق اهمیت ویژگی ها در هر کلاس امکان می دهد.

به طور خلاصه ، هدف ما شناسایی الگوهای اساسی ناشناخته با استفاده از صحت و اعتماد به نفس در پاسخ به سؤالات PTM ، بی اعتنایی به دانشگاه دانشجویی یا ترم دانشگاهی و همچنین جدی بودن دانش آموزان از مشارکت است. برای دستیابی به این هدف ، ما از خوشه بندی استفاده می کنیم و به دنبال آن طبقه بندی و توضیحات برای به دست آوردن هر دو اطلاعات جدید در مورد گروه های متفاوت و سؤالات مربوط به PTM که گروه ها را متمایز می کند ، استفاده می کنیم.

مواد و روش ها

در این بخش ، خط لوله ای را که دنبال می کنیم برای شناسایی گروههای با نام های خوشه بر اساس پاسخ های آزمایشی معرفی می کنیم. شکل 1 نمای کلی از گردش کار تجزیه و تحلیل را ارائه می دهد.

خط لوله داده

داده های ورودی

هشت دانشگاه کنسرسیوم PTM با استفاده از رتبه اعتماد به نفس موافقت کردند که در این مطالعه شرکت کنند. از داده های PTM از اصطلاح زمستان 2020 استفاده شده است که شامل 5،852 آزمون PTM از دانشجویان در یازده ترم دانشگاهی است. دانشجویان ناشناس بودند ، دانشگاه ها نام مستعار بودند."جدیت" هر مشارکت از تجزیه و تحلیل عمومی داده های مذکور بدست آمد. ضمیمه شکل 1 درصد پاسخ های صحیح را برای هر دانش آموز گروه بندی شده بر اساس ترم نشان می دهد.

داده های PTM پاسخ های درجه بندی شده را برای هر یک از 200 سؤال سفارش داده شده توسط ظاهر آنها در آزمون (ستون ها) برای هر دانش آموز (ردیف) برگزار کردند. نمرات از صحت و اعتماد به نفس تشکیل شده بودند. به سؤالات یا صحیح ، نادرست یا اصلاً پاسخ داده شد. دانش آموزان سطح اعتماد به نفس خود را در هر یک از پاسخ های خود به عنوان "من بسیار مطمئن هستم" (کوتاه: "مطمئناً") ، "من کاملاً مطمئن هستم" ("احتمالاً") یا "حدس می زنم" ("حدس زده") [9 حدس زده ام) [9].

هر سؤال دارای شاخص دشواری و شاخص تبعیض بود. هر دو تست خاص بودند. درصد دانش آموزانی که به این سؤال پاسخ داده اند ، به طور صحیح شاخص دشواری را به همراه دارد (صحیح [٪]) [29 ، 30]. هرچه شاخص دشواری بالاتر باشد ، سؤال آسان تر خواهد بود. شاخص تبعیض (همبستگی دوتایی نقطه [31]) نشان می دهد که چگونه یک سؤال از یک دانش آموز با امتیاز بالا از یک دانش آموز با امتیاز پایین تبعیض می کند. شاخص تبعیض ا ز-1 تا 1 متغیر است [30]. یک سؤال کاملاً تبعیض آمیز معمولاً دارای یک شاخص تبعیض بیشتر از 0. 3 [32] است.

یک متخصص حوزه هر سؤال را به یکی از دو سطح صلاحیت اختصاص داد ("اعمال" ، "یادآوری"). سؤالات "اعمال" شامل یک ویژنت بالینی کوتاه یا آزمایشگاهی برای تفسیر یا تجزیه و تحلیل است ، در حالی که سؤالات "یادآوری" دانش دانش آموز را از یک موضوع آزمایش می کند [29].

پیش پردازش

فقط دانشجویان ترم های دانشگاهی یک تا ده که حداقل یک سؤال پاسخ می دادند در مجموعه داده نهایی قرار گرفتند. دانشجویان در یازدهمین ترم تحصیلی خود به این دلیل که مشارکت آنها داوطلبانه است و بیشتر دانشگاه های شرکت کننده PTM را فراتر از دهمین ترم دانشگاهی ارائه نمی دهند.

برای خوشه بندی ، اعتماد به نفس و صحت باید به مقادیر متریک تبدیل شود. ما نمره اولیه 3 امتیاز را برای پاسخ های "مطمئن" ، 2 امتیاز برای پاسخ های "احتمالی" و 1 امتیاز برای پاسخ های "حدس زده" ، با نمرات مثبت برای پاسخ های صحیح و نمرات منفی برای پاسخ های نادرست اختصاص دادیم. ما سپس امتیاز دهی را تنظیم کردیم تا فاصله نسبی میانگین درصد صحیح (شاخص دشواری) را برای هر سطح اطمینان حفظ کنیم (ضمیمه جدول 3). از این رو ، پاسخ های "مطمئناً" به ثمر رسید + (صحیح) یا -(نادرست) 3 امتیاز ، پاسخ های "احتمالاً" به ثمر رسید + ی ا-1. 8 ، و پاسخ های "حدس زده" به ثمر رسید + ی ا-0. 6 ؛سؤالات بی پاسخ به ثمر رسید. 0. نمره کل برای یک دانش آموز با جمع بندی نمرات فردی برای هر 200 سؤال محاسبه شد. از این رو ، نمره کل دامنه ممکن ا ز-600 تا 600 بود.

خط لوله تجزیه و تحلیل

الگوریتم

در تنظیمات تجزیه و تحلیل ما، هر آزمون به ازای هر دانش آموز یک مشاهده بود که معیارهای اطمینان امتیازدهی و صحت هر سؤال را نشان می داد. خط لوله در پایتون (نسخه 3. 8. 3 [33]) پیاده سازی شد و از سه الگوریتم تشکیل شد: اول، ما از خوشه بندی برای شناسایی الگوهای زیربنایی استفاده کردیم. دوم، ما یک طبقه بندی بر روی داده های خوشه ای آموزش دادیم. سوم، ما یک الگوریتم توضیحی را روی این نتایج اعمال کردیم تا ویژگی های مربوطه را استخراج کنیم، یعنی سؤالاتی که هر خوشه را از سایرین متمایز می کند. دقت حاصل از طبقه بندی کننده نیز به عنوان پارامتر ارزیابی برای الگوریتم خوشه بندی استفاده شد.

خوشه بندی

ما از k-means برای خوشه بندی داده های خود استفاده کردیم. K-means سعی می کند مجموعه داده را به k خوشه متمایز غیر همپوشانی تقسیم کند. مشاهدات را به یک خوشه اختصاص می دهد به طوری که فاصله اقلیدسی بین مشاهدات و مرکز خوشه حداقل باشد [34]. تعداد بهینه خوشه k منجر به خوشه های پایدار، معنی دار و قابل تفسیر می شود. تفسیرپذیری و معنی داری می تواند با تعداد بسیار کم، اما همچنین با تعداد زیاد خوشه کاهش یابد [35]. تعداد خوشه ها را با استفاده از روش زانویی با فاصله اقلیدسی به عنوان نمره اعوجاج تعیین کردیم. تابع KElbowVisualizer از بسته Yellowbrick [36] عدد بهینه خوشه k را برای محدوده کاوش شده اعداد خوشه بالقوه برمی گرداند. قبل از تصمیم گیری در مورد k نهایی، خوشه ها را بر اساس k برگشتی برای تفسیرپذیری ارزیابی کردیم. از آنجایی که k-means شناخته شده است که به حداقل محلی [37] همگرا می شود، ما k-means را 200 بار با k نهایی خود اجرا کردیم. سپس مسابقه را با بهترین امتیاز Calinski-Harabasz (CHS) انتخاب کردیم. CHS نشان دهنده نسبت پراکندگی درون خوشه ای به بین خوشه ای است. هر چه امتیاز بالاتر باشد، تفکیک خوشه بهتر است [38]. علاوه بر این، دقت طبقه بندی کننده در پایین تر خط لوله به عنوان یک معیار عملکرد اضافی عمل می کند (به زیر مراجعه کنید).

طبقه بندی

ما طبقه بندی multiclass را انجام دادیم [39]. ورودی برای طبقه بندی کننده ها ویژگی ها و اهداف بود. در اینجا ، ویژگی ها همان ورودی برای الگوریتم خوشه بندی بودند. اهداف خوشه هایی بودند که توسط K-Means تعیین شده بودند. این مجموعه داده با 75 ٪ از داده ها و یک مجموعه داده تست با 25 ٪ از داده ها با استفاده از Sklea به یک مجموعه داده آموزش تقسیم شد [39]. طبقه بندی تقویت کننده شیب XGBOOST [40] برای طبقه بندی استفاده شد. GBTREE پیش فرض به عنوان تقویت کننده و Multi: SoftProb به عنوان هدف یادگیری برای پیش بینی هر نقطه داده متعلق به هر کلاس عمل می کند. میزان یادگیری به 0. 2 تعیین شد و توقف زود هنگام برای جلوگیری از بیش از حد انتخاب شد. تمام پارامترهای دیگر به طور پیش فرض باقی مانده بودند. ما از Mlogloss استفاده کردیم ، که از دست دادن لجستیک در یک مجموعه داده multiclass [39 ، 41] به عنوان معیار ارزیابی باز می گردد. عملکرد مدل آموزش دیده در مجموعه داده های آزمایش با استفاده از دقت کلی به عنوان متریک عملکرد مورد بررسی قرار گرفت. این مرحله 100 بار با تست های قطار تصادفی تکرار شد. نتایج حاصل از اجرای با بالاترین دقت به عنوان ورودی برای توضیح دهنده خدمت می کند.

توضیح دهنده

ما از روش Treeshap کتابخانه Shap برای تخمین ارتباط ویژگی ها استفاده کردیم [42]. میانگین مقادیر شکل مطلق نشان دهنده اهمیت جهانی هر ویژگی برای هر کلاس است (در اینجا: هر یک از خوشه های ما) [43]. برای هر خوشه ، ما 20 سوال را با بالاترین مقدار مطلق Shap به عنوان 20 سؤال مرتبط انتخاب کردیم. ما این سؤالات را با موقعیت آنها در آزمون ، شاخص دشواری آنها ، شاخص تبعیض آنها و نقشه برداری آنها به صلاحیت مورد نظر مرتبط کردیم.

نتایج

مجموعه داده های از پیش پردازش شده

ما 408 دانش آموز را که در طول پیش پردازش معیارهای ورود ما را رعایت نکردند ، حذف کردیم. بنابراین ، مجموعه داده نهایی ما شامل 5،444 دانش آموز از هشت دانشگاه بود. تعداد دانشجویان در هر ترم دانشگاهی از N = 383 در ترم 6 تا N = 942 در ترم 3 (ضمیمه جدول 1). بیشتر دانشجویان (3،077 نفر) از همان دانشگاه آمده اند ، در حالی که تعداد دانشجویان هفت دانشگاه دیگر از n = 152 تا n = 526 متغیر است (جدول 2).

از 200 سؤال ارائه شده ، 110 نفر از صلاحیت "فراخوان" و 90 نفر از صلاحیت "اعمال" بودند. میانگین انحراف استاندارد از شاخص دشواری و شاخص تبعیض به ترتیب 12/12 ± 34. 08 و 12/0 42 0. 42 بود. شاخص تبعیض بیشتر از 0. 3 برای 165 سؤال به دست آمد (هیستوگرام همه شاخص های تبعیض: ضمیمه شکل 2).

خوشه

بر اساس روش آرنج ، تعداد بهینه خوشه ها K = 5 بود (ضمیمه شکل 3). با استفاده از این اندازه خوشه ، K-Mean 200 بار اجرا شد (آمار توصیفی: ضمیمه جدول 4). CHS تنها با 2. 5 با میانگین 215. 04 متفاوت بود. ما بهترین اجرای را با CHS 215. 08 انتخاب کردیم. تکالیف خوشه ای مربوطه برای تجزیه و تحلیل بیشتر انتخاب شد.

همه خوشه ها شامل دانشجویان از هر ده ترم دانشگاهی بودند. با این حال ، هر خوشه تمایل به اوج در یک ترم دانشگاهی خاص را نشان داد. سه مورد از خوشه ها با سطوح مختلف عملکرد مشخص شد ، در حالی که دو خوشه ترکیبی از عملکرد را نشان می دهند و از آزمون خارج می شوند. در ادامه ، ما اطلاعات توصیفی در مورد خوشه ها ، ابتدا برای خوشه های "عملکرد" و سپس برای خوشه های "رها کردن" ارائه می دهیم. تجسم خوشه ها را می توان در شکل 2 (توزیع ترم دانشگاهی ، نمرات کل) و شکل 3 (اعتماد به نفس و صحت در هر دانش آموز) با مقادیر دقیق در جدول جدول 5 مشاهده کرد. رابطه ترم دانشگاهی.

خوشه های "عملکرد" خوشه های 0 ، 1 و 3 بودند ، همانطور که در شکل 2 نشان داده شده است. خوشه 0 (761 نفر) شامل دانش آموزانی بودند که عمدتا به فارغ التحصیلی نزدیک بودند. این دانش آموزان بالاترین میانگین نمره کل (انحراف استاندارد) 243. 45 (95/48 پوند) را داشتند. آنها همچنین نسبت بالایی از پاسخ های صحیح با عنوان "مطمئن" داشتند (شکل 2 ، ضمیمه جدول 7). خوشه 1 (1،357 نفر = n) عمدتاً از دانش آموزان پیشرفته تشکیل شده بود ، و خوشه 3 (1،453 نفر) شامل کسانی بودند که در ترم های اولیه خود بودند ، با اوج در ترم سوم و به همین دلیل مبتدی محسوب می شدند. این خوشه ها به ترتیب میانگین نمرات 23535 (33. 87 ±) و 42. 60 (33. 85 ±) بودند.

خوشه 2 (384 = n) ، کوچکترین خوشه ، حاوی دانش آموزانی نزدیک به فارغ التحصیلی است که تقریباً در نیمه راه از آزمون خارج می شوند. این دانش آموزان به سؤالات کافی پاسخ دادند و به اندازه کافی طولانی در آزمون ماندند تا جدی تلقی شوند. خوشه 2 را می توان به عنوان "ترک تحصیل" در اواخر طبقه بندی کرد. میانگین نمره کل این خوشه 68/75 (41. 85 ±) بود. خوشه 4 (N = 1،489) شامل عمدتاً کمترین دانش آموزان به ثمر رساند ، یعنی دانش آموزانی که با دقت و اعتماد به نفس لازم برای کسب امتیاز بالاتر به سؤالات کافی پاسخ ندادند. آنها یا سؤالات زیادی را رد می کردند یا در صورت تکمیل آزمون ، پاسخ های "حدس زده" را بیشتر ارائه می دادند. اوج در ترم اول بود (شکل 2). این خوشه همچنین شامل 590 نفر از 596 دانش آموز طبقه بندی شده به عنوان "غیر جدی" بود. میانگین نمره ک ل-18. 09 (43. 25 ±) بود.

با توجه به تعداد بسیار زیاد سؤالات بی پاسخ در مقایسه با خوشه های 0 ، 1 و 3 ، خوشه های 2 و 4 می توانند به عنوان خوشه "ترک" تلقی شوند. اگرچه خوشه 4 همچنین تعداد زیادی حدس را برای سهولت تمایز شامل می کنیم ، ما به این دو خوشه به عنوان خوشه "ترک" برای باقیمانده مقاله اشاره خواهیم کرد.

تفاوت اصلی بین خوشه های "عملکرد" و خوشه های "رها کردن" تعداد سؤالات بی پاسخ بود. خوشه های "عملکرد" به طور متوسط 5. 94 سؤال بی پاسخ برای خوشه 0 ، 12. 67 برای خوشه 1 و 13. 49 برای خوشه 3 بودند ، در حالی که دو خوشه "رها کردن" به طور متوسط 103. 71 سؤال بدون جواب برای خوشه 2 و 97. 08 برای خوشه 4 داشتند.

میانگین نتایج در هر خوشه و سطح اطمینان نشان داد که دانش آموزان در سه خوشه اول (خوشه 0 ، 1 ، 2) از دقت خود نظارت بالاتر در تمام سطوح اطمینان برخوردار بودند (شکل 4 ، ضمیمه جدول 6). خوشه 3 دقت خود نظارت تقریباً متوسط را نشان داد و در خوشه 4 دقت نظارت بر خود نظارت با یک انحراف استاندارد بالا ، زیر متوسط بود.

طبقه بندی

تقسیمات شامل 4،083 مشاهده برای آموزش و 1،361 برای آزمایش بود. تقسیم 100 بار با آموزش متوالی الگوریتم تقویت کننده انجام شد. دقت مدل از 0. 855 تا 0. 899 با میانگین 0. 876 بود. ما برای تجزیه و تحلیل بیشتر از مدل با بالاترین دقت (0. 899) استفاده کردیم. ما همچنین نمرات F1 وزنی مربوطه را به دست آوردیم [44] ، که نشان دهنده میانگین هارمونیک بین دقت وزنی و فراخوان وزنی است ، که از 0. 856 تا 0. 899 بود. نمره وزنی F1 از مدلهای منتخب نیز 0. 899 بود. ضمیمه جدول 8 ، ضمیمه جدول 9 و پیوست شکل 6 علاوه بر معیارهای فوق الذکر ، برای همه اجراها از جمله مدل انتخاب شده ، دقت و فراخوان را نشان می دهد.

توضیح دهنده

تمام سؤالات مربوطه در خوشه های "عملکرد" دارای شاخص تبعیض بالاتر از 0. 3 بود و تقریباً همه آنها از میانگین آزمون (0. 4) فراتر رفتند. تنوع زیادی در شاخص دشواری یافت شد. شکل 5 و شکل 6 شاخص دشواری ، سطح صلاحیت و شاخص تبعیض 20 سؤال مهم را نشان می دهد. برای خوشه های 0 و 1 ، "سؤالات مربوطه" عمدتاً به درستی و با اطمینان "مطمئناً" پاسخ داده می شد. آنها از نظر شاخص دشواری و سطح صلاحیت متفاوت بودند. از 20 سؤال مهم که خوشه 0 را از سایر خوشه ها متمایز می کند ، 13 نفر (65 ٪) از سطح صلاحیت "اعمال می شوند" و تنها هفت (35 ٪) از سطح صلاحیت "فراخوان" بودند. این نکته قابل توجه است زیرا در این اجرای PTM ، 45 ٪ سؤالات "سؤالات" اعمال شده و 55 ٪ سؤالات "فراخوان" بودند. 20 سؤال مهم ، شاخص تبعیض بالاتر از حد متوسط و شاخص دشواری کمی پایین تر ("دشوارتر") را از میانگین شاخص دشواری کلیه سؤالات موجود در این آزمون نشان داد. برای سؤالات مربوطه در خوشه 1 ، نسبت "اعمال": "یادآوری" معکوس شد (7:13 یا 35 ٪: 65 ٪). شاخص دشواری این سؤالات به طور متوسط بالاتر (یعنی سؤالات "آسانتر") از میانگین شاخص دشواری کلیه سؤالات موجود در این PTM بود ، اما از نظر شاخص تبعیض بالاتر از حد متوسط.

سؤالات مربوطه در خوشه 3 در شاخص دشواری و شاخص تبعیض بالاتر از حد متوسط بود. با این حال ، الگوی پاسخ متفاوت بود: دانش آموزان با اطمینان زیاد به سؤالات "آسانتر" پاسخ دادند و سؤالات دشوار را به طور نادرست "حدس زدند". در اینجا ، نسبت "اعمال": "یادآوری" برابر با خوشه 1 (35 ٪: 65 ٪) بود.

سؤالات مربوطه برای دو خوشه "ترک" خصوصیات مختلفی را نشان داد. برای خوشه 2 ، هفت (35 ٪) از سؤالات مربوطه "آسانتر" بودند و در نیمه دوم آزمون قرار داشتند. با این حال ، دانش آموزان خوشه 2 به آنها پاسخ ندادند. 12 (60 ٪) از 13 سؤال مربوطه در سه ماهه اول آزمون بود و بیشتر به درستی پاسخ داده می شد.

برای خوشه 4 ، سؤالات مربوطه در طول آزمون واقع شده بود و سؤالات "ساده تر" بودند. خوشه 4 دانش آموزان یا جواب ندادند یا به اشتباه این را "حدس زدند". مقادیر Shap برای کلیه سؤالات در هر خوشه را می توان در ضمیمه جدول 10 مشاهده کرد.

بحث

ما رفتار پاسخ دانشجویان PTM را برای شناسایی گروه بندی دانش آموزان که از تلاش آزمون ، گروه ها و تفاوت های احتمالی درسی استفاده نمی کنند ، بررسی کردیم ، اما صرفاً بر اساس عملکرد آنها. برای انجام این کار ، ما از یک الگوریتم خوشه بندی برای تشخیص الگوهای اساسی استفاده کردیم و به دنبال آن یک طبقه بندی کننده تقویت کننده. ما سپس مدل به دست آمده از طبقه بندی را به یک توضیح دهنده منتقل کردیم که ارتباط هر سؤال را برای هر خوشه محاسبه می کند. ما 20 سؤال مهم را برای هر خوشه انتخاب کردیم.

این سؤالات مربوطه همیشه باید در رابطه با الگوهای پاسخ مربوطه در نظر گرفته شود ، همانطور که توسط دو مثال از شکل 5 نشان داده شده است: (1) دانش آموزان در خوشه 3 به سؤالات مربوطه "آسانتر" به درستی با اعتماد به نفس بالا پاسخ دادند و "دشوارتر" را حدس زدندسوالات مربوطه به طور نادرست ؛(2) سوال 110 برای خوشه های 0 ، 1 و 3 مرتبط است. این سؤال که بیشتر "مطمئناً" و به درستی توسط دانشجویان در خوشه 0 پاسخ داده شده است ، به "احتمالاً" و به درستی توسط دانش آموزان در خوشه 1 پاسخ داده شده است ، و به طور نادرست توسط دانشجویان در دانش آموزان حدس می زنندخوشه 3.

پارامترها و اندازه گیری عملکرد

اندازه گیری عملکرد برای چندین اجرای الگوریتم های خوشه بندی و طبقه بندی کننده مقادیر را در محدوده های نزدیک و معقول به دست آورد. صحت حدود 90 ٪ نشان می دهد كه طبقه بندی كننده قادر به آموختن واگذاری الگوهای پاسخ به خوشه های مربوطه بود. نتیجه می گیریم که خط لوله تجزیه و تحلیل نتایج معنی دار و قابل تفسیر را بدون تنظیم Hyperparameter ارائه می دهد.

خوشه

خوشه بندی ما سه خوشه «عملکرد» و دو خوشه «ترک کردن» به دست آورد. خوشه های "عملکرد" ما دوره مطالعه را به سه بخش تقسیم کردند: مبتدی، پیشرفته، و نزدیک به فارغ التحصیلی. آنها الگوهایی را که به عنوان مثال توسط Cecilio-Feandes و همکاران (2016) در تحقیقات خود در مورد آزمون های پیشرفت یافت شدند، منعکس کردند [45]. در آنجا، دانشجویان پزشکی در سال های اولیه شان در سؤالات ساده «یادآوری» بهتر عمل می کنند و دانشجویان پزشکی نزدیک به فارغ التحصیلی در سؤالات «اعمال» عملکرد بهتری دارند. خط لوله ما دانشجویان خوشه 0 را از دانشجویان دیگر خوشه ها با نسبت بالایی از پاسخ های صحیح «اعمال کردن» متمایز می کند. سؤالات. به طور مشابه، دانش آموزان در خوشه های 1 و 3 با الگوهای پاسخشان شناسایی شدند که شامل نسبت بیشتری از سؤالات «یادآوری» بود و به ویژه برای خوشه 3، تعداد بیشتری از پاسخ های اشتباه حدس زده شده بیشتر بود. کامر و همکاران (2020)هیچ تفاوتی در دقت خود نظارتی در سرتاسر ترم ها یافت نشد، به استثنای دانشجویان ترم اول که دقت کمتری داشتند [9]. نتایج ما از یافته های آنها برای خوشه های 0 و 1 حمایت می کند. میانگین دقت خود نظارتی خوشه 3 کمی بود. کمتر از میانگین دقت خود پایش خوشه های 0 و 1 (شکل 4) و میانگین دقت خود پایش گزارش شده توسط کامر و همکاران.(2020) [9]. با این حال، خوشه 3 شامل دانش آموزان فراتر از ترم اول بود.

موارد زیر در خوشه های «ترک تحصیل» یافت شد: الگوی سؤالات پاسخ دهی شده در خوشه 2 مشابه خوشه های 0 و 1 بود که نشان می دهد اکثر دانش آموزان احتمالاً نمرات قابل مقایسه با خوشه های 0 و 0 را کسب کرده اند. 1 باید آزمون را کامل کرده باشند. علاوه بر این، دانش آموزان در خوشه های 0، 1 و 2 دقت خود نظارتی مشابهی را در اعتماد نشان دادند (شکل 4). از آنجایی که ملاحظات عددی سنتی دانش دانش آموزان را در خوشه 2 دست کم می گیرند، خوشه های ما دیدگاه جدیدی را به این ارزیابی تکوینی اضافه می کنند.

خوشه 4 تقریباً شامل تمام دانش آموزانی بود که مشارکت آنها "غیر جدی" و دانش آموزان ترم اول که عمدتاً حدس می زدند ، که بیش از نیمی از دانشجویان ترم اول است. پیشنهاد دو زیر گروه در این خوشه توسط انحراف استاندارد بالای خوشه 4 در دقت خود نظارت پشتیبانی می شود. این سوال برانگیز است که از این خوشه به عنوان "ترک تحصیل" یاد کنیم. وانگ و همکاران.(2021) چهار حالت نهان را در نمرات آزمون پیشرفت دانش آموزان مشخص کرد: تازه کار ، پیشرفته مبتدی I ، پیشرفته مبتدی II و صالح [19]. خوشه های "عملکرد" ما شبیه به حالتهای آنها هستند. دانشجویان ترم اول ما در خوشه 4 ممکن است شبیه وضعیت "تازه کار" آنها باشند. بر خلاف PTM ، آزمون پیشرفت آنها به نمرات دانش آموزان و همچنین تصمیمات مربوط به پیشرفت در دوره تحصیل کمک می کند [19]. خوشه های "رها کردن" ما ماهیت کاملاً سازنده PTM را منعکس می کنند.

ترتیب س questions ال

همیشه دانش آموزانی وجود خواهند داشت که فقط به نیمه اول سؤالات پاسخ می دهند و بنابراین در خوشه 2 قرار می گیرند. ما تعجب می کنیم که آیا بیشتر سؤالات مربوطه توسط الگوریتم توضیح دهنده برای خوشه های "عملکرد" به ناچار پس از سه ماهه اول قرار خواهد گرفتآزمایش ، صرف نظر از محتوای آنها.

گنجاندن در بازخورد PTM

خوشه های ما علاوه بر بازخورد عددی مبتنی بر کوهورت سنتی را ارائه می دهند. گروه بندی به طور مشابه انجام دانشجویان در گروه ها و دانشگاه ها می تواند به ایجاد پروفایل کمک کند که بر نقاط قوت و ضعف آنها متمرکز شود. چنین تجزیه و تحلیل شخصی یک عامل شناخته شده برای بازخورد مؤثر است (به عنوان مثال [46] و منابع موجود در آن) و توسط دانشجویان PTM درخواست می شود ، همانطور که توسط نظرسنجی های PTM نشان داده شده است [15 ، 16]. به عنوان مثال ، دانش آموزان می توانند از لحاظ بصری الگوهای پاسخ خود را با الگوهای پاسخ همه خوشه ها مقایسه کنند و از این رو نمای کلی بهتری از سطح دانش فعلی خود دریافت کنند. دانش آموزان در خوشه 2 تخمین بهتری از عملکرد خود در نیمه اول آزمون نسبت به استفاده از تنها بازخورد عددی استاندارد و نمرات متوسط دارند.

محدودیت ها

عدم تعادل در داده ها از این واقعیت ناشی می شود که بزرگترین دانشگاه هر تست را انجام می دهد و دانشجویان جدید را دو بار در سال می پذیرد و دانشگاه های کوچکتر توزیع ناهموار دانشجویان شرکت کننده را دارند و همه PTM را در هر دوره ارائه نمی دهند. از آنجا که ما می خواهیم واقعیت را نمایندگی کنیم ، ما برای حفظ ساختار مجموعه داده اصلی ضروری می دانیم.

در داده های اصلی ، پاسخ هر دانش آموز توسط یک شناسه متشکل از اعتماد به نفس در پاسخ داده شده و صحت آن ارائه شده است. برای خوشه بندی ، ما این دسته ها را به مقادیر عددی ترجمه کردیم ، دانستن اینکه این انتقال ممکن است در نتایج خوشه بندی ما تأثیر داشته باشد. تکالیف امتیاز دهی ما بر اساس پیشینه ریاضی بود. ما خوشه های حاصل را برای هدف خود معقول و قابل تفسیر می دانیم.

تحقیقات آینده

در این مطالعه ، ما فقط نمرات دانش آموزان را در تحلیل خود گنجانده ایم. تحقیقات آینده می تواند شامل پارامترهای دیگری برای تنظیم برای حواس پرتی های خاص باشد. به عنوان مثال ، یکی از ویژگی هایی که می تواند گنجانده شود ، میزان زمانی است که یک دانش آموز برای یک سؤال می گذراند. این می تواند به یافتن شاخص های جدید خوشه ای کمک کند و احتمالاً بینش بیشتری در مورد تفاوت های گروه های خاص دانش آموزان به ما می دهد.

تجزیه و تحلیل طولی از دانشجویان و سؤالات مربوطه نیز مورد توجه بسیاری قرار دارد. حفظ یک دانش آموز در یک خوشه یا انتقال از یک خوشه به دیگری در طول مطالعه ، می تواند اطلاعاتی در مورد سود دانش دانش آموزان و الگوهای رشد استنباط کند [19] ، که با هدف ارائه بازخورد برای پرداختن به دانشجویان سازگار است. توسعه آینده همانطور که در ادبیات شرح داده شده است (به عنوان مثال [47،48،49] و منابع موجود در آن). به عنوان مثال ، از شاخص های اولیه می توان برای شناسایی افراد نیازمند پشتیبانی استفاده کرد.

برای بررسی اینکه آیا ترتیب سؤالات در یک آزمون در شناسایی سؤالات مربوط به خوشه ها تأثیر دارد ، ما رویکردهای زیر را برای آزمون بعدی پیشنهاد می کنیم:

• the سؤالات مشابه را به همان ترتیب ارائه دهید
• the سؤالات مشابه را به ترتیب متفاوت ارائه دهید
• → یک آزمون قبلی ، سوالات غیر مرتبط را جایگزین کنید و موقعیت سوالات مربوطه را حفظ کنید
• er تمام سؤالات مربوط به خوشه های "عملکرد" یک آزمون قبلی را در ابتدای آزمون قرار دهید

• → یک تست کوتاهتر متشکل از سؤال مربوط به خوشه "عملکرد" یک آزمون قبلی ارائه دهید

نتیجه

ما سه خوشه "عملکرد" مختلف و دو خوشه "رها کردن" پیدا کردیم.

دانش آموزان در خوشه ها از نظر مرحله مطالعه ، دانش سؤالات ساده تر و دشوارتر و اعتماد به نفس در پاسخ ها و صحت این خود نظارت متفاوت بودند. خوشه های "عملکرد" دوره تحصیل را به مبتدیان ، پیشرفته و نزدیک به فارغ التحصیلی تقسیم می کنند. دانش آموزان در یک خوشه "عملکرد" با نسبت بالای سؤالات مربوط به "اعمال" به درستی پاسخ داده می شوند. دانش آموزان در دو خوشه "عملکرد" دیگر با توجه به نسبت بالاتر سؤالات مربوط به "فراخوان" مربوطه ، به عنوان مثال مشخص می شوند. تجزیه و تحلیل یک خوشه "ترک تحصیل" نشان می دهد که بیشتر دانش آموزان آن خوشه این شانس را داشتند که اگر آنها آزمون را انجام دهند ، در خوشه های "عملکرد" حضور داشته باشند.

در دسترس بودن داده ها و مواد

مجموعه داده های تولید شده در طول و/یا تجزیه و تحلیل در طول مطالعه حاضر به دلایل امنیت داده در دسترس عموم نیستند اما در صورت درخواست معقول از نویسنده مربوطه در دسترس هستند و پس از تأیید شرکای همکاری آزمون پیشرفت و تصویب اخلاقی گسترده.