سامانه همایش های دانشگاه آزاد اسلامی واحد نجف آباد

صفحه اصلی / سومین کنفرانس بین المللی مهندسی و علوم کامپیوتر و اولین کنفرانس ملی سامانه های هوشمند، کلان داده و رایانش پیشرفته

تحلیل مفهومی و درک محتوای‌های آموزشی چت بات‌ها: مقایسه عملکرد مدل‌های زبانی بزرگ ChatGPT و Gemini

نویسندگان :

مرضیه السادات مینوئی¹ سلیمان احمدی²

1- دانشگاه نجف آباد 2- دانشگاه علوم پزشکی شهید بهشتی

کلمات کلیدی :

تحلیل مفهومی،محتوای آموزشی،مدل‌های زبانی بزرگ،ChatGPT،Gemini

چکیده :

درک مفهومی محتوای آموزشی مرتبط با روش‌های ارزیابی دانشجویان علوم پزشکی نقش مهمی در یادگیری عمیق و بهبود کیفیت آموزش دارد. با رشد فناوری‌های هوش مصنوعی، مدل‌های زبانی بزرگ فرصت‌های جدیدی برای تسهیل فعالیت‌های آموزشی اساتید و دانشجویان فراهم کرده‌اند. این مطالعه با هدف مقایسه عملکرد دو چت‌بات مدل زبانی ChatGPT و Gemini در تحلیل مفهومی متون آموزشی مرتبط با روش‌های ارزیابی دانشجویان علوم پزشکی انجام شد. پژوهش تحلیلی–مقایسه‌ای حاضر شامل 20 متن مرتبط با روش‌های ارزیابی دانشجویان علوم‌پزشکی بود، که با یک پرامپت استاندارد و یکسان به هر دو مدل ارائه شد. 40 خروجی‌ چت‌بات‌ها، توسط دو متخصص آموزش پزشکی با شاخص‌های تحلیل مفهومی، شامل تشخیص مفهوم اصلی متن، روابط علت–معلولی، تحلیل ارتباط مفاهیم کلیدی، انسجام پاسخ و ساده‌سازی علمی اصطلاحات ارزیابی، پاسخ به دو سوال مربوط به متن ارزیابی شد. نتایج نشان داد، میانگین امتیاز کلی عملکرد Gemini (35/0 ± 73/3) به‌طور معناداری بالاتر از ChatGPT (35/0 ± 73/2) بود. علاوه‌براین، Gemini در تشخیص مفهوم اصلی متن، تحلیل ارتباط مفاهیم کلیدی، ساده‌سازی علمی اصطلاحات، کفایت و اختصار پاسخ و پاسخ به هر دو سؤال تحلیلی عملکرد بهتری داشت (P<0.05). میانگین تعداد کلمات پاسخ‌های Gemini نیز به‌طور معناداری بیشتر از ChatGPT بود P<0.001)). این تفاوت‌ها نشان می‌دهد، مدل‌های زبانی بزرگ، با وجود شباهت‌های معماری، در درک عمیق و تحلیل ساختاریافته متون آموزشی عملکرد یکسانی ندارند. بنابراین، انتخاب آگاهانه و مبتنی بر شواهد مدل زبانی، متناسب با اهداف آموزشی می‌تواند به بهبود تحلیل متون، تصمیم‌گیری‌های آموزشی و ارتقای نظام ارزیابی دانشجویان در آموزش پزشکی کمک کند.