Utilizzare Llm con Rag per ottenere feedback nei corsi di Data Science in ambito medico

Abstract

È stato dimostrato che fornire un feedback durante la valutazione formativa migliora i risultati dell'apprendimento. Recentemente, gli autori hanno esplorato l'uso di modelli linguistici di grandi dimensioni (LLM) per produrre un feedback scalabile, economico ed efficiente in termini di tempo. La ricerca si concentra sulle brevi risposte scritte degli studenti riguardanti l'interpretazione della normalità e la verifica delle ipotesi. I risultati preliminari mostrano prestazioni promettenti: il modello LLaMA-3.3-7B ha raggiunto una precisione media dello 0,93 nella comprensione del giusto o dello sbagliato e spiegazioni adeguate in oltre il 75% dei casi. Questo studio esamina le spiegazioni generate da LLM precedentemente insoddisfacenti utilizzando la Retrieval-Augmented Generation (RAG). Un valutatore cieco ha valutato 64 risposte (tre varianti RAG e una non RAG). I metodi basati su RAG hanno migliorato la qualità delle spiegazioni, rendendo soddisfacenti fino al 25% delle risposte precedentemente inadeguate. A parte la dimensione ridotta del campione, questi risultati sottolineano la flessibilità dei modelli LLM in contesti multilingue e specifici di dominio ed evidenziano il potenziale di RAG di migliorare le prestazioni senza necessità di riqualificazione. Sono necessarie ulteriori ricerche per migliorare l'allineamento tra l'obiettivo del modello LLM e l'intento pedagogico.