IBE: Wpływ egzaminów na jakość edukacji
Dlaczego egzaminy są tak ważne? Jakie są wady i zalety systemu egzaminacyjnego? W jaki sposób mogą pomóc w doskonaleniu pracy szkoły? Czy i jak z wyników egzaminacyjnych korzystają dyrektorzy szkół i nauczyciele? – o tym w raporcie o stanie edukacji 2014 Instytutu Badań Edukacyjnych „Egzaminy zewnętrzne w polityce i praktyce edukacyjnej”.
Rola testów w edukacji jest jedną z najczęściej dyskutowanych kwestii. Dotyczy to zarówno Polski, jak i praktycznie wszystkich innych krajów, nawet tak „wolnego od testów” kraju jak Finlandia. Większość zarzutów dotyczących testów odnosi się bardziej do tego co robi się z wynikami testów, niż do samych testów i skutków, jakie wywołują, w zamierzony lub niezamierzony sposób, w oświacie. Chodzi tu nie tylko o osławione „uczenie pod testy”, ale też wpływ testów na postrzeganie celów edukacyjnych.
Wpływ egzaminów zależy przede wszystkim od funkcji, jakie wypełniają w danym kraju. Zamierzone i niezamierzone skutki testów są większe w tych systemach edukacyjnych, w których testy odgrywają większą rolę, ponieważ dyrektorzy i nauczyciele dążą do poprawy wyniku testów ze względu na pozytywne lub negatywne konsekwencje. W teorii polscy dyrektorzy i nauczyciele mogą wykorzystać wynik do poprawy jakości swojej pracy, nie obawiając się innych konsekwencji, ale nie będąc też specjalnie do tego zmotywowanymi. W praktyce, różnego rodzaju rankingi i zestawienia szkół powodują, że średnie wynik egzaminu są traktowane jako ważna informacja o szkole. Różne jednak może być postrzeganie znaczenia wyniku egzaminacyjnego przez dyrektora jedynej szkoły w niedużej gminie, a inne dyrektora szkoły, który konkuruje o uczniów z innymi szkołami – jak to ma miejsce w wielu dużych miastach w Polsce.
Kluczowe pytanie dotyczy tego, czy wykorzystywanie testów i egzaminów wpływa na umiejętności uczniów. Badania pokazują, że uczniowie z krajów, w których istnieją egzaminy zewnętrzne uzyskują lepsze wyniki niż uczniowie w krajach, w których nie ma egzaminów. Czy oznacza to, że wprowadzenie egzaminów poprawia umiejętności uczniów? Niekoniecznie. Egzaminy mogą pomagać w poprawie umiejętności uczniów, ale tylko wtedy, gdy nacisk na egzaminy jest skojarzony z innymi elementami zmian w systemie edukacji. Egzaminy sprawdzają się zwłaszcza w tych krajach, w których oświata jest zdecentralizowana, a szkoły i nauczyciele mają dużą autonomię w doborze treści i sposobów nauczania.
Badania edukacyjne dają dobry obraz negatywnych i pozytywnych skutków egzaminów na poziomie uczniów, szkół i nauczycieli.
Zawężanie treści nauczania
Uczenie pod test
Koncentrowanie się na wybranych kategoriach uczniów
Różnicowanie się szkół
Pozytywna rola egzaminów
- zarówno treść zadań zastosowanych w egzaminie, jak i ich format pozwalają sprawdzać szerokie spektrum umiejętności wymagających kompetencji rozwijanych w szkole;
- wyniki egzaminu wykorzystywane są tylko do tych celów, do których dany egzamin został zaplanowany;
- komunikowanie wyników jest zoptymalizowane w taki sposób, aby szkoła mogła je wykorzystać do doskonalenia nauczania;
- szkoły i nauczyciele mają możliwość uzyskania wsparcia, jak interpretować i wykorzystywać wyniki egzaminów – w tym zakresie jest szerokie pole do działania dla placówek doskonalenia nauczycieli;
- wyniki egzaminów są przedmiotem analiz efektów szkoły, ale ważne decyzje są podejmowane w kontekście szerokiej gamy różnorodnej działalności szkoły i osiągnięć jej uczniów.
Co nam mówią wyniki egzaminów
Wyników testu nie powinno się wykorzystywać jako jedynej informacji w decyzjach mających konsekwencje dla osób i instytucji. Największy pożytek daje łączenie informacji pochodzących z testów z innymi informacjami. Wiele badań wskazuje także na to, że cennym źródłem informacji, nadspodziewanie dobrze przewidującym dalsze sukcesy ucznia, są oceny szkolne. Ważne są z punktu widzenia oceny efektywności nauczania, mają także dane dotyczące losów absolwentów.
Porównywalne wyniki egzaminów
W celu osiągnięcia porównywalności wyników między latami zespół Analiz Osiągnięć Uczniów (ZAOU) działający w Instytucie Badań Edukacyjnych podjął w ramach projektu „Badanie jakości i efektywności edukacji oraz instytucjonalizacja zaplecza badawczego” prace nad badaniem, które umożliwia porównanie wyników egzaminacyjnych.
Wynik egzaminu zależy od trudności arkusza testowego oraz umiejętności uczniów. Gdyby umiejętności uczniów w krajowej populacji nie zmieniały się, to średni krajowy wynik egzaminacyjny byłby informacją o trudności testu. Gdyby trudność arkuszy testowych w kolejnych latach była podobna, to na podstawie wyników egzaminacyjnych można byłoby wnioskować o tym, jak zmienia się w czasie poziom umiejętności uczniów. Skonstruowanie arkuszy testowych o podobnych parametrach jest jednak zadaniem bardzo trudnym i nie zawsze zakończonym powodzeniem. Porównywalność wyników między latami można osiągnąć kontrolując trudność arkusza (procedury zrównywania wyników) lub zakładając stały poziom umiejętności w populacji (normalizacja i standaryzacja rozkładów, np. do skali staninowej). W pierwszym przypadku uzyskujemy bezwzględną porównywalność wyników i możliwość wnioskowania o zmianie umiejętności w populacji. W drugim przypadku uzyskujemy względną porównywalność w stosunku do średniej w danym roku.
W latach 2011-2014 Zespół Analiz Osiągnięć Uczniów przeprowadził badania zrównujące w różnych typach szkół, co po zastosowaniu złożonej procedury zrównywania wyników pozwoliło uzyskać porównywalność wyników sprawdzianu i egzaminu gimnazjalnego od 2002 roku, a matury z j. polskiego, angielskiego oraz matematyki od 2010 roku. Za rok bazowy dla wszystkich egzaminów przyjęto rok 2012 (krajowa średnia dla 2012 roku wynosi 100), a wyniki danego egzaminu w pozostałych latach należy rozumieć jako wzrost/spadek poziomu umiejętności uczniów w porównaniu do 2012 roku.
Zrównane wyniki egzaminacyjne zapewniają porównywalność rezultatów egzaminacyjnych pomiędzy latami, dlatego też nazwaliśmy je Porównywalnymi Wynikami Egzaminacyjnymi (PWE). Mogą być one wykorzystywane przede wszystkim do monitorowania poziomu osiągnięć uczniów (sprawdzanych w trakcie egzaminu) w skali kraju. Mogą też być przydatne do monitorowania w wieloletnich przedziałach czasowych procesów edukacyjnych w skali województwa i powiatu.
Rys. 1. Porównywalne wyniki egzaminacyjne dla Warszawy i Mazowsza
Edukacyjna wartość dodana
Polski system egzaminacyjny dostarcza danych do wyliczania EWD dla gimnazjów (sprawdzian w klasie VI szkoły podstawowej jako miara na wejściu, egzamin gimnazjalny jako miara na wyjściu) oraz szkół maturalnych (egzamin gimnazjalny jako miara na wejściu, egzamin maturalny jako miara na wyjściu). Natomiast budowane od 2014 roku modele EWD dla szkół podstawowych wykorzystują jako pomiar na progu edukacyjnym wyniki Ogólnopolskiego badania umiejętności trzecioklasistów (OBUT) z lat 2012 i 2013 odpowiednio, a wyniki sprawdzianu w VI klasie szkoły podstawowej jako miarę wyników końcowych.
Ogólnodostępne są trzyletnie wskaźniki EWD dla gimnazjów i szkół maturalnych. Wskaźniki te wyliczane są na podstawie danych z kolejnych trzech edycji egzaminów i przedstawiane są w graficznej formie jako elipsa, która pokazuje pozycję szkoły na tle populacji ze względu na wyniki egzaminacyjne i efektywność nauczania. Wielkość elipsy zależy od liczby uczniów w szkole i zróżnicowania ich wyników: im więcej uczniów, tym mniejsza elipsa. Dla gimnazjów początkowo konstruowane były dwa typy wskaźników: humanistyczny i matematyczno-przyrodniczy, ale zmiana formuły egzaminu gimnazjalnego umożliwiła wyliczanie od 2014 roku dodatkowych czterech typów: z języka polskiego, z historii i WOSu oraz z matematyki i z przedmiotów przyrodniczych. Dla szkół maturalnych są to cztery wskaźniki: polonistyczny, humanistyczny, matematyczny oraz matematyczno-przyrodniczy.
Rys. 2. Wyniki czterech gimnazjów w jednej gminie
Wykorzystanie analizy egzaminów do pracy szkoły
W tej chwili wśród działań podejmowanych po analizach wyników egzaminacyjnych dominuje raczej intensyfikacja pracy nad konkretnymi umiejętnościami/przedmiotami, przede wszystkim poprzez zwiększenie liczby konkretnych ćwiczeń i liczby zajęć, na których pracuje się nad umiejętnościami uznanymi za słabiej opanowane, a nie bardziej ogólne doskonalenie sposobów nauczania, czy modyfikacje w warsztacie pracy.
Rys. 3. Wykorzystywanie wyników egzaminów do pracy szkoły
Możliwe kierunki rozwoju systemu egzaminacyjnego
Aby diametralnie podnieść jakość arkuszy egzaminacyjnych konieczne jest przejście od autorsko tworzonych testów do budowania narzędzi egzaminacyjnych bazując na wykalibrowanych bankach zadań. Przygotowywanie egzaminów powinno przebiegać podobnie jak przygotowanie rzetelnego badania naukowego. Do tego potrzebni są nie tylko eksperci znający się na dydaktyce poszczególnych obszarów edukacyjnych ale także eksperci w dziedzinie psychometrii i sztuki tworzenia egzaminacyjnych testów. O pilnej potrzebie przyspieszenia prac nad bankami zadań może świadczyć fakt, że podczas analizy zadań z egzaminu gimnazjalnego w części humanistycznej i matematyczno-przyrodniczej w latach 2002-2010 Zespół Analiz Osiągnięć Uczniów IBE wytypował 66 zadań o słabych właściwościach psychometrycznych, które nie powinny znaleźć się w testach egzaminacyjnych.
Ważne jest też wprowadzenie do systemu egzaminacyjnego mechanizmów zapewniających porównywalność wyników kolejnych edycji egzaminów. Zwróciła na to uwagę Najwyższa Izba Kontroli, która w raporcie System egzaminów zewnętrznych wśród rekomendacji wnioskuje wprowadzenie na etapie tworzenia testów egzaminacyjnych metod, które nadadzą wynikom egzaminacyjnym walor międzyedycyjnej porównywalności.
Warto rozważyć wdrożenie jednego z trzech opisanych poniżej rozwiązań. Warianty te w mniejszym lub większym stopniu wiążą się z koniecznością zmian w systemie egzaminów zewnętrznych i związanych z tym zmian w prawie. Trzy warianty są przedstawione w kolejności pożądanych własności metodologicznych.
Wariant A – włączenie do egzaminu niejawnych zadań kotwiczących (rekomendowany, ale najtrudniejszy legislacyjnie)
Z metodologicznego i pomiarowego punktu widzenia jest to rozwiązanie najlepsze, dające najbardziej precyzyjne oszacowanie funkcji zrównującej i najmniej narażone na potencjalne czynniki zakłócające. Rozwiązanie to wymaga jednak istotnych zmian w sposobie przeprowadzania egzaminów.
Wariant B – jednoczesna standaryzacja zadań z wielu edycji egzaminu
Rozwiązanie jest mniej efektywne ze względu na wyznaczanie funkcji zrównującej. Wyniki mogą być obarczone wpływem niższego poziomu motywacji testowej uczniów na sesji standaryzacyjnej w porównaniu do sesji egzaminacyjnej.
Wariant C – dodatkowe badania na reprezentatywnej próbie
Jest to rozwiązanie nie wprowadzające żadnych zmian w systemie egzaminacyjnym, przez co byłoby najprostsze we wdrożeniu. Jednak wariant C rodzi największą liczbą potencjalnych problemów prowadzących do zakłócenia procesu zrównywania, ponadto odznacza się najniższą efektywnością. Ze względu na znaczną niepewność statystyczną wyników, jakie przynosi ta metoda, jej przydatność do zrównywania wyników pojedynczych uczniów jest ograniczona. Zaletą tego rozwiązania jest możliwość śledzenia zmian w poziomie umiejętności populacji między latami oraz zbieranie informacji o stabilności trudności testów egzaminacyjnych miedzy latami.
/informacja prasowa/
Warszawska Liga Debatancka dla Szkół Podstawowych - trwa przyjmowanie zgłoszeń do kolejnej edycji
Redakcja portalu 29 Czerwiec 2022
Trwa II. edycja konkursu "Pasjonująca lekcja religii"
Redakcja portalu 29 Czerwiec 2022
Redakcja portalu 23 Sierpień 2021
Redakcja portalu 12 Sierpień 2021
RPO krytycznie o rządowym projekcie odpowiedzialności karnej dyrektorów szkół i placówek dla dzieci
Redakcja portalu 12 Sierpień 2021
Wychowanie w szkole, czyli naprawdę dobra zmiana
~ Staszek(Gość) z: http://www.parental.pl/ 03 Listopad 2016, 13:21
Ku reformie szkół średnich - część I
~ Blanka(Gość) z: http://www.kwadransakademicki.pl/ 03 Listopad 2016, 13:18
"Takie będą Rzeczypospolite, jakie ich młodzieży chowanie"
~ Gość 03 Listopad 2016, 13:15
"Takie będą Rzeczypospolite, jakie ich młodzieży chowanie"
~ Gość 03 Listopad 2016, 13:14