Aндрій Гладун
У 2018 році Україна вперше візьме участь у міжнародній програмі оцінювання учнів (скорочено – PISA), яку проводить ОЕСР. Уже сьогодні лунають заяви про те, що PISA покаже реальний стан української середньої освіти. Що саме оцінює PISA, від чого залежать результати країн та в чому недоліки програми – ми спробуємо з’ясувати в цій статті.
Все пізнається у порівнянні
Дослідження PISA проводиться кожні три роки, починаючи з 2000-го, у країнах Організації економічного співробітництва та розвитку і країнах-партнерах. Кожного року в програмі беруть участь дедалі більше учасників: у 2012 році участь узяли 65 країн та регіонів, серед них 34 країни ОЕСР, 27 країн-партнерів та 4 регіони Китаю. У тестуванні беруть участь 15-річні учні шкіл усіх типів незалежно від класу, в якому вони навчаються. Тестування проводять у трьох дисциплінах: математика, читання та природничі науки. У деяких країнах застосовувались додаткові модулі: розв’язання проблем та фінансова грамотність.
Ключова характеристика тесту – оцінювання засновано на порівнянні. Усі результати стандартизуються таким чином, що середній результат країн ОЕСР завжди дорівнює 500 балам, а стандартне відхилення 1 – 100 балам. Таким чином, найбільш цитовані результати – середні бали для країн – оцінюють, наскільки середні результати учнів у цих країнах є кращими чи гіршими за середні результати в країнах ОЕСР за кожною з дисциплін. На відміну від стандартизованих тестів, що проводяться в межах однієї країни, на кшталт ЗНО, PISA дозволяє більш-менш об’єктивно оцінити результат освітнього процесу саме завдяки порівнянню між країнами 2.
Ще однією особливістю PISA є специфіка завдань, заснованих на оцінюванні компетенцій учнів. Оскільки PISA є порівняльним дослідженням, завдання абсолютно не пов’язані з національними освітніми планами. Натомість вони оцінюють застосування певних отриманих знань для вирішення гіпотетичних життєвих ситуацій. У кожному модулі є 6 завдань, складність яких зростає у відповідності до кількості та складності операцій, необхідних для пошуку рішення.
Зміст завдань досить сильно відрізняються від змісту іспитів в Україні. З одного боку, їх вирішення не вимагає знання конкретних формул або ж формалізованого опису процесу пошуку рішення. З іншого боку, в завданнях може бути присутня зайва інформація, можливі кілька правильних варіантів відповідей, а єдиним шляхом знаходження відповіді може бути метод спроб і помилок. Для прикладу, в тесті з математики учні не вирішують рівняння, а дають приблизну оцінку площі об’єктів на карті за допомогою відомого масштабу, або ж розраховують середню швидкість їзди, а в тесті з читання учні мають відповідати на питання, знаходячи інформацію в текстах, графіках та таблицях, тощо 3.
PISA більше нагадує тест на логіку, аніж шкільну контрольну роботу, оскільки оцінює в першу чергу можливість застосовувати набуті знання у незвичному контексті, а не вирішувати стандартизовані задачі. Така специфіка має наслідки: учні з країн, де навчальні плани орієнтовані на практичне застосування знань (напр. Фінляндії), отримують кращі результати.
Вся справа в економіці?
За результатами кожної хвилі оцінювання найбільше уваги привертають середні бали країн. Однак ці результати є зовсім не випадковими. Досить передбачувано, що середні бали країн у PISA значною мірою залежать від їхнього рівня економічного розвитку: рівень ВВП на душу населення дозволяє пояснити більше ніж третину варіації в результатах із математики та читання та трохи менше від третини в природничих науках. Мало того, якщо прибрати викиди (outliers), В’єтнам та Катар, що одночасно мають дуже високі та дуже низькі результати як для свого рівня ВВП, то ВВП на душу населення дозволяє пояснити близько 58% варіації в середніх балах. Слід зазначити, що зв’язок між середніми балами та рівнем ВВП на душу населення нелінійний: зростання ВВП на певну величину для біднішої країни статистично пов’язане з більшим зростанням середніх балів, ніж аналогічне зростання для багатшої країни.
Говорити про прямий причинно-наслідковий зв’язок між економікою і результатами тестів було б неправильно, адже результати учнів залежать від великої кількості чинників – обсягів фінансування освіти, доступу до навчальних закладів, змісту навчальних програм, культури тощо. Тим не менше, така кореляція показує, що існує певна межа в тому, чого ефективніша освітня політика може досягти в бідніших країнах. У цьому розрізі прогноз можливих результатів України у 2018 році досить невтішний.
Зв’язок середнього балу країни у PISA-2012 з математики, читання та природничих наук та рівня ВВП на душу населення (у доларах США), логарифмічна лінія тренду. Регіони Китаю, що брали участь в оцінюванні, виключено з аналізу. Джерело: Світовий банк, ОЕСР 4
Культура аудиту в міжнародному вимірі?
Незважаючи на важливість оцінки компетенцій учнів, PISA регулярно зазнає критики. Ймовірно, найбільш відомим зразком цієї критики є відкритий лист науковців 2014-го року, у якому стверджувалося, що PISA шкодить, а не допомагає реформуванню освіти. Хоча це поняття й не вживається в тексті, власне, автори критикують PISA за насаджування «культури аудиту».
Стандартизоване тестування має легітимність як «об’єктивний» інструмент оцінювання освітніх систем та освітньої політики, що має на меті підвищити їхню ефективність. Престижність високого місця в рейтингу та постійна конкуренція між країнами, в свою чергу, підштовхують до проведення реформ освіти для покращення позицій, однак трирічні терміни між хвилями тестування не дозволяють упровадити справді глибокі зміни. Як наслідок, PISA інтенсифікує конкуренцію, стимулює поверхові зміни у системах освіти та підгонку освітніх планів під тестування на шкоду глибшим змінам у освіті.
Мало того, суттєвим недоліком PISA є фокус лише на навичках, необхідних у працевлаштуванні: однією з причин того, що оцінювання проводиться саме серед 15-річних учнів, є те, що невдовзі після досягнення цього віку вони вступають до університетів або влаштовуються на роботу. Така специфіка є невипадковою – фокусом ОЕСР є, в першу чергу, економічний розвиток, а не розвиток культури чи політичної участі. Генеральний секретар ОЕСР заявив:
«За високого рівня безробіття серед молоді, зростання нерівності та нагальної потреби пришвидшити економічне зростання в багатьох країнах, для молоді як ніколи важливо здобувати навички, що допоможуть їм досягти успіху. У глобальній економіці конкурентоздатність та перспективи працевлаштування залежать від того, що людина вміє робити зі своїми знаннями».
Однак, як наслідок, освітні системи в країнах оцінюються лише за частиною результатів, що справді мали би бути важливими. Мало того, хоча економічна нерівність визначається як причина підвищеної уваги до здібностей учнів, результати тестування значною мірою залежать від цієї нерівності – і між країнами, що було показано вище, і в межах самих країн. Економічна нерівність між країнами впливає на можливості інвестувати в освіту. З іншого боку, навіть у межах країн збільшення інвестування в освіту не призведе до зменшення нерівності між індивідами, допоки можливості отримати якіснішу освіту залежатимуть від соціального класу. Наголос на важливості розвитку певних здібностей без уваги до причин нерівності, що лежать поза межами змісту навчальних планів, лише збільшуватиме конкуренцію між країнами та індивідами.
Це досить парадоксально, але незважаючи на декларовану боротьбу з нерівністю, у деяких ситуаціях остання може покращувати результати регіону чи країни в тестуванні через «відсіювання» найбідніших учнів. Для прикладу, учні з Шанхаю отримали найвищі результати в оцінюванні 2012-го року за всіма трьома категоріями: математика, читання та природничі науки. Порівняння одного міста з цілими країнами викликає питання, але це ще не все. У генеральній сукупності 15-річних учнів із 24-мільйонного Шанхаю було менше, ніж учнів відповідного віку з Португалії чи Греції, що мають меншу кількість населення.
Проблема полягає в тому, що значну частину населення Шанхаю складають мігранти з інших провінцій, їхні діти отримують безкоштовну освіту тільки до 9 класу включно та змушені переїжджати приблизно перед досягненням 15-річчя, тож у вибірку PISA потрапили діти заможніших місцевих сімей або діти мігрантів, котрі можуть дозволити собі платну освіту. Схожі процеси мають місце в усіх країнах, де відсутня обов’язкова середня освіта: частина бідніших учнів «відсіюватимуться» зі шкіл через соціально-економічні проблеми. Таким чином, соціальна ексклюзія може штучно завищувати результати регіонів.
Більше ніж освітня олімпіада
Попри всі зазначені вище недоліки, PISA не є винятково елементом неоліберальної культури аудиту. Насамперед PISA дозволяє виявити критичні проблеми в освіті. Наприклад, найпростіші завдання з математики передбачають лише знаходження потрібної інформації на графіку або ж елементарні арифметичні операції. Якщо частина учнів не справляється з ними, це вказує на необхідність реформування викладання для залучення цих учнів.
Окрім того, PISA є комплексним дослідженням, що передбачає не лише саму процедуру оцінювання, але і проведення опитувань серед учнів, батьків та вчителів і аналіз освітньої політики в країні. Наявність великої кількості відкритих даних дозволяє проводити детальний багаторівневий аналіз впливу різних факторів на успішність учнів. Інакше кажучи, якщо причина неуспішності учнів криється у низькому достатку сім’ї, браку кваліфікованих вчителів у школі або належності до етнічної меншини – PISA дозволяє це контролювати.
Однак цією інформацією зможуть скористатися лише експерти. Крім того, найбільше уваги привертають загальні результати тестування, що є широкодоступними. Як наслідок, PISA легко перетворюється на своєрідну «освітню олімпіаду» для країн.
Важко передбачити, яким чином буде використано результати оцінювання, що має проводитися в Україні в 2018 році. Однак слід докласти значних зусиль, щоб уникнути простих інтерпретацій результату оцінювання та використати отримані дані для проведення справді корисних реформ, які б дозволити зробити українську систему освіти більш інклюзивною, а знання, що вона дає – більш практичними.