Як готують і перевіряють тести на ЗНО

Українські журналісти спробували заглянути за лаштунки ЗНО – поцікавилися, як готують тести, хто їх перевіряє, чи можна купити шпаргалку і що не можна робити під час складання ЗНО.На запитання журналістки Оксани Онищенко відповіли директор Українського центру оцінювання якості освіти Вадим Карандій та його заступник Валерій Бойко та начальник відділу суспільно-гуманітарних навчальних предметів Андрій Панченков.

Чи можна купити тести ЗНО в інтернеті?

Чиновники запевняють, що не можна. Перед одним із попередніх тестувань з’явилися були ділки, які продавали нібито офіційні майбутні тести ЗНО. Виявилося, підробка: титульну сторінку зробили у фотошопі, обкладинку взяли з пробного тестування, а першу сторінку із завданнями взяли з тернопільського посібника підготовки до ЗНО.

Не варто вірити й спеціально зробленим сайтам, на яких продають готові відповіді: є випадки, коли розміщують фото нібито тих, хто склав зовнішнє незалежне оцінювання з куплених матеріалів. Виявилося, фейк. А фото взяті з американських сайтів, кажуть представники УЦОЯО.

Один продавець “відповідей ЗНО” виставляв поряд своє фото разом із фотографією паспорта: дивіться, мовляв, я абсолютно реальний, я гарантую, що є результат.

Чи можливий витік інформації про зміст тестів?

Посадовці УЦОЯО кажуть, що неможливий. Запитання розробляють багато експертів, із цих розроблених запитань формується банк тестових завдань. Потім укладачі комплектують кілька варіантів тестів. Ця інформація для службового користування, тому за розголошення інформації їх чекає кримінальна відповідальність.

Як працює система захисту інформації перед ЗНО?

Укладачі тестів ставлять свій підпис під кожним із варіантів тесту, у відповідних картках фіксується, що ці варіанти зробили вони. Тобто якщо виникає проблема витікання інформації, перший, до кого прийдуть правоохоронні органи, щоб розібратися в зазначеній ситуації, будуть саме ці особи. Вони підставлять себе, якщо допустять витікання даних.

Усі робочі комп’ютери в УЦОЯО, на яких є конфіденційна інформація, перебувають під комплексною системою захисту. Людина, котра працює з текстами завдань, не може самостійно з ними нічого зробити: роздрукувати, перенести на флешку, віддати на верстку. Потрібно, щоб втручалася інша особа — працівник відділу захисту інформації. Він контролює ці процеси. Він теж не зацікавлений у витіканні інформації, бо теж за це відповідатиме. Так будується система захисту.

Який із кількох розроблених варіантів тестів буде використаний на ЗНО, не знають навіть ті, хто їх готує. Це вирішує директор УЦОЯО.

“Ми закриваємо інформацію навіть від розробників. Довіра до розробників є, але не хочеться ставити їх у ситуацію, коли вони можуть потрапити під тиск, бо їм щось відомо. Ми робимо кілька “чорних пакетів”, у кожному з яких — варіант тесту. І директор УЦОЯО, не відкриваючи їх, обирає один. Далі обраний тест друкується на великому принтері з участю мінімальної кількості людей”, – зазначає Вадим Карандій.

А як із підробкою результатів?

У попередні роки було навіть відкрито кримінальне провадження проти колишніх працівників УЦОЯО. Але керівництво центру переконує, що систему захисту інформації УЦОЯО удосконалено, її привели у відповідність до сучасних технологій захисту інформації. Є захищені канали зв’язку, на яких стоять шифратор і дешифратор. Кожен, хто має доступ до бази даних, отримав свій електронний ключ (електронний цифровий підпис) і заходить у базу тільки з його допомогою. Цей ключ не дозволяє виконувати жодних функцій зі зміни даних. А все, що робиться у базі даних, фіксується: коли, хто в якій частині бази був, що дивився. На сьогодні в адміністратора бази даних є окремий монітор, куди виводиться інформація про всі аномалії: хтось хоче втрутитися в недозволену йому зону, відбувається атака чи ще щось.

Перевіряють два екзаменатори

Таку систему ввели 2017 року. Спочатку виконаний тест перевіряє один експерт і заносить результати своєї перевірки в комп’ютерну систему. Потім перевіряє другий (він не бачить, як перевіряв його попередник) і так само заносить результати в систему. Якщо в системі інформація від обох експертів збігається — вважається, що роботу абітурієнта перевірено коректно. Якщо ж результати перевірки в чомусь не збігаються, остаточне рішення приймає старший екзаменатор, — він також перевіряє роботу й погоджується з думкою або першого екзаменатора, або другого.

“Насправді це стара схема, – каже Вадим Карандій. Але довгий час у нас не було другого екзаменатора, бо не було достатнього фінансування. А це робота конкретного фахівця, якому треба платити заробітну плату”.

Причини помилок у тестах

Їх прокоментував Валерій Бойко:

“Нам постійно доводиться шукати компроміс між утаємниченістю і якістю тесту. Щоб дотриматися конфіденційності, ми робимо тест досить обмеженими силами і не можемо взяти на вичитку додаткового експерта чи літредактора. В окремих випадках це призвело до певних технічних огріхів”.

Хто встановлює поріг “склав / не склав”?

“Ми запрошуємо приблизно 70 експертів-учителів, і вони аналізують завдання тесту, проектуючи їх на свого учня, що навчається на “4” за 12-бальною шкалою: з якими він міг би впоратися, а з якими — ні. Те, що він зробив би, — це і є поріг. Потім цей поріг затверджується фаховою експертною комісією. Чим вищий поріг, тим легший тест”, – каже Вадим Карандій.

Як варіанти тестування формують за складністю?

Тести, які будуть більшості під силу, не спрацюють, – переконують експерти. До формування варіантів використовують науковий підхід: у тестології є поняття, яке називають “надлишковість тесту“: тест має містити завдання, які дадуть можливість показати себе найсильнішим абітурієнтам. А найсильніших не може бути половина.

“Усі завдання тесту укладаються на основі програми ЗНО, але є складніші й легші завдання, є та “надлишковість”, із допомогою якої ми “розтягуємо” абітурієнтів по всій шкалі вимірювання результатів ЗНО. Бо хтось має вступати на філологію, а хтось— на інженера”, – каже Вадим Карандій.

Правильні відповіді заздалегідь не відомі: їх визначає комісія тоді ж, коли абітурієнти складають ЗНО

“Коли створюється тестове завдання, в ньому проектується правильна відповідь. Але це думка однієї людини, котра складала тест. На жаль, ми не можемо залучити до складання завдання багато фахівців, бо маємо тримати в таємниці зміст тесту. Тому ми йдемо іншим шляхом”, – зазначив директор УЦОЯО.

З кожного предмета, за яким складається тестування, створюють предметну фахову комісію. Тоді, коли йде тестування й абітурієнти виконують тест, члени цієї комісії беруть тестовий зошит і теж розв’язують усі завдання. При цьому ніхто їм готових правильних відповідей не дає. За результатами цієї роботи приймається ухвала про те, які відповіді вважати правильними.

За матеріалами інтерв’ю Оксани Онищенко у виданні Дзеркало тижня