При оценката на тестовете Националният тестов комитет е възприел модела на Европейската федерация на психологическите асоциации (EFPA Review Model for the Description and Evaluationof Psychological and Educational Tests, Version 4.2.6, 13-07-2013) Подробно описание на критериите може да бъде намерено на следния адрес:
http://www.efpa.eu/professional-development
Всеки тест се оценява чрез общ рейтинг и отделни рейтинги по всяка от областите: ”Норми”, „Надеждност”, „Валидност” и „Документация”. Ако тестът е компютъризиран и има компютърна програма, която автоматично генерира доклади, се оценява и качеството на компютърно-генерираните доклади.
I. Скала за оценяване на тестове
Всеки тест се оценява от двама независими оценители по четирибална скала, с помощта на звезди:
– Не подлежи на оценка (отсъстват достатъчно психометрични данни).
* Неадекватен. Инструмент с тази оценка не може да бъде включен в Националния регистър на психологическите тестове и не може да бъде използван за приложни цели.
** Адекватен. Инструменти с тази оценка покриват минималните изисквания за качество на психологическите тестове и могат да бъдат използвани за практическите цели, посочени в документацията на теста.
*** Добър. Инструменти с тази оценка покриват напълно всички изисквания към качеството на психологическите тестове. Възможно е една от областите да е получила задоволителна оценка. Могат да се използват за практическите цели, посочените в тяхната документация.
**** Отличен. Инструменти с тази оценка притежават отлични психометрични качества. Те могат да се използват за практическите цели, посочените в тяхната документация, и да служат като „златен стандарт” при разработването на нови тестове в съответната област.
II. Общ рейтинг
При условие, че оценките по отделните области са минимум „адекватен”, общият рейтинг се формира като средна аритметична оценка от рейтингите по областите. Ако дори и една от областите е оценена с по-ниска оценка, общият рейтинг е равен на тази най-ниска оценка.
III. Оценяване на тестовите норми
Нормите се оценяват по два основни критерия – брой на лицата в нормативната извадка и представителност на нормите спрямо целевата популация на теста.
IV. Оценяване на надеждността
Тестовите резултати са надеждни, ако са повлияни в минимална степен от случайни грешки на измерването. В зависимост от характера на теста и различните типове случайни грешки се различават четири основни вида надеждност: (а) тест-ретест надеждност или стабилност на резултатите във времето; (б) надеждност на измерването с различни паралелни форми; (в) съгласуваност между експертните оценки; (г) вътрешна консистентност на скалите.
Тестове, които нямат паралелни форми или се оценяват обективно (по алгоритъм, които не изисква експертна оценка), не се оценяват за надеждност на измерването с различни паралелни форми и съгласуваност между експертните оценки.
Тестовете, които по дефиниция оценяват преходни състояния, не се оценяват за тест-ретест надеждност.
Оценката на надеждността се прави въз основа на установените коефициенти и размера на извадката, на базата на която са изчислени тези коефициенти (вж. също така допълнителните разяснения, публикувани от НТК)
http://ntcbg.org/faq.php.
V. Оценяване на валидността
В по-широк смисъл валидността на тестовете се отнася до интерпретацията на тестовите резултати и изводите, които се правят на тяхна основа. Един тест е валиден, когато има емпирични доказателства в подкрепа на това, че той действително измерва онова, за което е предназначен.
Валидността на тестовете се оценява на базата на посочените приложения в тяхната техническа документация.
Допускат се различни оценки на валидността: съдържателна, критериална, конструктна, предиктивна, конкурентна, нарастваща и др., но двата основни типа, на базата на които се установява валидността на теста, са конструктната и критериалната валидност.
VI. Документация
В придружаващата теста документация трябва да бъдат описани:
• Теоретичният модел на теста и конструктите
• Начинът, по който са изведени моделът и конструктите
• Процедурата, по която е разработен тестът и отделните скали
• Описанието на скалите на теста
• Начинът на администрация на теста
• Системата за точкуване
• Типичната интерпретацията на резултатите
• Областите на приложение на теста
• Целевата популация
• Нормативната извадка
• Доказателствата за надеждността и валидността на теста
Документацията се оценява на базата на следните критерии:
• Пълнота
• Аргументираност и задълбоченост
• Актуалност на информацията
• Полезност на информацията за потребителите на теста
За адаптираните версии е нужно да се удостовери, че е решен проблемът с авторските права.
VII. Доклади
Ако тестът се предлага с автоматично генерирани доклади, тяхното качество също се оценява. Областите на оценяване на доклада са:
• Начин на представяне на резултатите в доклада
• Сложност
• Чувствителност на доклада към контекста
• Модифицируемост на доклада
• Прозрачност на интерпретациите
• Стил и тон
|