А. С. Лучинин Психодиагностика. Конспект лекций (6)

2. Недостатки метода тестов Метод тестов обладает некоторыми весьма серьезными недостатками, не позволяющими свести всю диагностику способностей и знаний исключительно к тестированию, такими как: 1) опасность «слепых» (автоматических) ошибок. Слепая вера низкоквалифицированных исполнителей в то, что тест должен сработать правильно автоматически, порождает иногда тяжелые ошибки и казусы: испытуемый не понял инструкции и стал отвечать совсем не так, как требует стандартная инструкция, испытуемый по каким-то причинам применил искажающую тактику, возник сдвиг в приложении трафарета-ключа к бланку ответов (при ручном, некомпьютерном подсчете баллов) и т. п. Пользователь не должен подходить к тесту с магической установкой, будто этот волшебный черный ящик должен всегда работать исправно без всякого контроля со стороны человека; 2) опасность профанации. Не секрет, что внешняя легкость проведения тестов прельщает людей, не пригодных ни к какому квалифицированному труду. Оснастившись тестами, им самим непонятного качества, но с громкими рекламными названиями, профаны от тестирования агрессивно предлагают свои услуги всем и вся. Все проблемы предполагается решать с помощью 2–3 тестов – на все случаи жизни. К количественному тестовому баллу приклеивается новый ярлык – заключение, создающее видимость соответствия диагностической задаче. Примером такой профанации может служить повальное использование клинического теста MMPI для отбора кадров в нашей стране. Недобросовестная профанация и элементарное невежество идут в области тестирования рука об руку; 3) потеря индивидуального подхода, стрессогенность. Тест – самый общий ранжир, под который подгоняют всех людей. Возможность упустить яркую индивидуальность нестандартного человека, к сожалению, довольно вероятна. Это чувствуют сами испытуемые, и это их нервирует, особенно в ситуации аттестационного тестирования. У людей с пониженной стрессоустойчивостью возникает даже определенное нарушение саморегуляции – они начинают волноваться и ошибаться в элементарных для себя вопросах. Вовремя заметить такую реакцию на тест – задача, которая под силу квалифицированному и добросовестному исполнителю; 4) потеря индивидуального подхода, репродуктивность. Тесты знаний апеллируют прежде всего к стандартному применению готовых знаний; 5) отсутствие возможности раскрыть индивидуальность при наличии стандартных, заданных ответов – ничем не восполнимый недостаток метода тестов. С точки зрения выявления творческого потенциала большинство тестов ограничено именно тем, что они не апеллируют к творческой, конструктивной деятельности. Во всяком случае отдельные стандартизированные творческие тесты имеют дело с весьма абстрактным материалом, а тесты достижений (знаний), адаптированные на жизненно важном материале (профессионально релевантном), как правило, выполнены в форме стандартного набора заданий с заданным ответом; 6) отсутствие доверительной обстановки. Бездушный и формализованный характер самой процедуры тестирования оборачивается тем, что испытуемый лишается ощущения того, что психолог заинтересован в нем лично, в том, чтобы помочь в его проблемах и трудностях. Диалогические методы (беседа, игра) в этом плане имеют несомненные преимущества: непосредственно общаясь с испытуемым, квалифицированный психолог может установить доверительный контакт, проявить персональное участие, создать атмосферу, снимающую напряжение и защиту; 7) потеря индивидуального подхода, неадекватная сложность. Иногда неквалифицированные тестологи обрушивают на ребенка тесты, слишком сложные для него по возрасту. У него еще не сложились необходимые понятия и понятийные навыки, чтобы адекватно осмыслить как общую инструкцию к тесту, так и смысл отдельных вопросов. Таким образом, тесты нельзя делать единственным исчерпывающим методом любой диагностики (и образовательно-профессиональной, и личностной) – они требуют параллельного использования свободных письменных работ (в личностной диагностике место сочинений занимают проективные тесты со свободным ответом), а также устного собеседования (интервью). Таким образом, место тестов – дополнять указанные выше традиционные методы. В этом качестве тесты незаменимы, так как не имеют многих недостатков, свойственных традиционным методам. Спокойное осознание достоинств и недостатков метода тестирования освобождает всех (исполнителей, заказчиков, испытуемых) как от чрезмерных упований на метод тестов, так и от пренебрежения ним. ЛЕКЦИЯ № 9. Надежность психодиагностических методик 1. Определение. Факторы, влияющие на надежность методики. Стандартная ошибка измерения. Надежность измерения. Понятие о методе измерения ретестовой надежности Надежность – одно из трех главных психометрических свойств любой измерительной психодиагностической методики (теста). Надежность – это помехоустойчивость теста, независимость его результата от действия всевозможных случайных факторов. К числу таких факторов относятся: 1) разнообразие внешних материальных условий тестирования, меняющихся от одного испытуемого к другому (времени суток, освещенности, температуры в помещении, наличия посторонних звуков, отвлекающих внимание и т. п.); 2) динамичные внутренние факторы, по-разному действующие на разных испытуемых в ходе тестирования (время так называемой врабатываемости – выхода на стабильные показатели темпа и точности действий после начала тестирования, скорость наступления утомления и т. п.); 3) информационно-социальные обстоятельства (различная динамика в установлении контакта с психологом или лаборантом, проводящим тестирование; возможное наличие других людей в помещении; наличие предыдущего опыта знакомства с данным тестом; наличие какого-то знания и отношения к тестам вообще и т. п.). Разнообразие и изменчивость этих факторов так велики, что они обусловливают появление у каждого испытуемого непрогнозируемого по размерам и направлению отклонения измеренного тестового балла от истинного тестового балла (который можно было бы, в принципе, получать в идеальных условиях). Средняя относительная величина этого отклонения определяется как стандартная ошибка измерения (Se). Величина ошибки измерения указывает на уровень неточности или ненадежности тестовой шкалы. Ошибка измерения (Se) и надежность измерения (R) согласно общепринятой психометрической теории связаны следующей формулой: R = 1 – Se2 / Sx2, (1), где Sx– дисперсия тестовых показателей Х. Формула (1) является чисто теоретической, и на ее основе нельзя подсчитать надежность теста, так как величина Se оказывается также неизвестной величиной. Поэтому на практике применяют корреляционные методы. Самый известный их них – метод перетестирования («тест-ретест») или метод измерения ретестовой надежности. На одной и той же выборке испытуемых (не менее 30 человек, участвующих в пилотажном психометрическом экспериментальном исследовании) проводят первое тестирование Х, а затем повторное тестирование Y. Интервал, как правило, 2 недели, что гарантирует забывание вопросов теста. Затем для двух рядов значений Х и Y подсчитывается, например, линейный коэффициент корреляции, или ранговый коэффициент корреляции: где Sx, Sy – стандартные отклонения X и Y, t; Cov (X, Y) – ковариация двух переменных X и Y. Для сути теории надежности методов важна возможность определить ошибку измерения, после того как подсчитана корреляция «тест – ретест» по формуле (3), полученной путем простого преобразования формулы (1): Se = Sx × V1 – R. (3) Таким образом, если стандартное отклонение в тесте составило 10 очков (среднее отклонение, которое в среднем допускают испытуемые от среднего балла для выборки), а корреляция «тест – ретест» оказалась равной лишь 0,5, то ошибка измерения оказывается очень большой: Se = 10 × V1-0,5 ~ 7.1. Оказывается, что ошибка измерения перекрывает большую часть разброса тестовых показателей, так как истинный балл по тесту может отклоняться от измеренного балла на целых 7 очков! И, если испытуемый набрал на 6 очков больше, чем средний испытуемый, мы не можем с достаточной уверенностью (статистической достоверностью) говорить о том, что он значимо превзошел среднего испытуемого, так как это отклонение оказывается в пределах стандартной ошибки измерения. Таким образом, низкая корреляция результатов теста между первым и повторным тестированием говорит о том, что случайные факторы существенно искажают результаты теста. Это значит, что тест не обладает необходимой помехоустойчивостью и его нельзя использовать как измерительный инструмент. Показатель надежности R, который принято считать достаточно высоким, равен или превышает 0,95. Хотя в личностных тестах часто пользуются значительно менее надежными тестами с показателями 0,8–0,9. Метод измерения ретестовой надежности пригоден только для психических свойств, стабильных во времени. Надежность тестов на психические состояния и динамические установки личности нельзя проверить таким образом. В этом случае применяют различные методы расщепления теста на отдельные пункты. Надежность – характеристика методики, отражающая точность психодиагностических измерений, а также устойчивость результатов теста к действию посторонних случайных факторов. Надежность и валидность являются важнейшими характеристиками методики как инструмента психодиагностического исследования. Любое изменение ситуации исследования усиливает влияние одних и ослабляет воздействие других факторов на результат теста. Общий разброс (дисперсию) результатов тестового обследования можно, таким образом, представить как результат влияния двух групп причин: изменчивости, присущей самому измеряемому свойству, и факторов нестабильности измерительной процедуры. В самом широком смысле надежность теста – это характеристика того, в какой степени выявленные у испытуемых различия по тестовым результатам являются отражением действительных различий в измеряемых свойствах и в какой мере они могут быть приписаны случайным ошибкам. В более узком, методическом смысле под надежностью понимают степень согласованности результатов теста, получаемых при первичном и вторичном его применении у одних и тех же испытуемых в различные моменты времени с использованием разных (но сопоставимых по характеру) наборов тестовых заданий или при других изменениях условий обследования. Разновидностей характеристик надежности теста так же много, как условий, влияющих на его результаты. Наиболее широкое практическое применение находит несколько типов характеристик надежности: надежность ретестовая, надежность параллельных форм, надежность частей теста. 2. Стандартизация процедуры обследования. Взаимосвязь надежности и валидности Важнейшим средством повышения надежности психодиагностических методик является стандартизация процедуры обследования. При строгой регламентации процедуры обследования (обстановки и условий работы испытуемого, характера инструкции, временных ограничений, способов и особенностей контакта с испытуемым, порядка предъявления элементов методики, получения первичных оценок и т. д.) существенно уменьшается дисперсия ошибки, повышается надежность теста. Если исходить из широкого понимания надежности как отражения в результате исследования удельного веса измеряемого параметра и совокупности посторонних факторов, то можно усмотреть определенную связь надежности с другой важнейшей комплексной характеристикой психодиагностической методики – валидностью. Надежность – устойчивость процедуры относительно объектов исследования. Валидность – однозначность, устойчивость относительно измеряемых свойств объекта, т. е. предмета измерения. Устойчивость теста относительно объектов (испытуемых) является необходимым, но недостаточным условием его устойчивости относительно измеряемых свойств объектов. Следовательно, надежность является необходимым, но недостаточным условием валидности. Это означает, что валидность теста не может качественно и количественно превышать надежность. Данное соотношение нельзя, однако, трактовать как указание на прямую пропорциональную связь характеристик валидности и надежности. Повышение надежности отнюдь не сопровождается обязательным повышением валидности. Например, у теста-опросника из одного вопроса внутренняя согласованность предельна, однако валидность у него минимальна.