Трудность заданий теста
Трудность заданий теста
характеристика задачи (пункта) теста отражающая статистический уровень ее решаемости в данной выборке стандартизации.
Источник: Основные понятия психодиагностики и экспериментальной психологии. Cловарь 2006
ТРУДНОСТЬ ЗАДАНИЙ ТЕСТА
характеристика задачи (пункта) теста, отражающая статистический уровень ее решаемости в данной выборке стандартизации. Вместе с анализом дискриминативности пунктов, внутренней согласованности, характера распределения тестовых
оценок. Т. з. т. является одной из базовых процедур разработки и проверки диагностических качеств тестовой методики.
В психологии разделяются субъективно-психологическая и статистическая (объективная) трудности. Субъективная трудность задачи связана с индивидуально-психологическим барьером, величина которого определяется как обстоятельствами (лимитом времени,
доступностью инструкции и т. д.), так и уровнем формирования необходимых для решений знаний, умений и навыков, психическим состоянием испытуемого и рядом других факторов. Воздействие комплекса этих факторов на результат выполнения теста снижает
надежность и достоверность данных, поэтому принимаются меры для выравнивания их воздействия с помощью направленного комплектования выборки и стандартной процедуры проведения.
Показателем Т. з. т. как статистической трудности является доля лиц выборки, решивших и не решивших задание. Напр., если только 20 % испытуемых решили задачу, ее можно оценить как трудную для данной выборки, если 80 % — как легкую. Т. з. т. является
относительной характеристикой, поскольку зависит от особенностей выборки (возрастные, профессиональные, социально-культурные различия).
Т. з. т. является в первую очередь характеристикой интеллектуальных задач, для которых правомерно применение критерия «правильного» и «неправильного» решений. Для вопросов или задач, входящих в состав личностных методик, статистическое понятие
Т. з. т. неприемлемо.
Подбор заданий по показателям Т. з. т. важен для успешного применения психодиагностической методики. Так, при выборе слишком трудных заданий валидность и надежность теста резко снизятся (ухудшение статистических характеристик оценивания из-за
небольшого числа правильных решений, вероятность случайной оценки, влияние неудач на работу испытуемых). Слишком простые задания приведут к однообразию результатов (большинство справляется со всем набором пунктов теста), их незначительной
вариативности, затрудняющей оценивание, могут вызвать негативное отношение к тесту (см. ВАЛИДНОСТЬ ОЧЕВИДНАЯ).
Основная задача анализа Т. з. т. сводится к выбору оптимальных по сложности пунктов теста, а значит, и упорядочиванию отдельных заданий в нем. Обычно если задачу решает большинство испытуемых, ее (как легкую) помещают в начале теста, если задачу
решает незначительный процент испытуемых, то ее (как трудную) помещают в конце теста. Одну-две из самых легких задач ставят перед основными задачами теста и используют в качестве примера. Расположение заданий по возрастанию ступеней трудности,
выраженных долей или процентом лиц данной выборки, решивших соответствующую задачу, позволяет примерно определить порог трудности для индивидуального испытуемого, характеризующий его место в группе. Такой принцип был заложен в основу измерений
первых тестов интеллекта (напр., шкалы Бине—Симона), где показателем «умственного возраста» являлось выполнение задания средней трудности для данной возрастной группы. Принцип расположения заданий по нарастающей трудности сохраняется и для
большинства современных психометрических тестов, направленных на исследование общих способностей, профессиональной успешности, тестов достижений и ряда других.
В тестах спорости, в отличие от тестов результативности (см. ТЕСТ), Т. з. т. обычно невысока и практически неизменна. Число задач в таких методиках заведомо берется таким, чтобы никто из испытуемых в заданное время не успел решить все.
Основным показателем Т. з. т. является индекс трудности
где UT — индекс трудности в процентах, Nn — число испытуемых, правильно решивших задачу; N — общее число испытуемых.
При учете случайного успеха путем угадывания для задачи с предписанным ответом
где NH — число испытуемых, не решивших задачу; т — число вариантов ответов.
В тех случаях, когда выборка и число проверяемых пунктов велики, имеется возможность определить индекс трудности с помощью контрастных (крайних) подгрупп. В каждую из подгрупп входят по 27 % лиц от численности выборки, имеющих лучшие и худшие
результаты по тесту в целом. Индекс Т. з. т. вычисляется как среднее арифметическое индексов трудности для групп с максимальным и минимальным результатом
Если предположить, что частоты распределения оценок испытуемых, выполнивших задание, подчиняются нормальному закону, то в пределах М= σ находятся около 68 % всех испытуемых, за этими пределами — по 16 % испытуемых. Эти величины принимаются
за пороговые при отборе задач из первичной формы теста. Таким образом, после расчета индексов трудности в первую очередь исключаются задачи, которые решили более 84 % (М — σ) и с которыми не справились 84 % испытуемых (М + σ) (рис.
55).
Более дифференцированным способом анализа Т. з. т. является использование в качестве принципа разделения испытуемых на группы внешнего критерия валидности, напр. продуктивности в реальной деятельности.
Отбор заданий по показателям трудности может производится параллельно расчетам коэффициентов корреляции (см. КОЭФФИЦИЕНТЫ КОРРЕЛЯЦИИ ДИХОТОМИЧЕСКИЕ).
оценок. Т. з. т. является одной из базовых процедур разработки и проверки диагностических качеств тестовой методики.
В психологии разделяются субъективно-психологическая и статистическая (объективная) трудности. Субъективная трудность задачи связана с индивидуально-психологическим барьером, величина которого определяется как обстоятельствами (лимитом времени,
доступностью инструкции и т. д.), так и уровнем формирования необходимых для решений знаний, умений и навыков, психическим состоянием испытуемого и рядом других факторов. Воздействие комплекса этих факторов на результат выполнения теста снижает
надежность и достоверность данных, поэтому принимаются меры для выравнивания их воздействия с помощью направленного комплектования выборки и стандартной процедуры проведения.
Показателем Т. з. т. как статистической трудности является доля лиц выборки, решивших и не решивших задание. Напр., если только 20 % испытуемых решили задачу, ее можно оценить как трудную для данной выборки, если 80 % — как легкую. Т. з. т. является
относительной характеристикой, поскольку зависит от особенностей выборки (возрастные, профессиональные, социально-культурные различия).
Т. з. т. является в первую очередь характеристикой интеллектуальных задач, для которых правомерно применение критерия «правильного» и «неправильного» решений. Для вопросов или задач, входящих в состав личностных методик, статистическое понятие
Т. з. т. неприемлемо.
Подбор заданий по показателям Т. з. т. важен для успешного применения психодиагностической методики. Так, при выборе слишком трудных заданий валидность и надежность теста резко снизятся (ухудшение статистических характеристик оценивания из-за
небольшого числа правильных решений, вероятность случайной оценки, влияние неудач на работу испытуемых). Слишком простые задания приведут к однообразию результатов (большинство справляется со всем набором пунктов теста), их незначительной
вариативности, затрудняющей оценивание, могут вызвать негативное отношение к тесту (см. ВАЛИДНОСТЬ ОЧЕВИДНАЯ).
Основная задача анализа Т. з. т. сводится к выбору оптимальных по сложности пунктов теста, а значит, и упорядочиванию отдельных заданий в нем. Обычно если задачу решает большинство испытуемых, ее (как легкую) помещают в начале теста, если задачу
решает незначительный процент испытуемых, то ее (как трудную) помещают в конце теста. Одну-две из самых легких задач ставят перед основными задачами теста и используют в качестве примера. Расположение заданий по возрастанию ступеней трудности,
выраженных долей или процентом лиц данной выборки, решивших соответствующую задачу, позволяет примерно определить порог трудности для индивидуального испытуемого, характеризующий его место в группе. Такой принцип был заложен в основу измерений
первых тестов интеллекта (напр., шкалы Бине—Симона), где показателем «умственного возраста» являлось выполнение задания средней трудности для данной возрастной группы. Принцип расположения заданий по нарастающей трудности сохраняется и для
большинства современных психометрических тестов, направленных на исследование общих способностей, профессиональной успешности, тестов достижений и ряда других.
В тестах спорости, в отличие от тестов результативности (см. ТЕСТ), Т. з. т. обычно невысока и практически неизменна. Число задач в таких методиках заведомо берется таким, чтобы никто из испытуемых в заданное время не успел решить все.
Основным показателем Т. з. т. является индекс трудности
где UT — индекс трудности в процентах, Nn — число испытуемых, правильно решивших задачу; N — общее число испытуемых.
При учете случайного успеха путем угадывания для задачи с предписанным ответом
где NH — число испытуемых, не решивших задачу; т — число вариантов ответов.
В тех случаях, когда выборка и число проверяемых пунктов велики, имеется возможность определить индекс трудности с помощью контрастных (крайних) подгрупп. В каждую из подгрупп входят по 27 % лиц от численности выборки, имеющих лучшие и худшие
результаты по тесту в целом. Индекс Т. з. т. вычисляется как среднее арифметическое индексов трудности для групп с максимальным и минимальным результатом
Если предположить, что частоты распределения оценок испытуемых, выполнивших задание, подчиняются нормальному закону, то в пределах М= σ находятся около 68 % всех испытуемых, за этими пределами — по 16 % испытуемых. Эти величины принимаются
за пороговые при отборе задач из первичной формы теста. Таким образом, после расчета индексов трудности в первую очередь исключаются задачи, которые решили более 84 % (М — σ) и с которыми не справились 84 % испытуемых (М + σ) (рис.
55).
Более дифференцированным способом анализа Т. з. т. является использование в качестве принципа разделения испытуемых на группы внешнего критерия валидности, напр. продуктивности в реальной деятельности.
Отбор заданий по показателям трудности может производится параллельно расчетам коэффициентов корреляции (см. КОЭФФИЦИЕНТЫ КОРРЕЛЯЦИИ ДИХОТОМИЧЕСКИЕ).
Источник: Словарь-справочник по психологической диагностике 1989 г.