Представьте себе следующую ситуацию. Десять человек добровольно вызвались участвовать в эксперименте, и мы разделили их произвольно на две группы: группу А и группу Б. В ходе эксперимента измеряется время, за которое испытуемые складывают кубики в коробку. Потом для каждой группы определяется среднее время. Среднее время группы А составляет 37,5 секунды, а группы Б — 39,8 секунды. В подобных ситуациях очень вероятно, что группы покажут разные результаты и их среднее время будет различаться. Однако поскольку члены групп отбирались произвольно и все они выполняли одну и ту же задачу, то можно предположить, что различие в результатах носит случайный характер.
Теперь представьте другую ситуацию. Исследователя интересует воздействие шума на выполнение работы, и он решает поставить эксперимент, состоящий из двух этапов. На первом этапе участники должны выполнить задание в полной тишине. На втором этапе они должны выполнить то же задание, но при постоянном уровне шума в 55 децибел. Когда все участники закончили задание, исследователь вычислил среднее время его выполнения. В первом случае среднее время составило 127 секунд, а во втором — 143 секунды. Чем определяется такое различие: действием шума или случайными факторами? В таких случаях психологи вычисляют степень вероятности, с какой разные группы будут случайно показывать разные результаты. Если вероятность случайного несовпадения результатов составляет менее пяти процентов, то психологи заключают, что различие возникло в результате изменений условий эксперимента, а не вследствие действия случайных факторов. Неслучайное различие между результатами эксперимента психологи называют «значимым различием».
См. также статьи «Количественный и качественным методы анализа», «Корреляция», «Надежность и валидность», «Опросы», «Экспериментальный метод», «Этика».