Понятие и особенности стандартизированных тестов
В данной статье приводится краткая историческая справка о тестах, рассматриваются классификации тестов и методы стандартизации результатов психологических измерений. Обсуждается порядок интерпретации результатов по стандартизированному тесту.
1. Краткая историческая справка
Термин «тест» в психологии используется в двух значениях: общеупотребительном и научном. Тест в переводе с английского языка означает испытание, пробу, измерение. В этом состоит общеупотребительное значение термина.
В научном смысле тест – это «теоретически и эмпирически обоснованная система высказываний (заданий), позволяющая получать измерения соответствующих психологических свойств» [Бодалев А. А., Столин В. В., 1987, с. 33].
Теоретическая и эмпирическая обоснованность состоит в том, что тест должен удовлетворять требованиям валидности, надежности и репрезентативности.
Научное применение тестов началось в XX веке. Однако тестирование как научная практика, основанная на оценивании и измерении качеств людей, имеет более раннюю историю.
Уже в III тысячелетии до н. э. в Древнем Вавилоне выпускники школы писцов назначались на должность только после успешного прохождения трудных испытаний.
Они должны были проявить обширные для того времени знания и хорошее культурное развитие.
Требовалось владеть четырьмя арифметическими действиями, уметь делить имущество и измерять поля, разбираться в растениях, металлах, тканях и даже петь и играть музыкальных инструментах.
В Древнем Египте искусству жреца обучались только те, кто имел благополучную биографию и положительные рекомендации от учителей и родителей, умел слушать и вести беседу, отличался располагающей внешностью.
Кандидаты проходили испытания огнем, водой, одиночеством в подземелье. Нужно было преодолеть даже угрозу смертью за неуспешное обучение. Известно, что Пифагор справился с такими испытаниями.
Когда в Греции он организовал собственную школу, то ввел в ней подобную систему отбора. Принимая окончательное решение о зачислении, Пифагор предлагал поступающему сложную математическую задачу.
Те, кто правильно решал задачу, зачислялся сразу, а те, кто с задачей не справился, подвергались осмеянию и издевкам. Если новичок спокойно, с достоинством, юмором выходил из щекотливой ситуации, он мог приступить к обучению в школе.
Испытания и тесты применялись не только в передовых центрах цивилизации, но и у народностей с более скромным вкладом в историю. Так, у эскимосов, хантов, ульчей шаманом потенциально мог стать каждый взрослый мужчина. Но свою способность к шаманству необходимо было доказать.
Например, требовалось заслужить уважение сородичей, знать лекарственные растения, повадки животных, погодные приметы, иметь мужество брать в руки раскаленные до красна железные предметы и ходить в мороз босиком по снегу. У народности ханты неудачливого кандидата объявляли сумасшедшим за его необоснованные амбиции и чрезмерную жажду власти.
Это довольно суровое решение вызывает очень живые ассоциации применительно к современным политическим деятелям.
Первые тесты, которые проводились в лабораторных условиях, появились в конце XIV века. Большую популярность имела психометрическая лаборатория Ф. Гальтона, двоюродного брата Ч. Дарвина.
В ней за небольшую плату любой желающий от 5 до 80 лет мог измерить свои физические, физиологические и психологические показатели, такие как рост, вес, объем легких, становая сила и сила удара кулака, память на буквы, цветоразличение.
В 1984-85 годы лабораторию посетило 9337 человек, особенный успех она имела в дни Всемирной выставки в Лондоне.
Лабораторный характер измерений и их четкость были бесспорными достоинствами тестов Ф. Гальтона. Однако теоретическое обоснование измеряемых показателей, и планы по применению тестов не так убедительны.
Различия между людьми по тестам Ф. Гальтон объяснял врожденными особенностями.
Он предлагал создать физически и интеллектуально совершенных людей, своего рода супер-расу планомерно подбирая одаренных родителей.
Дж. Кэттелл расширил перечень измеряемых качеств, в его работах упоминается уже 50 методик.
Исследователь сформулировал требования, которым должны удовлетворять научные тесты: четкая инструкция и лабораторный характер применения.
Следует отметить, что в настоящее время диагностические методики с такими свойствами называются уже не тестами, а контрольными заданиями. Современный тест проходит стандартизацию по большему числу параметров.
Ф. Гальтон, Дж. Кэттелл и их единомышленники – А. Бине, разработавший тесты интеллектуальных способностей, Г. Мюстенберг, известный своими методиками изучения памяти – заложили основы научного тестирования. Хотя развитие тестов происходило довольно противоречиво и драматично. Причин этому было несколько.
– Проявились недостатки самих тестов. Первоначально они развивались как узкоспециализированная прикладная область, называемая психотехникой и тестологией. Единство практики и теории достигнуто было не сразу. Потребовалось определенное время и на усвоение тестологией опыта математики и статистики.
– Имели место ошибки проводящих тестирование. Тесты нередко вызывали излишний оптимизм у тех, кто их применял. Резко переоценивалась потенциал тестов в повышении качества образования и производства. Наблюдалось что-то вроде тестомании, хотя «познавательные возможности» тестов как экспресс-диагностического метода имеют не только достоинства, но и ограничения.
– Сказалась неподготовленность общественного мнения. Общественность восприняла появление тестов неоднозначно. Существовали как восторженные оценки, так и резкая критика. Взвешенное отношение к тестированию вырабатывалось десятилетиями. Потребовались продуманные законодательные акты, регламентирующие практику тестирования, кодексы психологов и т.д.
Существовали и продолжают существовать предубеждения людей в отношении тестов.
В России ситуация с тестами резко осложнилась в 1936 году в связи с постановлением «О педологических извращениях в системе наркомпросов».
На «бессмысленные», как отмечалось в постановлении, тесты был наложен запрет. И так дело обстояло вплоть до 60-х годов, когда после культа личности И.В. Сталина психология начала возрождаться.
Источник: https://superinf.ru/view_article.php?id=238
Blogs
Колледжи и университеты США требуют, чтобы все поступающие сдавали один или более стандартизированные теста. К этим тестам относятся SAT, ACT, GRE и GMAT.
Кроме этого, иностранные абитуриенты должны сдавать также тест TOEFL (тест по английскому языку, как второму языку). Самые стандартизированные тесты составлены чаще для оценки способностей студента, чем объёма знаний.
Вопросы по этим тестам оценивают вашу способность решить проблемы, а не знания фактов (как например, важные исторические даты или части тела).
Функция стандартизированных тестов состоит в том, чтобы позволить колледжам оценить всех абитуриентов на одинаковых условиях.
Сравнение результатов, полученных при прохождении курсов или экзаменов, не всегда является достаточным, т.к. разные школы имеют разные стандарты.
Приёмная комиссия при университете сравнивает ваши результаты по тестам с результатами другого студента, сдававшего тот же стандартизированный тест, и выявляет лучшие.
Иностранные студенты, желающие поступить на курсы бакалавра, должны сдать тесты TOEFL и SAT I. В некоторых школах требуется сдать SAT II. Во многих школах вместо теста SAT I предлагают ACT.
Аспиранты, желающие продолжить обучение по гуманитарным или точным наукам, должны сдать тест TOEFL и обычно GRE. Аспиранты, поступающие на бизнес курсы, должны сдать тесты TOEFL и, как правило, GMAT.
Узнайте, какие тесты требуется сдать в той школе, в которую вы собираетесь поступать.
TOEFL
Во многих странах тест TOEFL проводится с помощью компьютерной программы. В некоторых странах этот тест проводится на бумаге. Тест состоит, как правило, из вопросов с вариантами ответов. Компьютеризованный тест состоит из 4 разделов:
- Аудирование (listening) – проверяет ваше понимание американского английского. Вы прослушаете диалоги, разговоры и речи с помощью наушников. Затем вы отвечаете на вопросы с вариантами ответов по прослушанному материалу.
- Структуирование (structure) – проверяет вашу способность понимать письменный формальный английский. Вопросы с вариантами ответа.
- Чтение (reading) – проверяет ваше понимание письменных отрывков, похожих на те, что вам придётся читать в английской школе. Вопросы проверяют понимание прочитанного и словарный запас. Эти вопросы также включают варианты ответов.
- Написание (writing) требует составление эссе на английском языке. Данный вид теста проверяет вашу способность писать на английском, развивать, формулировать и отстаивать свои аргументы.
SAT
Тест SAT бывает двух видов. SAT I (Reasoning test) оценивает ваши математические и вербальные способности. Он состоит, в основном, из вопросов с вариантами ответов. Вопросы в разделе математики относятся к области арифметики и геометрии, а также логическому рассуждению, предположению и подсчёту. Вопросы в вербальном разделе делятся на несколько категорий:
- Аналогии (Analogies) – оценивает ваши знания значения слов и вашу способность увидеть связь слов, стоящих в паре.
- Завершение предложения (Sentence completions) — проверяет ваше знание значений слов и способность понимать, как различные элементы предложения логически соотносятся друг с другом.
- Критическое чтение (Critical reading) оценивает вашу способность читать отрывок и анализировать его.
Тест SAT II, наоборот, содержит 22 отдельных тестов – Тематических тестов (Subject Tests). Каждый тематический тест охватывает специфические области знаний, например мировую историю, испанский язык или химию.
Данные тесты определяют ваш уровень знаний в каждой области и способность применять эти знания при ответе на вопросы. Если школа, в которую вы поступаете, проводит тест SAT II, вы сможете выбрать тот тематический тест, который хотели бы сдавать.
Вы можете сдать до 3 тематических тестов за день. Однако нельзя сдавать SAT I и SAT II в один день.
ACT
ACT отличается от SAT I в том, что это больше тематический тест, нежели тест на проверку способностей и умения. Он состоит из вопросов с вариантами ответов, затрагивающих 4 области знания: 1) английский язык; 2) математику; 3) чтение; 4) научное мышление. Несмотря на то, что SAT I более популярен, некоторые студенты предпочитают сдавать ACT.
GRE
Тест GRE General Test(Основной Тест) похож на SAT в том, что проверяет ваши математические и вербальные способности. Он больше оценивает ваши способности к рассуждению, чем ваши знания к какой-либо специфичной области знания. Такие тесты проводятся для студентов, обладающих степенью бакалавра в данной области.
Они затрагивают 8 различных областей знания: 1) биохимию, клеточную и молекулярную биологию; 2) биологию; 3) химию; 4) компьютерную науку; 5) литературу на английском языке; 6) математику; 7) физику; 8) психологию.
GRE также предлагает тест Writing Assessment (Письменная Оценка) с более сложными вопросами, чем General Test. Он оценивает ваши способности к критическому и аналитическому мышлению. Такой тест обычно не обязателен, поэтому вы должны узнать, проводится ли данный тест в той школе, куда вы решили поступать.
General Test и Writing Assessment являются компьютеризованными, тогда как Тематические Тесты (Subject Tests) проводятся на бумаге.
GMAT
GMAT проверяет ваши математические, вербальные и аналитические письменные способности. Этот тест, опять же, скорее оценивает вашу способность применять знания, чем сам объём знаний. Это компьютеризованный тест, и он содержит вопросы с вариантами ответов и эссе.
Источник: https://bizblog.rusrek.com/blogs/post/vstupitelnye-ekzameny-toefl-sat-act-gre-gmat.html
Проблема стандартизации в психодиагностике и пути ее разрешения
Стандартизация — это единообразие процедуры проведения и оценки выполнения теста. Рассматривается она в двух планах:
- как выработка единых требований к процедуре эксперимента;
- как определение единого критерия оценки результатов диагностических испытаний.
Стандартизация процедуры эксперимента подразумевает унификацию инструкций, бланков обследования, способов регистрации результатов, условий проведения обследования.
К числу требований, которые необходимо соблюдать при проведении эксперимента, можно, например, отнести такие:
- инструкции следует сообщать испытуемым одинаковым образом, как правило, письменно; в случае устных указаний они даются в разных группах одними и теми же словами, понятными для всех, в одинаковой манере;
- ни одному испытуемому не следует давать никаких преимуществ перед другими;
- в процессе эксперимента не следует давать отдельным испытуемым дополнительные пояснения;
- эксперимент с разными группами следует проводить в одинаковое, по возможности, время дня, в сходных условиях;
- временные ограничения в выполнении заданий для всех испытуемых должны быть одинаковыми и т. д.
Другим наиболее важным этапом в стандартизации методики является выбор критерия, по которому следует проводить сравнение результатов диагностических испытаний, поскольку диагностические методики не имеют заранее определенных стандартов успешности или неудачи в их выполнении.
Так, например, ребенок шести лет, выполняя тест умственного развития, получил балл, равный 117. Хорошо это или плохо? Часто ли такой показатель встречается у детей данного возраста? Количественный результат как таковой ничего не означает.
Полученный дошкольником балл нельзя интерпретировать как показатель относительно высокого, среднего или низкого развития, так как это развитие выражено в мерах, присущих данной методике, и, таким образом, абсолютного значения полученные результаты иметь не могут.
Очевидно, нужно располагать точкой отсчета и какими-то дозированными мерами, чтобы с их помощью оценивать полученные при диагностировании индивидуальные и групповые данные.
Возникает вопрос, что за эту точку отсчета брать? В традиционном тестировании такая точка добывается статистическим путем — это так называемая статистическая норма.
В общих чертах стандартизация диагностической методики, ориентированной на норму, осуществляется путем ее проведения на большой представительной выборке испытуемых, которая ничем не отличается от той, для которой данная методика предназначена.
На этой группе испытуемых, называемой выборкой стандартизации, разрабатываются нормы, указывающие не только средний уровень выполнения, но и его относительную вариативность выше и ниже среднего уровня. В результате можно оценить разные степени успешности или неуспешности в выполнении диагностической пробы.
Это позволяет определить положение конкретного испытуемого относительно выборки стандартизации.
Для вычисления статистической нормы психологи-диагносты обратились к давно применяемым в биологии приемам математической статистики.
Кроме статистической нормы, основой для сравнения, интерпретации результатов диагностических испытаний могут стать и такие показатели, как процентили.
Процентиль — это процентная доля индивидов из выборки стандартизации, первичный результат которых ниже данного первичного показателя.
Например, если 28% людей правильно решат не более 15 задач в арифметическом тесте, то первичному показателю 15 соответствует 28-й процентиль (Р28). Процентили указывают на относительное положение индивида в выборке стандартизации.
Их также можно рассматривать, как ранговые градации, общее число которых равно 100, с той лишь разницей, что при ранжировании принято начинать отсчет сверху, т. е. с лучшего члена группы, получающего ранг 1.
В случае же процентилей отсчет ведется снизу, поэтому чем ниже процентиль, тем хуже позиция индивида.
50-й процентиль (Р50) соответствует медиане — одному из показателей центральной тенденции. Процентили свыше 50 представляют показатели выше среднего, а те, которые лежат ниже 50, — сравнительно низкие показатели.
25-й и 75-й процентили известны также под названием 1-го и 3-го квартилей, поскольку они выделяют нижнюю и верхнюю четверти распределения.
Как и медиана, они удобны для описания распределения показателей и сравнения с другими распределениями.
https://www.youtube.com/watch?v=KVGuDLxnc_A
Выборка стандартизации. При разработке и применении любой точки отсчета следует обращать особое внимание на выборку испытуемых, на которой проводится стандартизация диагностической методики. В математической статистике принято различать такие понятия, как генеральная совокупность (популяция) и выборка.
Всякая большая совокупность людей, которую хотели бы исследовать или относительно которых собираются делать выводы, называется генеральной совокупностью.
Выборка — это часть или подмножество совокупности. Проводить исследование всей популяции не принято.
Обычно из нее выделяют группу людей — выборку стандартизации — которая реально подвергается тестированию, и с ее помощью оценивается генеральная совокупность.
Чтобы оценки носили достоверный характер, выборка должна быть репрезентативна, представительна рассматриваемой популяции, т. е. ее вероятностные свойства должны совпадать или быть близкими к свойствам генеральной совокупности.
Одним из способов обеспечения репрезентативности выборки является ограничение популяции. Ограничить популяцию можно по разным признакам: по возрасту, полу, социальному происхождению, профессии, социально-экономическому статусу, здоровью и т. д.
Источник: http://www.psyworld.ru/for-students/cards/psychodiagnostics/740-2009-08-31-13-57-50.html
Стандарты тестов, квалификация и сертификация пользователей тестов
УДК 159.98.015 ББК Ю91 -730.2
СТАНДАРТЫ ТЕСТОВ, КВАЛИФИКАЦИЯ И СЕРТИФИКАЦИЯ ПОЛЬЗОВАТЕЛЕЙ ТЕСТОВ1
Дэйв Бертрам
Описаны проблемы обеспечения компетентности при использовании тестов и обеспечения эффективности и безопасности тестирования. Акцент делается на применении тестирования в сфере персонала.
Представлен обзор изменений взаимоотношений между поставщиками и пользователями тестов вследствие развития технических разработок. Сделан обзор некоторых действующих стандартов и руководств по применению тестов, их качества и проведения оценки.
Описана деятельность ЕРРА (Европейской Федерации психологических ассоциаций) совместно с другими международными организациями.
Ключевые слова: психодиагностика, психологическое тестирование, стандарты тестов, квалификация пользователей тестов.
Кто является пользователями тестов?
Начнем с обсуждения отношений между поставщиками и пользователями тестов. Международные исследования показали, что большинство тестов в сфере персонала и образования используется не-психологами. В тех областях, где психологи используют тесты, психодиагносты довольно часто имеют небольшой практический опыт, не обладают необходимыми для сертификации компетенциями.
Необходимо гарантировать соответствующие уровни компетентности для всех, кто применяет тесты [14, 20]. Такие компетенции должны быть соотнесены с задачами оценки.
Другими словами, необходимо определить, что человек должен знать и уметь и чего не должен, чтобы быть компетентным в особых ситуациях тестирования.
Например, менеджеры по персоналу нуждаются в знаниях, умениях, навыках для применения тестов соответствующим образом для рекрутинга, отличных от знаний, умений, навыков медсестры психиатрии при оценке людей с умственными проблемами.
В 1998 году Международная тестовая комиссия провела опрос, включающий следующие вопросы: кто применяет тесты; доступность тестов различным категориям пользователей; качество стандартов тестов, кодексов, механизмов контроля, используемых при по-
ставке тестов; экспертиза и профессионализм в исследованиях и разработках тестов, адаптации тестов и психометрика внутри стран; мнения и убеждения об использовании тестов.
Этот опрос явился результатом «корпоративных» ответов, полученных от респондентов национальных ассоциаций психологов. Так, данные представляют мнения и убеждения ключевых членов профессионального психологического сообщества о проблемах тестирования в своих странах.
Данные были получены от 36 стран из 48, которых попросили ответить. Здесь вкратце будут представлены лишь некоторые результаты.
По ответам респондентов, опрошенных в 36 странах, число пользователей тестов составляет 3 234 994 человек. При рассмотрении результатов этого опроса необходимо помнить, что ответы, полученные от психологов, включают много оценок. Таким образом, результаты должны рассматриваться как ориентировочные, а не описательные.
Согласно полученным результатам, 86,3 % пользователей тестов — не-психологи. Наибольшая группа -78,8 % пользователей — в образовании. Наименьшая группа — 9 % всех пользователей специализируются в тестировании персонала. Клиника и право (12,2 %) — единственные области, где число не-психологов не превышает число психологов.
1 Статья подготовлена на основе пленарного доклада на Всероссийской научно-практической конференции с международным участием по проблемам психодиагностики, тестам и тестированию, проведенной 8-10 сентября 2010 г. в Южно-Уральском государственном университете (г. Челябинск).
Перевод статьи Ю.Л. Юсуповой.
В исследовании также спрашивалось об обучении пользователей тестов. Респонденты указывали, что по их оценкам только 41 % пользователей получили специальное обучение.
В образовании — наименьшее количество специально обученных пользователей, в то время как в клинике — самые высокие показатели. Психологи имеют тот же или более высокий уровень показателя обучения, чем не-психологи во всех областях.
Тем не менее, различия очень малы в области тестирования персонала.
Ключевыми моментами этого исследования являются: роль психологов и не-психоло-гов в тестировании; потребность в большем обучении для всех групп (психологи видят потребность быть более вовлеченными в использование тестов, но не соответствуют требованиям); различия между сферами использования (в здравоохранении, работе, образовании): особенно выражено различие между тестированием в сфере персонала и всеми другими сферами; предоставление тестов людям, не компетентным для их использования; различия в результатах между разными группами стран. Последние вопросы были подробно рассмотрены Бертрамом и Койн [4, 5], где можно найти подробные детали этого исследования.
Если вкратце, результаты этого опроса подтверждают точку зрения о том, что существует много различий в использовании тестов как между сферами применения внутри стран, так и между странами.
Различия далее подтверждаются с помощью результатов последующих опросов ЕРРА относительно практики отдельных психологов, отношении к тестированию и использовании некоторых диагностических инструментов [21-23].
Такое различие в практике очень затрудняет создание единого решения проблемы гарантирования того, что все пользователи тестов обеспечивают компетентность и этичность использования инструментов оценки.
Влияние Интернета на применение
тестов
Интернет начал оказывать влияние на ежедневную жизнь, когда всемирная паутина стала развиваться в середине 1990-х гг. и когда повсеместно начали появляться компьютеры. Однако только к концу десятилетия Интернет начал оказывать значительное влияние на применение тестов. С 2000 г. влияние Интернета стало возрастать в очень быстром темпе, особенно в профессиональной сфере
применения тестов. В моей собственной компании, SHL, мы сейчас проводим около 90 % всех наших тестов через Интернет, а не в бланковом варианте. Когда я стал членом SHL в 1998 г., только малая часть наших тестов была в компьютерном варианте и ни одного теста не проводилось через Интернет.
Интернет оказывает ряд эффектов на паттерны использования тестов [10]. Во-первых, предоставляет доступ к тестам из любой точки мира, где есть доступ к Интернет-браузеру. При расширении это означает использование не только компьютера, но и других технологий (iPhone, Blackberry, iPad, digitalTV).
В прошлом у издателей были большие товарные склады, заполненные бумажными материалами, которые высылались по почте пользователям тестов.
Каждый раз материалы необходимо было пересматривать или исправлять, что было комплексной и дорогостоящей работой, особенно, если издатель имел много непроданных материалов — и гарантировать, что все пользователи тестов работают, ознакомившись с материалами. Через Интернет это можно сделать автоматически.
Однако более важно то, что Интернет изменил природу отношений между поставщиками и пользователями тестов. Сдвиг произошел в смещении локуса контроля от клиента к дистрибьютору тестов.
Дистрибьюторам тестов больше не нужно отправлять пользователям тестов большие технические руководства, ключи, таблицы норм, тестовые буклеты, бланки ответов и другие подобные материалы через электронную почту. Сейчас вся эта нагрузка перешла на Интернет-сервер, управляемый дистрибьюторами тестов.
Когда пользователь тестов хочет применить тест, он обычно выставляет порядок указанных адресов электронной почты или адресов людей, которые будут тестироваться.
Затем тестируемый получает на электронную почту заготовленные для него инструкции, пароль, гиперссылки и другую соответствующую информацию, дающую возможность доступа и прохождения теста. После того, как это сделано, пользователь тестов получает результаты в форме отчета, описывающего результаты.
Дистрибьютор тестов имеет доступ к данным всех тестов. Раньше эта информация хранилась у пользователей тестов и была труднодоступна для дистрибьютора. Сейчас это создает значительные возможности для разработчиков тестов и дистрибьюторам тестов в обновлении и повышении качества материалов.
Однако это возлагает больше ответственности на дистрибьюторов тестов, поэтому они становятся более включенными в процесс администрирования, подсчета баллов и интерпретации, каждый из которых раньше были зонами ответственности пользователя тестов.
Эти изменения оказали влияние на ролевые отношения между людьми и их зонами ответственности. Поскольку речь идет о стандартах, потребность в объективности, справедливости и этическом поведении остается неизменной. Изменилось лишь то, что во многих случаях традиционная ответственность в аспектах хорошего применения сдвигается от пользователей тестов к дистрибьюторам тестов.
Учитывая влияние Интернета на пользователей тестов, необходимо выделять различные способы оценки. Четыре таких способа описаны в «Руководстве по компьютерному и интернет-тестированию», разработанном 1ТС (2006 г.) [18]:
1) открытый доступ к тестам (или отсутствие контроля разработчика);
2) контролируемый доступ (или отдаленная супервизия);
3) локальная супервизия;
4) полностью управляемое администрирование.
Основное влияние Интернет оказывает на развитие второго из этих четырех способов. В рамках этой статьи не может быть дано описание всех аспектов развития, которые имели отношение к компьютерному тестированию, но в следующем разделе будет описано то, что получилось.
Источник: https://cyberleninka.ru/article/n/standarty-testov-kvalifikatsiya-i-sertifikatsiya-polzovateley-testov
Загрузка...
