1 ТЕОРЕТИЧЕСКИЕ ОСНОВЫ ПРИМЕНЕНИЯ ТЕСТОВ В ПРИКЛАДНОЙ СОЦИОЛОГИИ
1.1 Общая характеристика понятия «тест»
Термины "тест" и "тестовое задание" часто приравниваются, хотя это совершенно разные виды педагогической продукции. Тест всегда состоит из тестовых заданий, но не каждый набор тестовых заданий является тестом [22, с. 47]. Тест - это система заданий определенной формы, которая используется вместе с определенной методологией для измерения и оценки результатов.
Тестовое задание - это диагностическое задание в виде задачи или вопроса с четкими инструкциями по его выполнению и обязательно со ссылкой на ответ или алгоритмом необходимых действий. Педагогический тест - это система заданий с определенной формой, содержанием и возрастающей сложностью, созданная для объективной оценки структуры и качества знаний, измерения уровня готовности учащихся [12, с. 86-87]. Тест по русскому языку - это контрольное и обучающее задание (или система заданий) на русском языке (предмет, раздел, курс и т.д.) в письменной форме, которое характеризуется быстрой процедурой выполнения и точностью оценки результата и позволяет определить уровень лингвистической (лингвистической) или речевой (коммуникативной) компетентности тестируемого лица. В педагогическом словаре тест определяется как "метод диагностики с использованием стандартизированных вопросов и задач (тестов), имеющих определенную шкалу значений" [32, с. 92].
Тест представляет собой технологию, которая выявляет уровень и глубину знаний, навыков, способностей и других личных качеств, а также их соответствие определенным стандартам, путем анализа формы и скорости выполнения экзаменатором ряда специальных тестовых заданий. Образовательное тестирование - это технология измерения знаний и навыков учащихся, основанная на использовании социологических тестов. Тестирование включает в себя подготовку тестов качества (как подбор готовых тестов, так и создание тестов автором), проведение самих тестов и последующую обработку результатов, что обеспечивает оценку знаний и навыков испытуемых.
Контроль - проверка, а также постоянное систематическое наблюдение с целью проверки или мониторинга. Контроль за знаниями и навыками учащихся является важной частью процесса обучения. Педагогический мониторинг необходим для установления уровня и глубины овладения учащимися предметом, для диагностики и устранения существующих проблем и пробелов, а также для привития чувства ответственности в учебной деятельности. Для уточнения роли контроля в российском образовательном процессе мы рассматриваем его основные функции: преподавание, диагностика, прогнозирование, развитие, руководство и обучение.
Организация работы учеников с тестами позволяет учителю контролировать их и знакомить с самоконтролем. В соответствии с формами обучения на практике существуют три формы контроля: индивидуальная, групповая и фронтальная. В случае индивидуального контроля каждому учащемуся дается собственное задание, которое он может выполнить без посторонней помощи. Эта форма подходит в тех случаях, когда необходимо прояснить индивидуальные знания, навыки и способности каждого учащегося. В управлении группой класс делится на различные группы (от 2 до 10 учеников), и каждой группе присваивается тестовое задание. В фронтальном управлении задания даются всему классу. В ходе данного теста изучается точность восприятия и понимания учебного материала, качество вербальной, графической темы, степень фиксации в памяти. Тесты как технология контроля знаний и навыков студентов могут быть разработаны в трех формах: индивидуальная (проверяется один экзаменуемый), групповая (группа испытуемых) и фронтальная (классовая, параллельная и т.д.).
Типы контроля:
1. Вводный. Этот уровень включает в себя проверку знаний студентов их общую эрудицию (тесты, наблюдения, вопросы, наблюдение).
2. Текущий. Она включает в себя проверку уровня владения предметом по теме, единице изучения (задачи диагностики: исследования, практическая работа, тесты).
3. Коррекция. Закрытие пробелов (повторные тесты, индивидуальные консультации).
4. Итоговый контроль выполнения поставленных задач (испытания, письменные и устные контрольные работы, опросы и т.д.)[34].
Контроль и самоконтроль являются важнейшими компонентами учебной деятельности. Систематически выполняя их по отдельным предметам, секциям, учитель приучает учеников сознательно выполнять учебные задания на всех этапах овладения знаниями и навыками.
Тест является наиболее удобной и информативной методикой контроля, поскольку, в отличие от обычной письменной работы, оценка конечного результата позволяет выявить причину ошибок, связанных с постепенным выполнением заданий, проверяющих знания и умения, из которых состоит результат.
Таким образом, тест как технология мониторинга и оценки знаний и умений представляет собой систему заданий со специфической формой, которая используется совместно с определенными методами измерения и оценки результатов, с целью мониторинга и оценки знаний и умений учащихся в образовательном процессе. Технология оценки применима ко всем формам и видам педагогического контроля за знаниями, навыками и способностями учащихся.
1.2 История возникновения и развития технологии тестирования
Первые тестовые испытания были известны еще до н. э. Так, в Древнем Востоке, на те или иные государственные должности назначались только те граждане, которые с успехом прошли определенные интеллектуальные задания. Кроме того, тестовыми заданиями, в общем их понимании, широко пользовались Древние греки, египтяне. Термин «тест» в современном понимании впервые ввел американский ученый-психолог Дж. Кеттел, предложивший серию из 50 тестов, фактически составляющих целую программу определения психологических и физических характеристик индивида. Для проверки знаний учащихся тесты стали применяться Дж. Фишером в Великобритании. Большую теоретическую базу в вопросе тестирования, а именно, в статистической обработке результатов, выделения эталонов и критериев оценки, разработал английский психолог Ф. Гальтон [9, с. 23 - 26].
Важнейшим вкладом этого английского ученого в развитие тестологии стало определение трех основных принципов, использующихся по сей день:
1.Применение серии одинаковых испытаний к большому количеству испытуемых.
2. Статистическая обработка результатов.
3.Выделение эталонов оценки [22, с. 15-16]. Первый стандартизированный педагогический тест был разработан Э. Торндайком. Он выделяет три этапа развития педагогического тестирования:
1. Период поисков (1900 – 1915гг). Это период становления педагогической тестологии, он связан непосредственно с деятельностью с французского психолога А. Бине, широко применявшего тестирование при исследовании высших психических функций человека - памяти, внимания, восприятия, и т.д. В 1904 году во Франции А. Бине и Т. Симонпровели ряд экспериментов по изучению мышления, внимания, памяти учащихся, которые позволили выработать методику по выявлению детей, не способных к нормальному обучению.
Ученые создали предпосылку к появлению понятия коэффициент интеллектуальности - IQ, которое в дальнейшем доработал американский ученый Л.М. Термена из Стэнфордского университета. Тест, ставший основой для методики выявления данного коэффициента, получил известность как тест Стэнфорд - Бине. Стал применяться новый критерий оценки тестирования - статистическая норма. Со статистической нормой стали сравнивать индивидуальные тестовые показатели, оценивали их и давали им психологическую характеристику. В этот период внимание всей мировой науки приковано к тестированию. Так, коэффициент интеллекта IQ был предложен немецким психологом В. Штерном, который назвал им показатель, получаемый при делении умственного возраста на хронологический и умноженный на 100%. Тестирование очень широко стало применяться для различных психологических и социологических исследований - проведения профотбора военнослужащих в США, для решения дефектологических проблем, для оценивания школьников и студентов [3, с. 24 - 25].
2. Последующие 15 лет - годы «шума» в развитии школьного тестирования, приведшие к окончательному осмыслению его роли и места, возможностей и ограничений. Были разработаны и внедрены тесты О. Стоуна по арифметике, Б. Зекингема для проверки правописания, Э. Торндайка по диагностике большинства школьных предметов. Т. Келли разработал способ измерения интересов и наклонностей обучаемых (при изучении алгебры), а Ч. Спирмен предложил общие основы использования корреляционного анализа для стандартизации тестов.
3. С 1931 г. начинается современный этап развития школьного тестирования. Поиски специалистов направляются на повышение объективности тестов, создание непрерывной (сквозной) системы школьной тестовой диагностики, подчиненной единой идее и общим принципам, созданию новых, более совершенных средств предъявления и обработки тестов, накопления и использования диагностической информации.
Выделение социологических тестов из психологических произвел американский ученый В.А. Макколл. Педагогические тесты применялись для того, чтобы разбить учащихся на группы, равные по скорости и объему усваиваемых знаний [41]. Тестирование в России начало активно изучаться в начале XX века. Свое внимание на этот вид контроля и оценки обратили сразу несколько так называемых поведенческих наук - психология, социология и педагогика.
Так возникла прикладная методическая теория научной педагогики, называемая «педагогическая тестология», основными понятиями которой стали тест, измерение, валидность, выборочная и генеральная совокупность, вариации, корреляция и другие.
Широкое распространение тестологии как психолого-педагогической диагностики получило благодаря возникновению в 20- е годы XX века такой науки, как педология (наука о целостном развитии ребенка - Л.С. Выготский). Развитию тестологии посвятили свои труды такие российские ученые, как Выготский Л.С., Болтунов А.П., Залкинд Г.И., Блонский П.П., Бернштейн М.С и многие другие. Политическая ситуация в России в начале 30-х годов резко изменила положительные тенденции в развитии изучения и применения тестирования. Все, что было так или иначе связано с тестологией признавалось буржуазным и противогосударственным.
Кризис в оценивании тестирования подкреплялся тем, что благодаря широкой известности и популярности теста в то время, данным видом психолого-педагогического исследования стали заниматься большое количество людей, не имеющих определенных навыков и знаний в этой области. Не уделялось должного внимания такому важному принципу тестирования, как валидность, оценки и выводы делались поверхностно, без внимания других факторов, являющихся основополагающими. В образовании, в промышленности на основе коротких тестовых заданий проводились исследования, по результатам которых испытуемые (ученики или работники) квалифицировались по различным группам, нарушая при этом элементарные логические выводы. Это не могло негативно не отразится на восприятии тестирования. В 1936 году ЦК ВКП (б) издал постановление «О педологических извращениях в системе Наркомпроса», после чего под запрет попали тесты любой направленности.
Отрицательное отношение ко всему «западному» поставило под запрет применение тестов в любой советской отрасли и науке. Это отодвинуло развитие тестологии в России на значительное расстояние от уровня зарубежной науки и практики. В.С. Аванесов в своей работе отмечает, что «Западные страны, где тестирование является основной и ведущей формой контроля, опережают Россию по масштабам использования тестов, качеству тестов и подготовке профессиональных кадров (наиболее развиты в этом отношении Нидерланды, США, Израиль, Канада, Англия, Япония, Дания, и Австралия. В этих странах созданы службы, занимающиеся разработкой тестов, организацией массового тестирования и сбором информации для мониторинга качества образования). Несмотря на это, в настоящее время Россия набирает все большие обороты в развитии тестологии, в педагогике в частности. Начиная с 70-х годов XX века появляются научные работы, публикации на тему тестологии, анализируется многолетний мировой опыт тестирования» [1, с. 12 - 23].
Широко используется компьютерная техника, программное обеспечение для обучения и контроля знаний, умений и навыков. В России в последние десятилетия развитие вопросов тестового контроля в целом и в педагогической деятельности в частности получило особую актуальность в связи с тем, что идет процесс стандартизации образования, разрабатываются федеральные государственные образовательные стандарты.
Введение образовательных стандартов (Федеральный закон «Об образовании в Российской Федерации» от 29 декабря 2012 года N 273-Ф3), ФГОС в начальной школе, согласно которым учащиеся в обязательном порядке по итогам обучения после 9 и 11 классов сдают основной государственный экзамен и единый государственный экзамен, в том числе и по русскому языку, в виде тестирования, а тот факт, что итоговая аттестация в тестовой форме вводится уже по окончании 4-х классов. История возникновения и развития тестирования показывает, что эта технология контроля имеет глубокие корни, сложный путь развития. К тестированию в различное время в России относились по-разному.
В настоящее время тестирование понимается как едва ли не ведущая технология контроля и оценки, с помощью которой можно достаточно объективно, надежно измерить, обработать, интерпретировать результаты учебного процесса, диагностировать выраженность у индивида определенных психологических качеств, свойств и состояний, а также измерить уровень их развития.
1.3 Специфика применения тестов в прикладной социологии
В литературе нет единого мнения о времени появления тестов. Одни считают, что история тестов насчитывает более четырех тысяч лет. Другие связывают создание тестов с именем Д. Каттелла, написавшего свою работу по тестам в конце XIX в. Третьи определяют время появления тестов чуть более поздним периодом — началом XX в. Столь значительные различия в определении времени появления тестов связаны главным образом с различиями в понимании сущности теста. В течение ряда десятилетий представления об объеме и содержании этого понятия заметно менялись, примерно так же, как менялось представление о строении атома в физической науке. Тот, кто впервые сталкивается со словом «тест», обычно легко узнает, что это— средство проверки или испытания каких-либо качеств, свойств или способностей людей. Если встать на эту точку зрения, то история древних цивилизации действительно даст нам немало свидетельств применения различных средств испытаний пригодности людей к той или пион деятельности.
Во многих работах по истории метода тестирования (В. С. Аванесов, К. М. Гуревич, С. А. Семеновская, И. А. Цатурова) [1, с. 10; 26, с. 29] среди основоположников научного подхода к тестированию упоминаются, прежде всего, авторы психологических тестов способностей и возраста умственного развития (IQ), а также первые педагогические тесты, такие как Дж. Кэттелл, А. Бине, Л. Термен, Э. Торндайк [37; 23; 27]. Хотя эти ученые в своих работах не использовали термин "тестология", их по праву называют "основателями тестологии". Видимо, одной из первых публикаций на русском языке, в которой очень активно используются термины "тестология" и "тестолог", является сборник 1928 г., подготовленный коллективом под руководством П.П. Блонского (см. "Испытания: теория и практика", 1928 г.) [27]. Анна Шуберт, например, написавшая для этого сборника главу "Книжная полка тестолога", является автором первого русского перевода теста Бине-Симона, выполненного в 1909 году.
К сожалению, стремительное развитие российской экспериментальной науки было наиболее резко прервано в 1936 году с публикацией печально известного постановления ЦК КПСС (б) "О педологических извращениях в системе Наркомпроса". В 1970-х годах была проведена частичная реабилитация метода тестирования, но в те годы метод тестирования считался лишь частным случаем "психологического диагноза". Полный возврат термина "тестология" в России стал возможен только в 1990-х годах, поскольку руководство КПСС отменило постановление 1936 года только после распада СССР в 1991 году.
Научный подход к тестированию тесно связан со статистическими методами. Разработка методов обработки результатов испытаний стала важным источником развития методов математической статистики и многомерного анализа данных в 20 веке. В 1923 году, всего за 2 года до публикации наиболее известного труда Рональда Фишера (автора дисперсионного анализа и математической теории экспериментального планирования) Е. МакКолл, сделавший свое имя бессмертным, создав стандартизированную T-оценку (применяемую во многих известных тестах, таких как MMPI, в виде шкалы, названной в его честь), писал: "Существуют отличные учебники и руководства по статистической обработке экспериментальных данных, но не так много методов получения адекватных и релевантных данных, к которым применяются статистические процедуры" (цитируется по Д. Кэмпбеллу в русском переводе, 1980) [19]. Во многом именно специалисты по тестированию (тест-психометрики) вскоре стали предоставлять статистикам такие данные.
Кроме того, многие из этих специалистов совмещали в одном лице две функции: специалиста по тестированию и статистика. Не зря Ф. Галтон считается основоположником корреляционного метода исследования. Следует отметить Ч. Спирмена (ранговая корреляция), Л. Терстоуна (центроидный метод многофакторного анализа), Д. Гилфорда (фикоэффициент), Р. Каттелла (уравнения регрессионной эффективности), А. Лазарсфельда (латентный структурный анализ). Развитие анализа данных и математической теории масштабирования (калибровка испытательных шкал) получило новый импульс в начале 1960-х годов благодаря новаторской работе Георга Раша. Появилась логитная шкала. Модель Раша стала основой современной теории тестовых заданий (TFT) и обязательной частью всех университетских курсов в развитых странах: курсов по психометрии и теории тестов [24]. Унипараметрический анализ тестовых баллов с использованием модели Раша или бипараметрический анализ с использованием модели Бирнбаума работает полностью идентично со всеми тестовыми данными, независимо от того, собираются ли они психологами, педагогами, социологами, маркетологами или специалистами в области здравоохранения [5; 6; 7; 12; 13; 14; 32].
Таким образом, во второй половине 20 века специалисты, разрабатывающие тесты в самых разных областях, стали понимать общие принципы проектирования тестов, администрирования и обработки их результатов [17; 18].
Метод тестирования - это метод измерения, который стандартизируется при его выполнении и формализуется при его обработке. Участникам теста (испытуемым, респондентам) предоставляется один и тот же набор элементов (вопросов) или аналогичный набор, полученный по алгоритму случайной выборки из большой коллекции элементов. Результаты теста оцениваются по количественной шкале. Методология тестирования может быть полностью автоматизирована, т.е. не требует вмешательства специалиста на любом этапе выполнения и обработки.
Смешение двух независимых оснований классификации: объекта оценки (диагностики) и метода оценки (теста или эксперта) приводит не только к терминологической путанице, но и к концептуальным и методологическим разногласиям между сторонниками и противниками метода тестирования. Узко мыслящие специалисты, чьи методологические знания и навыки сосредоточены только на одном из четырех блоков таблицы, к сожалению, всегда выступают за односторонний подход, который препятствует разработке комплексного подхода, основанного на таком сочетании методов измерения (тесты) и экспертных методов (нетесты), что позволило бы скрыть (компенсировать) присущие обоим подходам недостатки и обеспечить количественную (формализованную) интеграцию результатов: тестовых баллов и экспертных оценок.
Не случайно в статье Википедии "Психометрия" упоминается термин "тестомания" в связи с тестовой манией. В каждой стране есть тестоманы, "сторонники бешеных тестов" (готовые свести все методы к тестам), и "антитестовая партия", которая выступает против тестов и настаивает на их запрете. Популяризация научного подхода к тестированию должна способствовать смягчению этих противоречий. Ключевыми понятиями общей тестологии являются функциональные параметры, оценивающие качество любой оценки или диагностической процедуры в любой области ее применения. Это надежность, достоверность и репрезентативность параметров. Википедия уже содержит статьи по этим параметрам теста: [[Надежность психологического теста]], [[Достоверность (психология)], [[Валидность]]].
Следует отметить следующий факт: статистические процедуры расчета надежности тестов (например, коэффициент альфа Кронбаха) идентичны для психологических, социологических и педагогических тестов, в то время как статья в Википедии имеет более ограниченное название [[Надежность психологических тестов]].
Это затрудняет правильную ориентацию новичков в области образовательного тестирования, многие из которых могут прийти к неверному выводу, что вычисление альфа-коэффициента актуально только для психологических тестов, но не имеет никакого отношения к педагогическим тестам. Поэтому крайне важно сформулировать общие принципы тестеологии как новой междисциплинарной науки, четко определить ее границы и сформулировать ее темы и методы работы. Те же недостатки обнаруживаются и в существующих статьях о достоверности и репрезентативности в Российской Википедии. Статья "Валидность" написана психологом (опять же, он не является общим тестеологом и не имеет отношения к педагогическим измерениям), а статья "Репрезентативность" написана социологом и касается в основном маркетинговых исследований и может дезориентировать как психологов, так и педагогов, не говоря уже о врачах.
Эти факты обосновывают необходимость введения в эту энциклопедию термина "тестология". Это основной аргумент в пользу общего значения данного термина. Отдельным компьютерным направлением в области гуманитарной тестологии является разработка средств автоматизированной подготовки тестов (тестировщиков) и автоматизированного администрирования тестов. Последние инструменты часто интегрируются в более мощные и универсальные LMS (
Системы дистанционного обучения).
История развития СДО восходит к концепции программного обучения, сформулированной Скиннером в 1950-х годах. Но в последние годы были сформулированы четкие критерии для разграничения тестов измерения и тестов обучения. Обучающие тесты являются предметом дидактики, но не тестологии. В области технического контроля и технической диагностики дебаты о научных основах контроля в XXI веке только начинаются. Простые идеи и методы однопараметрической метрологии (измерение веса, скорости, мощности, точности технических средств и т.д.) не принимаются. Это связано с тем, что именно в 21 веке появились огромные и сложные технические системы с элементами искусственного интеллекта, поэтому поведение таких систем не намного проще изучать и измерять (тестировать), чем поведение человека. Примером такого спорного методологического труда является статья польского автора К. Бжезинский [35].
В. А. Ядов считает, что в социологическом исследовании существует лишь три метода сбора первичной информации: наблюдение, изучение литературных источников, опрос. Тесты, по его мнению, «вовсе не образуют метода сбора данных, но лишь особую систему использования опросов, наблюдения и изучения текстов». Если судить по содержанию «Рабочей книги социолога» (1976), то и там тоже тест не признается в качестве инструмента социологического исследования. Большинство других работ содержат мнения, противоположные изложенным. Так, С. Михайлов включает тест в общую классификацию конкретных методов сбора данных \ Аналогичный подход находим у социологов ГДР, авторов книги «Процесс социального исследования», считающих тесты необходимым и самостоятельным методом сбора информации. «Тесты, — пишут они, — обогащают арсенал методов социальных исследований... Они могут претендовать на высокий уровень научности... н способствовать решению теоретических и практических проблем большого общественного значения». Р. Пэнто и М. Гравитц считают, что, несмотря на частую критику, которой продолжает подвергаться метод тестов, расширение сферы их применения отвечает определенным потребностям нашей эпохи. Первыми в отечественной социологической литературе взялись за рассмотрение вопросов, связанных с математической стороной техники тестирования, Г. В. Осипов н Э. П. Андреев. Они отмечают, что в настоящее время теория тестов представляет собой хорошо разработанную дисциплину, включающую в себя целый ряд проблем.
Столь различное толкование статуса тестов в социологии связано, по крайней мере, с двумя причинами. Первая причина - это привычное рассмотрение теста как психологического метода исследования, используемого в социологии, вторая причина связана, возможно, с недостаточной информированностью социологов о тестах.
