История развития системы тестирования в России и за рубежом
План
1. Возникновение тестирования.
2. Первые педагогические тесты.
3. Развитие тестирования в России.
4. Современная теория тестов (IRT).
Возникновение тестирования
Всякая попытка определить точное время возникновения тестов напоминает стремление географов найти точное начало большой реки, вытекающей множеством ручейков из обширного болота. Примерно так же обстоит дело и с тестами. Для изучения истории тестов вначале потребовалось изучить предысторию – то самое болото, из которого и вытекает их подлинная история.
В Древнем Египте искусству жрецов обучали только тех, кто выдерживал систему определенных испытаний. Вначале кандидат проходил процедуру, которую можно было бы сейчас назвать собеседованием. При этом выясняли биографические данные, уровень образованности, оценивали внешность, умение вести беседу. Затем проверяли умения – трудиться, слушать, молчать. Проводили испытания огнем, водой и угрозой смерти. Тем, кто не уверен, что выдержит все тяготы длительного образования, предлагалось подумать – с какой стороны окончательно закрыть за собой дверь в храм – с внутренней или внешней?
Сообщается (там же), что эту суровую систему испытаний и отбора успешно преодолел в молодые годы Пифагор. Вернувшись после учебы в Грецию, он основал свою школу, допуск в которую открывал только после серии различных испытаний, похожих на те, которые выдержал он сам.
Пифагор подчеркивал важную роль интеллектуальных способностей, утверждая, что "не из каждого дерева можно выточить Меркурия". И потому придавал значение диагностике, в первую очередь, именно этих способностей, что делалось с помощью трудных математических задач.
Как считают, Пифагор обращал также внимание на походку и на смех молодых людей, утверждая, что манера смеяться служит самым хорошим показателем характера человека. Он внимательно относился к рекомендациям родителей и учителей, тщательно вел наблюдение за каждым новичком, особенно после того, как последнего приглашали свободно высказываться и, не стесняясь, смелее оспаривать мнение собеседников (там же).
В III тысячелетии до н.э. в Китае существовала должность правительственного чиновника. Соответственно, появились и первые элементы профотбора на эту должность. Отбору способствовала атмосфера торжественности и внимания к молодым людям, осмелившимся держать государственные экзамены на занятие по этой должности. В китайском обществе эти экзамены воспринимались почти как празднество. Тему экзамена нередко давал сам император, и он же проводил проверку знаний претендентов и на заключительном этапе конкурса.
Одной из самых распространенных форм диагностики способностей человека в те времена была физиогномика – искусство распознавания характера и способностей человека по его внешнему виду. Гиппократ, впервые употребивший это название, считал физиогномику наукой. Тогда же появились первые учебники и практические руководства по физиогномике, а также и первые специалисты.
Имеется немало свидетельств применения различных испытаний в Древнем Риме и Спарте. В Спарте была создана и успешно осуществлялась система воспитания воинов, в Риме – система обучения гладиаторов. "Люди– писал Платон, – рождаются не слишком похожими друг на друга, их природа различна, да и способности к тому или иному делу также... Поэтому можно сделать все в большем количестве, лучше и легче, если выполнять одну какую-нибудь работу соответственно своим природным задаткам".
В Афинах обсуждался вопрос о зависимости могущества государства от способностей лиц, им управляющих. В работе Платона "Государство" на вопрос о том, каких правителей нужно выбирать, Сократ отвечает: "Надо отдавать предпочтение самым надежным, мужественным, и по возможности, самым благообразным; кроме того, надо отыскивать людей не только благородных и строгого нрава, но и обладающих также свойствами, подходящими для такого воспитания. У них... должна быть острая восприимчивость к наукам и быстрая сообразительность. Надо искать человека с хорошей памятью, несокрушимо твердого и во всех отношениях трудолюбивого" (там же).
Нередко результаты испытания интеллектуальных способностей становились предметом гордости. Сообщается, например, что индийский царь Девсарам, желая испытать мудрость иранцев, прислал им шахматы. Предполагалось, что иранцы вряд ли сумеют разгадать суть этой игры, и потому они должны были, по условию, отослать в Индию подать. Однако визирь Важургмихр понял правила игры и, в свою очередь, изобрел игру, называемую сейчас нарды. Эту игру он послал в Индию, и там выяснилось, что разгадать правила этой игры индийцы не смогли.
Различные конкурсы и экзамены устраивались и в средневековом Вьетнаме. Всего за два года, в период с 1370 по 1372 г. удалось провести переаттестацию всех гражданских чиновников и военнослужащих, что позволило улучшить работу государственного аппарата. В результате этого Вьетнам стал сильным и жизнеспособным государством. Особое внимание было уделено созданию боеспособного офицерского корпуса. В ХV в. экзамены были там упорядочены. Они проводились по этапам и турам. Лауреаты получали подарки от короля, их имена вносились в "золотой список", который вывешивался у Восточных ворот столицы, об их победах на конкурсе сообщалось в родную общину. Имена наиболее отличившихся участников высекались на специальных каменных стелах, установленных в Храме Литературы (там же).
Если использование письменных контрольных работ и экзаменов в странах Востока уже в те годы считалось вполне нормальным и естественным делом, то этого нельзя сказать о странах Запада. Там возникали трудности психологического характера, вызванные попытками замены привычных устных форм контроля письменными. Например, в Англии сто лет ушло на слом консервативных традиций, препятствовавших применению письменных контрольных работ в учебном процессе, и еще сто лет на то, чтобы последние начали использоваться на приемных и выпускных экзаменах.
Впрочем, были исключения. В той же Англии ценность письменных работ быстрее других оценил Орден Иезуитов, увидевший в них средство повышения мотивации учебной работы. Используя свое влияние, Орден распространил практику применения письменных работ во многих других странах. Ответная реакция на это в первую очередь проявилась в Америке. Сообщается, что там, в 1762 г., состоялось открытое выступление студентов Йельского университета против использования письменной формы экзаменов, из-за которых им приходится много зубрить.
В 1884г. в США вышла первая книга с тестовыми материалами, содержавшая задания и ответы к ним с оценкой по пятибалльной шкале. В этой книге содержались задания по математике, истории, грамматике, навигации, давались примерные тексты сочинений вместе с методом количественной оценки сочинений. Это был первый в истории случай использования простейших статистических расчетов в педагогической работе.
Быстро распространявшись в США, такая форма контроля знаний имела не только много сторонников, но и противников. Сообщается, например, о школьном инспекторе из Чикаго, запретившем в 1881г. проводить письменный контроль и обязавшем осуществлять перевод учащихся в очередной класс не на основе проверок, а опираясь исключительно на мнения учителей и директоров школ. Распространилось мнение, что никто лучше учителя не сможет оценить способности ученика, и потому экзамены и всякие другие формы контроля являются издевательством над здравым смыслом. Этим было положено начало общественному движению против какого-либо контроля в школе. Пик такого движения в США пришелся на конец XIX века (1880-е годы), после чего вновь стали появляться предпосылки для формирования благожелательного отношения к контролю знаний.
Потребность в создании общественно-государственной системы контроля знаний была осознана в США в 1885 году. В Нью-Йорке начал действовать экзаменационный совет – один из немногих советов, которые смогли разработать методы объективного контроля знаний. Начало общегосударственной системы оценки знаний положило создание там в 1900 году комитета по проверке знаний абитуриентов колледжей в США.
В России конца XIX – начала XX века вопрос разработки тестов и их применения не ставился и не обсуждался. “Проверка знаний, – писал один из авторов, – представляется мне по опыту самым скучным, бесполезным и даже вредным занятием. Она терпима, как необходимое зло, только там, где от учителя требуют ежемесячных отметок как средства контроля не только над учениками, но и над учителем”. Однако с той поры в российской педагогике стихийно сформировались две противоречащие тенденции: одна за контроль знаний учащихся, другая – против.
Приведенный здесь краткий исторический экскурс позволяет сделать вывод о необходимости рассматривать испытания как важную часть жизни многих – если не всех – народов мира, со времен древнейших цивилизаций и до наших дней. Однако можно ли на основании приведенных данных говорить о раннем историческом периоде возникновения тестов? Если согласиться с наиболее распространёнными сейчас определениями теста, даваемыми как перевод с английского слова "test" (испытание, проверка, проба), то на поставленный вопрос надо будет ответить утвердительно. А если не согласиться? Тогда надо допустить, что настоящие тесты появились позже, в конце XIX-начале XX века.
Первые педагогические тесты
Родоначальником тестового движения можно назвать известного английского ученого Френсиса Гальтона. В 1884–85 годах он проводил серию испытаний для посетителей своей лаборатории. Туда приходили дети и взрослые, возраст испытуемых варьировал от 5 до 80 лет. За небольшую плату там определялись быстрота реакции, вес, жизненная емкость легких, сила кисти (сжимание известного каждому ручного динамометра; это изобретение Ф. Гальтона) сила удара кулаком, становая сила, рост, острота зрения. Кроме того, оценивались способности запоминать буквы и различать цвета, ряд физиологических возможностей организма и некоторые психические свойства. По полной программе было обследовано 9337 человек.
Гальтон отмечал, что методически упорядоченное тестирование требует определенных условий эксперимента. Это был существенный отход от тысячелетней практики испытаний и проверок, основанных на интуиции. Применительно к тестам значение деятельности Гальтона можно сравнить с тем, что сделал для физической науки своими остроумными экспериментами Галилей. Набиравший силу радикальный эмпиризм рассматривался рядом ученых конца XIX века как приемлемая альтернатива идеализму, а эксперимент – как настоящий фундамент науки. Хотя не все аппаратурные испытания Гальтона можно назвать тестами с позиции сегодняшнего дня, он сделал первый шаг на пути создания объективных методов оценки способностей и свойств личности.
Другим вкладом Гальтона является выдвижение идеи статистической обработки результатов эксперимента. Сопоставляя по осям абсцисс и ординат средний рост родителей с ростом их взрослых детей, то есть, откладывая точки на плоскости, он обнаружил такой, казалось бы, естественный факт – чем выше был рост родителей, тем выше, в среднем оказывался и рост детей. Но затем его наблюдательный ум заметил, что у очень высоких родителей дети были, как правило, несколько ниже, в то время как у родителей, рост которых был ниже среднего, дети оказывались несколько выше ростом. Поскольку в этом проглядывало явное стремление потомства к среднему росту, обнаруженная таким образом закономерная тенденция была истолкована им в качестве общего закона природы, закона сохранения вида, и названа "регрессией к среднему.
Дж. Кэттелл первым, вероятно, увидел в тестах средство измерения, казалось бы, не измеряемых свойств личности. В работе, опубликованной в 1890 г., он дал список 50 лабораторных тестов, к которым имелась стандартная инструкция. В той же работе подчеркивался научно-лабораторный характер испытаний. В частности, указывалось, что лабораторию следует хорошо оборудовать, во время тестирования в нее не допускаются зрители; все испытуемые одинаково инструктируются, они должны хорошо усвоить, что и как нужно им делать. Кроме того, делались рекомендации по подсчету баллов.
Большинство заданий Кэттелла и Гальтона можно сейчас назвать психомоторными заданиями, потому что их тестам явно не доставало стандартизации процедуры тестирования и правил интерпретации результатов. Надо ли говорить, сколь непривычной оказалась идея измерения для педагогики и психологии конца XIX века. Практические потребности изучения способностей были сформулированы тогда в виде важной для педагогики и психологии проблемы исследования индивидуальных различий. Исследование этой проблемы и дало импульс к появлению первых тестов
Измерение с помощью тестов казалось тогда (а многим педагогам по гуманитарным дисциплинам кажется и по сей день) делом если не странным, то претенциозным. Обыденное сознание исходит при этом из аналогии с физическими измерениями и рассматривает подобные попытки как математизацию, чуждую для гуманитарных наук.
К концу ХIХ века в Европе сложились две традиции в контроле знаний. В одной (ее можно назвать условно назвать немецкой) упор делался на устные формы экзамена, в присутствии комиссии, состоявшей по меньшей мере, из двух человек. На экзамене давались один (редко два) сравнительно объемных вопроса, ответ на которые должен был свидетельствовать об уровне знаний всего курса. Другая традиция, которую можно назвать английской, – это письменная форма контроля, во время которого испытуемым давалось десять–двенадцать коротких заданий из разных тем.
Начиная с первого десятилетия XX века обыденное представление о тесте и его научное определение стали заметно отличаться друг от друга. Хотя всякий тест включает в себя задания как элементы испытаний, он не сводится только к этому, ибо сейчас это и метод научного исследования, включающий в себя ряд требований измерения. На каждом этапе развития науки менялись требования к тестам и сами тесты. Игнорирование этого диалектического момента нередко приводило к упрощенчеству в оценках тестов. Упрощенчество проявлялось, главным образом, во взглядах на тест как на средство, совпадающее с другими распространенными формами оценки знаний – такими, как, например, зачет, экзамен. Но это неверно. Тест является средством педагогического измерения, что выгодно отличает его от всех остальных форм педагогического контроля.
Первая попытка научного измерения интеллектуальных способностей детей была сделана в начале XX века. Это произошло во Франции. Авторы созданного для этой цели теста А. Бине и Т. Симон провели эмпирическую проверку заданий, претендующих на включение в тест. Для оценки работоспособности заданий теста авторы использовали два основных критерия: 1) эмпирическую меру трудности каждого задания, определявшуюся на группах детей разного возраста и 2) информацию о степени совпадения результатов теста с мнением преподавателей. Для достижения сопоставимости данных, полученных ими с данными других исследователей и минимизации ошибок измерения, А. Бине и Т. Симон приложили к тесту стандартную инструкцию по проведению тестирования.
Первая мировая война активизировала разработку тестов для определения профессиональной пригодности и для ускоренной подготовки лиц, обладающих нужными для военного дела знаниями и навыками, интеллектуальными и физическими качествами. Интенсивное техническое перевооружение промышленности ведущих капиталистических государств в начале XX века актуализировало проблему "человек - техника". Все острее стала осознаваться мысль о том, что не каждый желающий сможет управлять сложными техническими устройствами: для этого необходимы знания, способности и соответствующие навыки, а значит, нужны тесты, профессиональный отбор и профессиональная подготовка. По данным английской статистики, в первую мировую войну только 2% потерь авиации были связаны непосредственно с боевыми операциями; 8% было потеряно из-за дефектов материальной части, а больше всего - 90% потерь было вызвано профессиональной непригодностью тех, кто пилотировал самолеты.
Война существенно обострила интерес к вопросам соотнесения способностей человека с требованиями профессий. "Всем стало ясно, - писал в те годы Г. Мюнстерберг, - что никакая расточительность ценных благ не носит столь пагубного характера, как расточительность ... живых сил народа, распределяющихся в полной зависимости от случая. ... Совершенно не обращается внимание на соответствие между трудом и работником". Тем самым была подготовлена почва для развертывания научно-исследовательских работ по тестовым методам оценки личности. В США был создан первый вариант так называемого группового теста, который позволял быстро оценить пригодность призывников к воинской службе в различных родах войск. Созданный тест рассматривался как тайное оружие, поэтому все испытания, масштаб исследований и результаты не разглашались. На основании этих исследований производилось отчисление "негодных лиц", назначение на "черные работы" неспособных к строю, комплектование унтер-офицерских и офицерских школ, выравнивание частей по уровню интеллектуальности, набор в специальные части и т.п.
Первые тесты для объективного контроля знаний, умений и навыков появились в начале XX века. Они быстро завоевали популярность среди преподавателей вузов и школ в Англии и США, а позже в России и СССР. Примерно с этого времени их стали в США называть педагогическими. Именно эти тесты вызывали настороженное к себе отношение у сторонников традиционной, "чистой", без тестов, педагогической науки и практики. Такая же настороженность проявлялась и по отношению к педологии, широко опиравшейся на тесты. Появление в это время нового прикладного направления, педологии, не было исторической случайностью. Это было неизбежно, как появление других прикладных наук. Хотя педология претендовала на статус фундаментальной науки о комплексном развитии ребенка она, если судить по ее методам и результатам, была все-таки прикладной педагогикой, необходимо дополнявшей тогдашнюю отечественную педагогику в ее самом слабом месте - в связи науки с практикой образования и обучения. Однако вместо сотрудничества педагогики и педологии началось политическое избиение последней, окончившееся не научной, а политической же "победой" сторонников "чистой" педагогики. На волне революционных преобразований "победили" сторонники изгнания из школы тестов, любого контроля знаний и, вместе с этим, педологии. Педология стала первой в списке наук, которые позже назовут репрессированными.
В те годы были, однако, и другие выступления - в пользу тестов. Так, известный психолог М.Я. Басов говорил: "Я думаю все же, что эта долгая, подчас острая критика тестовой методики ... в конце концов, приведет не к ниспровержению, не к упразднению этой методики, а, напротив, к ее упрочнению и к ее утверждению в определенных границах, в которых она, очевидно, имеет полное право на применение и существование". Поскольку в то время тесты получили признание и развитие только в рамках прикладных направлений - педологии и психотехники, размежевание этих направлений с педагогикой и психологией проходило, в первую очередь, по отношению к тестам. Помимо этого, обе стороны вели затяжные дискуссии с взаимными обвинениями. Педагогика и психология обвинялись в схоластике, узком академизме, в неспособности воспринять новое и в отрыве от практики. Прикладники, в свою очередь, осуждались за узкий практицизм, противоречащий духу науки, за отрыв от педагогики, психологии; они обвинялись также в голом эмпиризме, подражании западным образцам и в чрезмерном увлечении тестами.
Разрыв между фундаментальным и прикладным направлениями был до недавнего времени характерен для многих других наук, но не везде он протекал столь болезненно, как в педагогике. Для представителей "чистой науки" прикладность не имела заметной ценности. В 30-х годах ученые Кембриджа, как вспоминает Ч. Сноу, больше всего гордились тем, что их научная деятельность ни при каких мыслимых обстоятельствах не может иметь практического смысла. Методы и результаты педологии лежали в сфере прикладной деятельности, в то время как усилия традиционной педагогики были направлены на создание общей теории. Эти же годы характеризуются широким использованием тестов в других странах. Во Франции они стали применяться для дефектологических целей и для профориентации, в США тесты использовались при приеме на работу, в вузы, для оценки знаний школьников и студентов, для проведения социально - психологических исследований. Была сделана первая попытка объективно сравнить знания студентов различных колледжей штата Пенсильвания. Но и критика не успокаивалась. Она начинала приобретать все более широкий размах и выходить за рамки чисто научных дискуссий.
В США против использования тестов выступали представители основных групп населения - взрослые и дети, белые и негры, рабочие и управленческий персонал, а также представители национальных меньшинств. Исследования по социальным последствиям тестирования выяснили, что 37% опрошенных возражали против использования тестов при поступлении на работу, 50% - при продвижении по службе, 25% - против использования тестов в школе. Случаи нарушения этики в использовании тестов оказались столь злободневными, что ими вынужден был заняться конгресс, устроивший специальные слушания по этому делу. В результате было принято решение, осуждающее неэтичное использование тестов. В августе 1966 г. в сенате США обсуждалось предложение о полном запрещении тестов, но это предложение не было поддержано большинством.
В зарубежной литературе выделяется несколько источников критики тестов. Первый источник Брим усматривает в личностном портрете критиков. В числе последних чаще других оказываются те, кто не склонен к интроспекции, авторитарен в межличностных отношениях, нетерпим к мнению других и возражает против всяких социальных перемен. Как правило, в США эти лица примыкают к правым политическим группам, требующим запрещения тестов. Второй источник критики видит в системе социальных ценностей, имеющей свои корни в отношении к вопросам равенства людей. Если в обществе одобряется принцип открытого соревнования его членов, то в каждом поколении на передовые позиции выдвигаются наиболее талантливые люди. В таком обществе каждый имеет возможность внести свой вклад в соответствии со своими способностями. Последние должны быть оценены, и потому ориентация на этот принцип создает благоприятное отношение к тестам. Третий источник, по мнению Кеттела, является следствием эмоционального и сентиментального отношения людей эстетического и нарцисстического типа ко всякой попытке представить "уникальную, художественную личность", как он пишет, в виде формул и т.п.
Тесты применялись в двух основных сферах: в образовании и в сфере профотбора-профориентации. Затронутые тестами столь важные сферы жизни и прямое влияние результатов тестового контроля на судьбы миллионов людей породили широкую гамму мнений в пользу и против тестов. Большой энтузиазм тех, кто их применял, и не меньший пессимизм тех, кто видел несовершенство этого метода или пострадал в результате его неправильного использования, породили во многих странах, в том числе и в СССР, письма в правительственные органы и в газеты с требованием запрета тестов.
Застой в разработке тестов и их применении продолжался около сорока лет - с середины 30-х до конца 70-х годов, после чего вновь стали появляться публикации по этой проблеме, направленные как в пользу тестов, так и против них. Типичные аргументы оппонентов тестового метода сводились, в обобщенном виде, к следующим утверждениям:
- тесты используются в капиталистических странах, где с их помощью решаются вопросы расовой и классовой дифференциации;
- применение тестов унижает достоинство личности, особенно в случаях, когда получаемые баллы оказываются ниже среднего уровня;
- никакие методы измерения не могут заменить преподавателя и его личный опыт;
- в педагогике нет и не может быть точной единицы измерения, и потому не следует терять время, силы и средства на разработку неточных методов.
В этих утверждениях много спорного, и даже ошибочного. Что касается применения тестов для целей расовой и классовой дифференциации, то вряд ли здесь надо винить тесты. Как всякое средство, они могут быть использованы в пользу или во вред, в зависимости от идеологии, политики, компетенции, целевых установок и т.п. О возможном унижении достоинства личности, наклеивании ярлыков и т.п. можно сказать, что для предотвращения неприятных последствий такого рода, если это вообще возможно при культурной работе, разработаны специальные правила обращения с тестами и испытуемыми. В этих правилах все возникающие вопросы этического характера предусмотрено решать в пользу личности. Соблюдение этических норм является непременной частью профессиональной подготовки тех, кто работает с тестами. Тестовые методы не призваны заменять преподавателя и его личный опыт, а наоборот, призваны помогать ему, освободив его от рутинной работы и дать, тем самым, ему возможность сосредоточиться на повышении качества преподавания. Во-вторых, хотя точность педагогических измерений и не может сравниться с точностью физических измерений, преимущества первых, тем не менее, достаточно очевидны, они описаны повсеместно.
В то время как в нашей стране обсуждался вопрос, быть тестам или не быть, в США ставились другие вопросы: как повысить качество тестов, как сделать результаты тестирования независимыми от группы испытуемых и от того или иного набора заданий? К началу второй мировой войны там уже был накоплен большой опыт разработки тестов. Война дала сильный толчок авиастроению. Соответственно, понадобились сотни тысяч пилотов, штурманов, механиков, стрелков-радистов, специалистов по наладке навигационного оборудования. Каждая из перечисленных профессий требовала наличия определенных способностей - интеллектуальных, физических, психомоторных, и все эти способности надо было быстро и эффективно оценить. Для участия в этой работе были мобилизованы ученые, занимавшиеся вопросами измерения в психологии и в социологии. По начальному образованию это были, в основном, математики, занимавшиеся вопросами соответствующих психологических или социологических измерений. С началом войны почти все кадры так называемых психометриков были направлены в специально созданную воинскую часть на авиабазе Рандольфильд, для проведения там, на основе многостороннего тестирования, профессионального отбора и классификации готовящегося по всей стране персонала из числа летчиков, штурманов, мотористов и т. д. Поскольку война диктовала короткие сроки проведения исследования, а тестов не хватало, вся работа по профотбору, созданию и по проверке качества тестов велась параллельно. Например, из 550 тысяч человек, подвергнутых тестовому контролю в одном, 1942 году, примерно только половина была допущена к обучению отмеченным профессиям.
Между тем общественность продолжала высказывать сомнения в качестве используемых тестов. Поэтому было решено провести эксперимент. В рядах самих экспериментаторов не было единодушия, поскольку предстояло проверить эффективность их собственной работы. Среди аргументов, выдвигавшихся против эксперимента, были: нужен ли он в трудное военное время; а вдруг вскроются недостатки тестов, кажущихся сейчас вполне работоспособными, а главное, уже утвержденных руководством...".
Экспериментальная группа состояла из 1143 человек, отобранных в случайном порядке из числа лиц, прошедших тестирование по полной программе и зачисленных на курсы подготовки военных летчиков, независимо от показанных ими результатов в тестировании. Контрольную группу составили свыше 230000 человек, допущенных к обучению в 1943 году в зависимости от полученных ими тестовых баллов. Результаты сравнения оказались следующими: в экспериментальной группе только 23 процента смогли закончить курс обучения, в то время как среди отобранных с помощью тестов процент успешно окончивших летные школы оказался более 60. Различия, как говорят статистики, оказались весьма достоверными. Поскольку обучение военного летчика стоит дороже подготовки профессора, а отчисление неудачников проводилось, как правило, не ранее того, как курсанты проходили примерно третью часть срока подготовки, нетрудно было представить себе масштабы экономии средств за счет использования тестов. Один из активных участников процесса отбора военных специалистов подсчитал, что на каждый доллар, затраченный на эту программу, бюджет сэкономил тысячу долларов.
Другой проект использования тестов в США был направлен на изучение и совершенствование методов адаптации призывников к военной службе. В частности, он преследовал цель поднять боеспособность американских солдат за счет снижения у них чувства страха. В соответствии с учением З. Фрейда, это чувство относилось к скрытым, или, иначе, латентным свойствам личности. Отсюда и название общей методологии исследования таких свойств - латентно-структурный анализ (от англ. Latent Structure Analyses, или сокращенно, LSA). Эта методология нацелена на выявление латентных качеств и факторов поведения посредством математико-статистических моделей измерения
. Было проведено широкомасштабное социально-психологическое исследование "American Soldier", призванное повысить боеспособность солдат за счет выявления и устранения тех скрытых факторов, которые влияют на поведение солдат в боевой обстановке.
Понятие "латентная", или, как иногда пишут в нашей литературе, "скрытая" переменная невольно вызывает ассоциацию с метафизическим учением о неких скрытых от непосредственного восприятия "сверхфизических" сущностях каждой вещи или явления, взятых вне их связей и отношений в окружающем их мире. Основываясь на этой ложной ассоциации, можно было бы, как делалось раньше, вообще не рассматривать идею латентно-структурного анализа, считая ее очередным проявлением антидиалектизма в науке. Однако такой ход мышления привел бы к ошибке, ибо научное мышление опирается не столько на ассоциации, сколько на рациональность. А это, прежде всего, есть сфера принципов, допущений и процедур, обеспечивающих объективность, логическую принудительность и результативность в процессе познания.
Смысл введения латентной переменной требует краткого разъяснения. Она представляет собой простейшую форму реализации идеи существования скрытого фактора, влияющего на результаты испытуемых. Результаты теста всегда содержат в себе ошибки измерения, затрудняющие оценку истинного значения тестового балла на латентной переменной. Поскольку латентная переменная появляется в результате концептуализации, она всегда остается гипотетической переменной, на которой с большей или меньшей точностью оцениваются истинные результаты испытуемых. Латентная переменная представляет собой концептуальную модель интересующего исследователя качества испытуемых.
Попытки судить о невидимых вещах по видимым проявлениям имели место еще в глубокой древности. Так, например, Платон утверждал, что истинная астрономия занимается не изучением движения наблюдаемых небесных тел, а изучением законов движения звезд по математическому небу; несовершенным изображением последнего является видимое небо. В эпоху Возрождения скрытые качества рассматривались как некие силы, присущие всем вещам, причем каждая вещь представлялась как нечто двойственное: чувственно воспринимаемый предмет и внутреннее "скрытое качество", которое вызывало изменение наблюдаемых свойств. Эта идея вновь пробила себе дорогу в науке середины ХХ века.
Развитие тестирования в России
Можно сказать, что Россия конца XIX века позаимствовала в основном немецкий вариант проверки знаний. Но в те годы здесь о тестах никто еще ничего не написал. Похоже, что в стране их не было.
В России конца XIX - начала XX века вопрос разработки тестов и их применения для оценки знаний не ставился и не обсуждался. Как свидетельствуют первые отчеты Санкт-Петербургского педагогического общества, еще в 1872-1875гг. шли дискуссии лишь о полезности и вредности балльных оценок.
Суть и дух дискуссий передает отрывок из статьи О.Эрна: "...ни по одному из поставленных вопросов члены педагогического общества не смогли прийти к соглашению. Правда, под конец прений защитники баллов готовы были почти уступить своим оппонентам. Они соглашались признать, что оценка успехов учеников баллами во многих отношениях неудобна и вносит в школу много нежелательных элементов; они решались даже отказаться от системы отметок, но только под одним условием: они требовали, чтобы им точно и определенно было указано, чем предполагается заменить баллы". Позиция сторонников изгнания балльной оценки из российской школы отчетливо была выражена словами члена педагогического общества Миропольского: ... "смерть баллам грозит неминуемая; не нынче, завтра, дни их сочтены". Участник тех дискуссий К. Сент-Илер поставил ряд вопросов, касающихся применения отметок (баллов) в школе. Основным из вопросов был: следует или не следует успехи учеников выражать цифрами? Определенного ответа на него не было получено.
Соответственно, не велась научная работа в этой области. Но уделялось внимание улучшению качества контроля знаний. В конце XIX века в печати обсуждался вопрос о введении экзаменов. В циркуляре по Санкт-Петербургскому учебному округу “О производстве испытаний зрелости без послаблений”, сообщалось, что во многих гимназиях испытания зрелости производятся крайне снисходительно, с весьма большими послаблениями. А это обстоятельство, в свою очередь, весьма неблагоприятно отзывается на всем ходе учебного дела, приучая воспитанников поверхностно относится к усвоению преподаваемых им наук в надежде на ожидаемые послабления на испытаниях. В этом же циркуляре имеются поразительно точные слова о требованиях к содержанию контрольных материалов: “не обременяя требованиями мелких и второстепенных подробностей… необходимо удостовериться в знании существенно-важного в каждом предмете”.
В мае 1918 года было принято Постановление Народного Комиссариата по просвещению РСФСР, в котором были отменены все экзамены – вступительные, переходные и выпускные. Вместе с этим была отменена и балльная система оценки, как там написано, “познаний и поведения учащихся во всех, без исключения, случаях школьной жизни. Перевод из класса в класс, и выдача свидетельств должны производиться на основании успехов учащихся, по отзывам педагогического совета об исполнении учебной работы. 2 августа 1918 года был принят декрет Совета Народных Комиссаров РСФСР “О правилах приема в высшие учебные заведения”, в котором утверждалось буквально следующее: “Каждое лицо может вступить в число слушателей любого высшего учебного заведения без предоставления диплома, аттестата или свидетельства об окончании средней или какой-либо школы”. Позже было подведено и обоснование под решение об отмене экзаменов: “путем экзамена нельзя составить правильное представление о знаниях и об умственном развитии учащихся” и что “экзамен оказывает разрушительное действие на учащихся и студентов”, “имеет столько смертных грехов, что вряд ли найдутся его защитники”.
Отход от такого рода нигилизма наступило вначале в высшей школе, что случилось в 1924 году. Постановлением второй сессии ВЦИК было предложено “разработать вопрос о формах проверки пригодности кандидатов к поступлению в вуз, а также выработать новую систему проверки знаний и учета успеваемости студентов”. В 1932 году ЦК ВКП(б) в своем постановлении посчитал необходимым “установление в конце года проверочных испытаний для всех учащихся. В этом же постановлении есть любопытный пункт. “Всякие сложные схемы и формы учета и отчетности запретить”.
Постепенно возрастал и уровень всеобщего обязательного образования, с 7 до 10 классов средней школы, то есть решалась задача народного образования. Под влиянием эгалитаристских установок в педагогической среде актуализировалось множество расхожих афоризмов типа "незаменимых людей нет", "нет плохих учеников, есть плохие учителя", "не высовываться" и т.п. В стране, устроенной по эгалитарному принципу, люди рассматривались как взаимозаменяемые "винтики" общественной машины, управляемой Вождем. С начала тридцатых годов созрела идея тотального контроля, в рамках которой в системе образования вновь начали использоваться экзамены.
В середине тридцатых годов обнаружилась неадекватность системы оценки знаний задачам, поставленным партией перед советской школой. В Постановлении Совета народных Комиссаров и ЦК ВКП(б) от 3 сентября 1935 г. утверждалось, что "установленная наркомпроссами система оценки успеваемости не дает представления о фактических знаниях учащихся и ведет, на практике, к понижению уровня учебы". Там же поручалось отделу ЦК ВКП(б) разработать, обязательно для всех школ СССР, нормы оценки успеваемости учащихся, с тем, чтобы один и тот же уровень знаний одинаково оценивался во всех школах". Ввиду неспособности учебного отдела ЦК партии решить эту методическую задачу поручение так и осталось невыполненным. Не решили её и все последующие поколения руководящих деятелей союзного и российского образования.
Надвигалась вторая мировая война, для победы в которой требовались миллионы технически подготовленных специалистов. По всей стране открывались новые учебные и научно-исследовательские институты, военные училища. Промышленность постепенно переводилась на военные рельсы. Для отбора курсантов в летные училища создавались медицинские комиссии, которые и должны были заниматься вопросами если не профессионального отбора, то хотя бы отбраковкой тех, кто не годился для исполнения летной работы по показателям здоровья. Тестов как системы заданий возрастающей трудности в этих комиссиях еще не было. В основном там использовались различные пробы, измерения уровня давления крови, пульса, проверялись способность различать цвета, реакция на звук, нервная проводимость, устойчивость к головокружению. Посредством контрольных нормативов проверялась и физическая подготовленность.
Возрождавшаяся после революционных потрясений советская школа открылась практически всем известным тогда в мире педагогическим новациям, таким как Вальдорфские и Монтессори-школы, Дальтон-план и др. Среди этих новаций были и тесты. Расцвет был, однако, недолгим. К началу 30-х годов все начало свертываться и возвращаться к старым формам. В 1933 году было принято решение о проведении первых в истории советского государства проверочных испытаний всех школьников. В руководящем документах по этому поводу специально отмечалась "недопустимость - как там было написано - нарочитого "срезывания" учащихся путем постановки особо трудных для них, "каверзных вопросов". Поскольку подобные явления происходили не только тогда, но происходят, в массовом порядке и сейчас на приемных экзаменах в вузы, то нечто подобное, но в современной формулировке, и с мерой ответственности, полезно было бы ввести и в "Порядок приема в государственные образовательные учреждения высшего профессионального образования", которым Минобразования пытается сейчас регламентировать процесс оценки знаний абитуриентов.
Введение массового контроля знаний школьников совпало по времени с периодом укрепления режима личной власти Сталина, с его стремлением напрямую подчинить себе работу Наркомпросов. В связи с тем, что большинство его политических оппонентов благожелательно относились к педологии и к идее тестирования, Сталин развернул борьбу против педологов, считая их своими если не явными, то потенциальными противниками. Появление в то время педологии не было исторической случайностью. Это было так же неизбежно, как появление и других прикладных наук. Хотя педология претендовала на статус фундаментальной науки о комплексном развитии ребенка, она была, если судить по методам и результатам, все-таки прикладной педагогикой, необходимо дополнявшей педагогику в ее самом слабом месте - связи науки с практикой образования и обучения. Однако вместо сотрудничества педагогики и педологии началось политическое избиение последней, что окончилось не научной, а скорее, политической "победой" сторонников "чистой" педагогики. Таким образом, педология стала первой в списке наук, которые позже назовут репрессированными.
Запрещение педологии, а вместе с нею и тестов, стало одним из первых фактов идеологического давления на неугодные науки, научные направления и на отдельных ученых. В числе пострадавших от такого давления, а временами просто наглой и подлой травли, оказались авторы выпускавшихся в конце 20-х - начале 30-х годов сборников "Тесты: теория и практика". Это М.Я. Басов, М.С. Бернштейн, П.П. Блонский, А.П. Болтунов, С.М. Василейский. Воцарившаяся после запрета ситуация отрицательного отношения к тестам, в которой последние отвергались, как говорится, с порога не давала практической возможности публиковать что-либо в их защиту. Всего в 1937 году было репрессировано более 300 ученых - педагогов и педологов. Были репрессированы также наркомы просвещения Cоюза и всех республик, их заместители, начальники отделов и многие другие. В политической жизни страны резко усилился субъективизм. Субъективизм в политике, а затем и в педагогике, препятствовал развитию любого объективного метода контроля, ибо в последнем усматривалась угроза существованию командно-административной системы, с ее тщательно культивируемым "отрицательным" подбором кадров, в соответствии с которым каждое последующее поколение управленческих кадров оказывается хуже предыдущего. Это происходит, в частности, из-за того, что решающими признаком подбора становятся не знания и не способности, а послушность в выполнении приказов вышестоящих, часто некомпетентных, а то и психически нездоровых лиц. Послушными легко управлять. К сожалению, ошибочная кадровая политика продолжается в России и сейчас.
Тесты возникли значительно позже того периода, когда в Европе уже сложились первые педагогические системы Коменского, Ушинского, Дистервега, Гербарта, Песталоцци и др. Идея Гельвеция о всемогуществе воспитания была подхвачена Марксом и абсолютизирована на российской почве с начала 30-х годов - в форме господствующей идеи советской педагогической науки, основным предметом и целью которой стало воспитание в духе преданности известным лицам и идеям; остальные составляющие, такие, как образование и обучение, могли быть только воспитывающими в том же духе. Побочным продуктом этой идеи стала так называемая "воспитательная концепция" профориентации, цель и методы которой выродились в пропаганду рабочих профессий и в противоречащее здравому смыслу отрицание тестов.
Тесты запретили в 1936 году как "буржуазные и вредные", но истинные причины запрета - расстановка сил в политической борьбе того периода. Воцарившаяся после запрета ситуация отрицательного отношения к тестам не давала практической возможности публиковать что-либо в их защиту. И эта ситуация продолжалась в течение примерно сорока лет. В течение всего этого времени печатались в основном статьи о вредности тестов, о недопустимости использования последних в отечественной педагогической науке и практике. Соответственно, в этих условиях трудно было найти желающих заниматься тестовой проблематикой и вводить ее в планы научно-исследовательских учреждений, а также писать труды на "недиссертабельную" тему. Педагогика того времени потеряла интерес к тестам и к проведению эмпирических исследований; отчасти поэтому она в течение многих лет оставалась одной из немногих общественных наук, лишенных качественного эмпирического базиса. С той далекой поры эмпирическое направление педагогических исследований так и осталось в неразвитом состоянии.
Хотя в тридцатых годах практическая работа по тестам затормозилась, научное изучение действительных возможностей этого метода в СССР полностью не прекращалось. Часть тестов применялась под видом контрольных заданий, испытаний. И наоборот, различные испытания нередко назывались тестами. Практика тестирования характеризовалась серьезными противоречиями, что привело к запрету применения тестов в сфере образования, профотбора и профориентации.
С тех пор отношение к тестам стало неоднозначным. Одни видели в тестовом контроле средство принижения роли педагога, воспринимали тесты как средство выражения недоверия к традиционно выставляемым оценкам и потому проявляли определенную настороженность. Другие считали сами тесты виновными в различных нарушениях и потому отвергали идею тестового контроля знаний, как говорится, с порога. И только немногие рассматривали их как средство радикального преобразования учебного процесса в сторону его объективизации - и становились энтузиастами этого метода. Как прозорливо отмечал П.П. Блонский, тесты - это больше, чем средство контроля; это средство рационализации школьного дела, и хочется добавить, образования в целом.
Поскольку тесты считались основным методом педологии, то отказав в научности педологии, руководители педагогической науки тех лет отказались признать также и научность тестов. Здесь было допущено сразу несколько ошибок, возможно, преднамеренных. Одна - в отношении к педологии, которая имела ряд интересных научных достижений, не вписывавшихся в современную ей педагогику. Вторая ошибка - в признании тестов в качестве специфического метода педологии. Хотя известно, что абсолютно специфических частных методов (в которых бы не присутствовали элементы познания, применяемые в других методах) нет. И третья ошибка - отказ в признании научности тестового метода. Это сильно затормозило развитие самой педагогической науки, лишив ее предпосылок для разработки самого эффективного метода контроля знаний.
В СССР условий для занятий тестами фактически не было.
Тестирование в СССР и России периода пятидесятых - семидесятых годов нашего столетия можно охарактеризовать как застой. Над общественным устройством жизни довлел субъективизм членов Политбюро ЦК КПСС. Субъективизм, как известно, мировоззренческая позиция, игнорирующая объективный подход к действительности, отрицающая объективные законы природы и общества. Он всегда препятствовал развитию общества, а вместе с тем, и тестовых методов объективного контроля знаний.
В СССР много писалось о вредности и буржуазности тестов, о недопустимости использования последних в педагогической науке и практике. Субъективизму и связанным с ним различным нарушениям противопоставляется такая система организации контроля, которая исключила бы отрицательные проявления в принципе, опиралась бы на объективированные методы. Однако в рамках авторитарной педагогики контроль нередко становился средством не столько побуждения, сколько принуждения к хорошей учебе, что вызывало нередко негативную реакцию учащихся.
Анализ положения дел с тестовым контролем в СССР и в других странах показывал: многие страны опережали нас по масштабам практической работы, по финансированию научных исследований, по числу публикаций, по подготовке научных кадров, по уровню и качеству развития теории тестов, по технической и программно-вычислительной оснащенности тестового процесса. Наиболее развитые в тестовом отношении страны - Нидерланды, США, Англия, Япония, Дания, Франция, Израиль, Финляндия, Канада, Австралия, Новая Зеландия и др. Нет никакой случайности в том, что в этот список попали страны с высоким уровнем жизни населения. По мнению В.С. Аванесова, здесь связь опосредована цепочкой: применение тестов благотворно влияет на качество образования; качество образования связано с качеством управления; качественное управление создает предпосылки для повышения качества жизни населения. Такова удивительная связь тестов с качеством жизни.
Хотя интерес к тестам в СССР заметно вырос, ситуация с ними не только не улучшилась, а в некотором отношении даже ухудшилась. Потому что кажущаяся простота создания тестов, в сочетании с конъюнктурными интересами породили множество некачественных самоделок, дискредитирующих этот перспективный метод научной организации самоконтроля и объективного педагогического контроля знаний. Тестирование становилось своего рода модой, особенно в престижных школах, где тесты начинают применять вместо приемных и выпускных экзаменов. Отчасти это происходило из-за того, что наиболее распространенным и признанным в мире методом объективной оценки знаний считался именно тест.
И это не случайно. Тесты дают возможность заметно улучшить образовательный процесс, потому что обладают рядом преимуществ перед другими методами контроля знаний; являясь обязательной частью многих педагогических новаций, они снижают затраты на проверку знаний, помогают выявить индивидуальный темп обучения, а также пробелы в текущей и итоговой подготовке. В сочетании с персональными ЭВМ, тесты помогают перейти к созданию современных систем адаптивного обучения и контроля - наиболее современных организации учебного процесса. Без тестов невозможен переход к самой прогрессивному на сегодня обучению учащихся на основе, так называемой у нас системы полного усвоения знаний. Именно в такой системе тесты и задания в тестовой форме буквально пронизывают всю учебную деятельность преподавателей и учащихся. Обучение начинается с входного тестирования, сопровождается текущим контролем с помощью заданий в тестовой форме и заканчивается объективным тестированием учебных достижений. Кроме того, тесты позволяют наладить самоконтроль - самую полезную для обучения и гуманную форму контроля знаний, а также организовать рейтинг - эффективное средство повышения учебной мотивации.
Современная теория тестов (
IRT
)
Педагогическое измерение латентных качеств в западной литературе ассоциируется с LatentTraitTheory; этим названием утверждается специфическая направленность и даже уникальность данной теории для измерения именно латентных качеств. Однако это неверно. На самом деле все, без исключения, теории тестов направлены на оценку истинных компонентов измерений, явно не наблюдаемых.
И все теории исходят из аксиомы устойчивого существования истинных (латентных) компонентов измерения испытуемых. В начале 30-х годов классик Чикагской психометрической школы Тюрстон подчеркивал важность индекса надежности результатов измерения (rxt
). Этот индекс является мерой связи наблюдаемых значений каждого варианта теста с истинными, ненаблюдаемыми компонентами измерений. В силу приведенных аргументов название LatentTraitTheory нельзя признать правильным.
Вероятно, поэтому часто применяется второе название LatentTraitTheory - ItemResponseTheory. Ввиду отсутствия приемлемого аналога названия этой теории на русском языке российский тестолог В.С. Аванесов, как и большинство на Западе, называет её современной.
В фокусе изучения IRT находится, строго говоря, не тесты, как системы заданий, а отдельные задания. Вот почему это скорее не теория «тестов», а математизированная теория анализа характеристик тестовых заданий.
Не случайно главным в IRT являются утверждение о зависимости вероятности правильного ответа испытуемого от уровня подготовленности испытуемого и от параметров задания. Эту зависимость удобнее представлять в виде логистической функции.
Числу рассматриваемых параметров ставится в соответствие одна-, двух- и трехпараметрическая модели измерения. Эти модели с надлежащей полнотой изложены в работах многих западных исследователей. Одним их первых исследователем этих моделей измерения в России был В.С. Аванесов.
Хотя отдельные методы IRT (например, расчет информационной функции теста) применяются для оценки соответствия теста уровню подготовленности испытуемых, это - следствие суммирования значений информационных функций отдельных заданий. Всё отмеченное позволяет предложить новый вариант перевода названия IRT на русский язык как математико-статистической теории анализа тестовых заданий.
Что близко к смыслу названия оригинала и согласуется с излагаемой ниже классификацией теорий педагогического измерения латентных качеств.
|
