ДИПЛОМНАЯ РАБОТА

Особенности статистической оценки качества теста диагностики индивидуального прогресса учащихся общеобразовательной школы

ОГЛАВЛЕНИЕ

ВВЕДЕНИЕ

ГЛАВА 1. СОДЕРЖАНИЕ И СТРУКТУРА ПЕДАГОГИЧЕСКОГО ТЕСТА

§1.1 Понятие педагогического теста

§1.2 Структура педагогического теста

§1.3 Этапы создания педагогического теста

ГЛАВА 2. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В ТЕСТИРОВАНИИ

§2.1 Основные понятия статистики, используемые в тестологии

2.1.1 Предмет статистической обработки

2.1.2 Основные понятия статистики

2.1.3 Первичные и вторичные статистические характеристики

§2.2 Методы статистической оценки качества теста

2.2.1 Методы оценки валидности

2.2.2 Методы оценки надежности

2.2.3 Методы оценки дифференцирующей способности

ГЛАВА 3. СТАТИСТИЧЕСКИЕ МЕТОДЫ ОБРАБОТКИ ТЕСТА ДИАГНОСТИКИ ИНДИВИДУАЛЬНОГО ПРОГРЕССА

§3.1 Общая характеристика и специфика теста диагностики индивидуального прогресса

§3.2 Анализ статистических методов, используемых при разработке теста диагностики индивидуального прогресса

§3.3 Изучение возможностей применения классических статистических методов для оценки качества заданий теста диагностики индивидуального прогресса

3.3.1 О применении методов оценки валидности, надежности, дифференцирующей способности

3.3.2 О методе статистического подтверждения уровня задания

§3.4 Анализ результатов статистической обработки заданий теста диагностики индивидуального прогресса

ЗАКЛЮЧЕНИЕ

ЛИТЕРАТУРА

ПРИЛОЖЕНИЯ

Введение

История возникновения и использования теста как диагностического метода а, точнее сказать, ее предыстория уходит вглубь веков. Имеются сведения, что уже с III тысячелетия до н.э. в странах Древнего Востока (Египет, Вавилон, Индия, Китай) использовались системы конкурсных испытаний интеллектуального характера, предназначенные для отбора персонала на правительственные должности [17].

Временем возникновения теста как общенаучного диагностического метода считается конец XIX века, когда для изучения индивидуальных различий начинают применяться различные способы измерения. Так английский психолог Ф. Гальтон, воспользовавшись работами бельгийского статиста А. Кетле, разработал метод статического сравнения двух рядов переменных и ввёл индекс совместного отношения, названный коэффициентом корреляции. Важным вкладом Гальтона в развитие теории тестов было определение трёх основных принципов: применение серии одинаковых испытаний к большому количеству испытуемых; статистическая обработка результатов; выделение эталонов оценки [17]. Все современные тесты построены на основе статистической теории измерений, а идея эталона оценки лежит в основе определения тестов как стандартизированного инструмента [21].

Актуальность. В последние годы в образовательную систему настойчиво внедряются педагогические тесты. Цели их использования разнообразны: текущий и итоговый контроль знаний, обучение, конкурсный отбор в вузы, диагностика способностей, централизованное тестирование и др. [21]. Как при создании, так и при статистической обработке результатов тестов, необходим статистический анализ для решения двух видов задач:

- определение качества заданий;

- определение информации о тестируемых.

В дипломной работе мы будем подробно обсуждать статистический анализ, направленный на определение качества заданий.

В настоящее время актуальна задача разработки тестов, которые отслеживают процесс становления компетентности учащихся, то есть ориентированные на диагностику становления способов, а не на актуальные достижения. Один из таких тестов разработан в течение последних лет - тест диагностики индивидуального прогресса (ИП). Авторы этого теста определяют индивидуальный прогресс, как «комплексную положительную динамику личных ресурсов, включающую линейные и уровневые приращения способностей мышления и понимания» [3,22]. Специфика таких тестов заключается в том, что они используют задания разного типа и сложности. В тесте диагностики ИП присутствует трехуровневая система заданий. Задания теста направлены на определение уровня мышления и понимания в предмете.

В силу специфической структуры этих тестов и особенности ситуации тестирования (тест проводится несколько раз через определенный промежуток времени) возникают трудности в применении классических и статистических методов оценки качества теста.

Методы статистической обработки зависят от структуры теста [8]. Поэтому при серьезном изменении структуры теста необходимо изучать возможности применения известных методов и разрабатывать «новые» для его обработки.

Таким образом, возникает проблема , которая заключается в том, что при создании теста нового типа появляются трудности при статистической обработке, которые заключаются в нехватке методов.

Цель дипломной работы: разработать методы статистической обработки теста диагностики ИП для определения качества заданий.

Объект: классические методы статистической обработки качества теста.

Предмет: возможности применения методов или возможности их трансформации для статистической обработки качества теста в новой ситуации (тест нового типа).

Для достижения поставленной цели были выделены следующие основные задачи:

1. Изучить методы статистики, для того чтобы разобраться, как они применяются для статистической обработки теста;

2. Проанализировать методы статистической обработки, которые использовали авторы теста диагностики ИП;

3. Выделить условия применения классических методов статистической обработки качества теста, для того чтобы проанализировать их соответствие характеристикам для теста диагностики ИП;

4. Разработать методику применения методов для теста диагностики ИП.

При решении указанных задач у нас возникла следующая проблема: анализ методов обработки, которые использовали авторы теста диагностики ИП, показал, что характеристика трудность задания является недостаточной, для того чтобы выявить уровень задания.

Гипотеза: модифицированнуюформулу нахождения дифференцирующей способности [14, стр.192] можно применять для подтверждения уровня задания теста диагностики ИП.

Работа состоит из введения, трех глав, заключения, списка литературы (25 наименований) и двух приложений.

В первой главе анализируется понятие педагогического теста, определяется его структура и этапы создания. При создании теста большое внимание уделяется качеству тестовых заданий. Для этого используются статистические методы оценки, которые заключаются в расчете таких характеристик как валидность, надежность, дифференцирующая способность (дискриминативность). Существуют различные подходы к описанию и расчету этих характеристик. Все они основаны на статистической теории измерения.

Во второй главе дипломной работы описываются основные понятия статистики, которые мы использовали при анализе методов обработки педагогического теста. К ним относятся: случайная величина; среднее значение; дисперсия; среднее квадратическое отклонение; стандартная ошибка измерения; коэффициент корреляции.

Также были выделены первичные и вторичные статистические показатели, с помощью которых вычисляются основные характеристики статистической обработки: валидность, надежность, дискриминативность. К первичным относятся те показатели, которые используются в различных статистических методах оценки качества теста (например, средний тестовый балл группы). Вторичные показатели – те, которые вычисляются с помощью первичных (например, дисперсия тестовых результатов). Нами были рассмотрены и проанализированы известные методы обработки заданий, которые применяются в современной тестологии (2 метода нахождения валидности, 4 метода нахождения надежности, 5 методов нахождения дифференцирующей способности).

Третья глава полностью посвящена разработке методов статистической обработки теста диагностики ИП для определения качества заданий. Выделяется специфика теста диагностики ИП, которая заключается в том, что задания теста имеют разные уровни сложности. Рассматриваются проанализированные методы статистической обработки, возможности их применения для обработки теста диагностики ИП. Из всех проанализированных методов статистической оценки качества заданий во второй главе, с учетом интерпретации результатов, нами были выделены: один метод нахождения валидности – вычисление коэффициента корреляции по формуле Пирсона; один метод нахождения надежности - вычисление коэффициента надежности теста формулой Кюдера-Ричардсона; и один метод нахождения дискриминативности, который вычисляет индекс дискриминации. Анализ формулы нахождения дискриминативности [14, стр.192] показал, что с учетом интерпретации результатов, ее можно применять для подтверждения уровня заданий теста диагностики ИП.

Таким образом, была разработана методика использования методов, которые применимы для обработки теста диагностики ИП, а также выделен дополнительный критерий для подтверждения уровня заданий.

Практическая часть заключалась в применении разработанных методов при обработке результатов теста диагностики ИП по двум срезам, а также в подтверждении уровня заданий по выделенному дополнительному критерию.

В заключении описываются основные результаты работы, а также результаты обработки заданий. Результаты обработки показали, что выделенные нами новые методы «работают» и выделенный дополнительный критерий, действительно, подтверждает уровень задания. Таким образом, наша гипотеза о том, что модифицированнуюформулу нахождения дифференцирующей способности [14, стр.192] можно применять для подтверждения уровня задания теста диагностики ИП, подтвердилась на практике.

ГЛАВА 1. СОДЕРЖАНИЕ И СТРУКТУРА ПЕДАГОГИЧЕСКИХ ТЕСТОВ

§1.1 ПОНЯТИЕ ПЕДАГОГИЧЕСКОГО ТЕСТА

педагогический тест качество знание статистика

Педагогические тесты – тесты, цель которых – не измерение психических свойств, а измерение уровня усвоения определенных знаний, умений и навыков, предусмотренных учебной программой. Тест как метод предполагает технологию измерения, которая включает в себя:

- разработку системы тестовых заданий с заданными качественными и количественными характеристиками для объективного и надежного оценивания учебных достижений испытуемых;

- стандартизированную процедуру проведения тестирования;

- методы статистической обработки, анализа и интерпретации полученных результатов [17].

Содержание и форма педагогического теста зависит от целей его использования. Следовательно, структура педагогического теста может быть разной. Таким образом, понятие педагогического теста можно определить как систему заданий определенного содержания, возрастающей трудности, специфичной формы, которая позволяет измерить уровень знаний, умений, навыков и представлений. Выделим несколько основных характеристик педагогического теста:

1. Специфическое содержание и форма, определяемые целями тестирования.

2. Наличие эталона (ответа), т.е. правильного метода выполнения каждого задания.

3. Указание метода обработки результатов (баллов) и критериев оценивания (шкала измерения).

4. Возможность оценки качества каждого тестового задания с помощью статистических методов обработки результатов тестирования.

5. Наличие инструкции по использованию широко применяемых тестов, в которой отражены цели тестирования, характеристика заданий и ожидаемых ответов, методика возможного использования и интерпретации тестовых результатов [17].

Педагогические тесты можно разделить на классические (например, тест ЕГЭ, см. Приложение 1) и неклассические (например, тест диагностики ИП, см. Приложение 2). Их отличие заключается в структуре и целях их использования. В следующем параграфе мы рассмотрим основные структурные компоненты педагогического теста и дадим определения этим понятиям.

§1.2 СТРУКТУРА ПЕДАГОГИЧЕСКОГО ТЕСТА

Структурными компонентами теста являются: тестовое задание – задача в тестовой форме, предназначенная для выполнения, к которой помимо содержания предъявляются требования тестовой формы и эталон – образец полного и правильного выполнения действия, служащий для сравнения достигнутого уровня с планируемым. Поскольку тестовое задание – это некоторая задача, которую приходится решать испытуемому, то необходимо усвоить понятие задачи. Под задачей понимается сформулированное для испытуемого задание по достижению определённой цели в известных условиях раннее изученными методами деятельности. В современной тестологии используют 4 формы тестовых заданий:

· задания закрытой формы (с множественным выбором), в которых тестируемый выбирает правильный ответ из данного набора ответов;

· задания открытой формы (задания на дополнение), требующие от тестируемого самостоятельное получение ответа;

· задания на установление соответствия (с множественным выбором), выполнение которых связано с выявлением соответствия между элементами двух множеств;

· задания на установления правильной последовательности, в которых тестируемый должен указать порядок действий или процессов [8].

Форма тестового задания выбирается в зависимости от целей тестирования и содержания проверяемой дисциплины. Независимо от формы тестового задания можно сформулировать ряд требований:

- тестовое задание должно быть сформулировано четко, ясно, конкретно, не допуская двусмысленности в ответе;

- в тексте тестового задания не должно быть непреднамеренных подсказок;

- основной текст задания и ответы формулируются с соблюдением орфографических, пунктуационных и грамматических правил;

- среди вариантов ответа должен существовать только один правильный или наиболее правильный ответ [17].

Мы рассмотрели основные формы и требования к составлению тестовых заданий. В следующем параграфе мы рассмотрим этапы создания педагогического теста.

§1.3 ЭТАПЫ СОЗДАНИЯ ПЕДАГОГИЧЕСКОГО ТЕСТА

Процесс создания педагогического теста должен быть эффективным, научно обоснованным средством измерения учебных достижений [8]. В своей статье «Тестовые задания» Герасименко Д. рассматривает ряд этапов создания педагогического теста. Мы проанализировали эти этапы и разделили их на 4 основных блока.

1-й блок включает в себя:

1. Определение цели тестирования, области содержания, выбор вида теста, подхода к его созданию;

2. Анализ содержания учебной дисциплины и отбор содержания для теста;

3. Определение структуры теста;

4. Составление тестовых (предтестовых) заданий.

Результатом этого блока являются тестовые задания готовые для апробации.

2-й блок включает в себя экспертный анализ содержания и формы тестовых заданий и, следовательно, переработку содержания и формы заданий по результатам экспертизы. Соответственно, результатом этого блока будут являться переработанные тестовые задания, которые будут включаться в тест.

3-й блок предполагает проведение тестирования и обработку результатов тестирования. Результатом этого блока является качественная оценка тестовых заданий.

Последний блок включает в себя корректировку заданий по результатам предыдущих этапов. Итогом является составление окончательного варианта теста.

Практически первые два блока включают анализ качества теста – комплексная экспертиза, которая при разработке тестовых заданий является обязательным элементом. Последние два блока направлены на корректировку заданий для составления окончательного варианта теста [8].

Вывод: таким образом, мы видим, что статистические методы используются не только для обработки данных тестирования (данных об испытуемых), но и существенно используются при составлении теста (тестовых заданий).

ГЛАВА 2. ПРИМЕНЕНИЕ СТАТИСТИЧЕСКИХ МЕТОДОВ В ТЕСТИРОВАНИИ

§2.1 ОСНОВНЫЕ ПОНЯТИЯ СТАТИСТИКИ, ИСПОЛЬЗУЕМЫЕ В ТЕСТОЛОГИИ

2.1.1 Предмет статистической обработки

Все современные тесты построены на основе статистической теории измерений, а в основе определения тестов как стандартизированного инструмента лежит идея эталона оценки [21].

В учебно-методической литературе появилось большое количество разнообразных тестов, причем не всегда хорошего качества. Как утверждает Шкерина [21], как правило, это является результатом некачественной обработки тестовых заданий. Поэтому в такой ситуации для создателей теста (тестовых заданий) необходимо владеть методами статистической обработки для оценки качества тестовых заданий.

Оценка качества тестовых заданий заключается в расчете таких характеристик, как валидность, надежность, дифференцирующая способность. Рассмотрим эти понятия подробнее.

Валидность одна из важнейших характеристик теста, которая означает соответствие формы и содержания теста тому, что он должен оценивать или измерять по замыслу его создателей. Для различных видов валидности могут быть использованы одни и те же методы определения и, наоборот, одни и те же данные могут быть интерпретированы с точки зрения разных типов валидности [14].

Надежность теста характеризует степень устойчивости результатов тестирования каждого испытуемого. Фактически коэффициент надежности показывает корреляционную связь между результатами измерений, проведенных в одинаковых условиях. При определении надежности исходят из того, что в каждом измерении присутствуют истинный (Т) и искажающий (Е) компоненты. Определение надежности заключается в оценке соотношения этих компонентов в данных проведенного тестирования [21].

Дифференцирующая способность (ДС) - способность тестового задания дифференцировать (различать) сильных (способных) от слабых. Майоров поясняет это понятие на примере. Представим себе, что мы провели тестирование группы учащихся. В составе этой группы были отличники, хорошисты и двоечники. Логично предположить, что отличники справятся с тестом лучше, чем двоечники. Но выясняется, что с одним из заданий и двоечники, и отличники справились одинаково успешно или неуспешно. Оказывается, такое случается, если задание обладает существенными недостатками. Типичными недостатками низкодискриминативных заданий являются: излишняя сложность, запутанность формулировки; очевидность решения; абсурдность, нереальность вариантов ответов; появление двух и более правильных ответов, не оговоренных в условии. Действительно, в том случае, если задания обладают перечисленными недостатками, вероятность того, что с ними одинаково справятся (не справятся) и отличники, и двоечники довольно высока [14].

Существуют различные подходы к описанию и расчету этих характеристик. Все они основаны на статистической теории измерения. Но для расчета этих характеристик необходимо сначала подсчитать и проанализировать различные статистические показатели, которые описаны в классической теории тестирования.

Далее мы рассмотрим основные понятия статистики, для того чтобы при анализе методов оценки качества педагогического теста нам было легче понимать, в чем они заключаются.

2.1.2 Основные понятия статистики

Современную математическую статистику определяют как науку о принятии решений в условиях неопределенности. Задача математической статистики состоит в создании методов сбора и обработки статистических данных для получения научных и практических выводов [7].

Многие авторы [4,14,17,20,21] используют разные обозначения статистических понятий. В этом параграфе мы соотнесем и систематизируем основные понятия статистики, которые мы будем использовать при анализе методов обработки педагогического теста (тестовых заданий).

Исходным понятием статистики является понятие случайной величины. Случайной называют величину, которая в результате испытания примет одно и только одно возможное значение, наперед неизвестное и зависящее от случайных причин, которые заранее не могут быть учтены [7]. При статистической обработке тестов (тестовых заданий) мы используем две случайные величины:

1. первая случайная величина характеризует испытуемых;

2. вторая случайная величина характеризует задания.

Далее рассмотрим следующие основные понятия статистики. К ним относятся:

1. Среднее значение – сумма всех значений, деленная на их количество

;

2. Дисперсия – среднее значение квадрата отклонения

;

3. Среднее квадратическое отклонение – квадратный корень из дисперсии

;

4. Коэффициент корреляции – отношение корреляционного момента к произведению средних отклонений этих величин

[7].

Мы рассмотрели основные понятия статистической теории измерения, которые мы будем использовать далее при анализе методов статистической обработки качества заданий теста. В следующем пункте рассмотрим первичные и вторичные статистические показатели.

2.1.3 Первичные и вторичные статистические показатели

Условно статистические показатели, описанные в классической теории тестирования, мы можем разделить на две группы: первичные (базовые) и вторичные. К первичным относятся те показатели, которые используются в различных статистических методах оценки качества теста. Вторичные показатели – те, которые вычисляются с помощью первичных. Рассмотрим подробнее первичные и вторичные показатели, и разберем на примере, как они вычисляются. Представим результаты выполнения теста ЕГЭ в виде таблицы (таблица 1).

Первичные:

1. Общий тестовый балл . Получается сложением всех единиц соответствующей строки;

2. Средний тестовый балл группы . Вычисляется как частное суммы всех тестовых баллов и количества испытуемых в группе.

,

где - количество испытуемых. В рассматриваемом примере ;

3. Достижение -го испытуемого . Находится как частное количества правильно выполненных заданий и общего числа заданий.

,

где - количество правильно выполненных заданий, - общее число заданий.

4. Среднее достижение группы - частное от суммы всех достижений группы на общее число испытуемых.

,

в нашем примере .

5. Отклонение достижения каждого учащегося от достижения группы - разность среднего достижения группы и достижения -го испытуемого.

Также первичные показатели характеризуют достижения испытуемых, на основании которых делаются выводы об уровне усвоения материала и качестве его усвоения на этом уровне.

Далее рассмотрим вторичные показатели:

1. Среднее отклонение достижений испытуемых . Вычисляется по формуле

,

в нашем примере .

Таблица 1. Вычисление первичных и вторичных показателей.

Испы- туемые	Задания										Общий тестовый балл Х	Достижение	Отклонение
	1	2	3	4	5	6	7	8	9	10
1	1	1	0	1	0	0	0	1	1	0	5	0,5	0,06
2	1	1	0	0	0	1	0	0	0	1	4	0,4	0,16
3	0	1	0	1	0	1	0	0	1	1	5	0,5	0,06
4	1	1	1	0	0	1	1	1	1	1	8	0,8	0,24
5	0	0	0	1	1	1	0	0	0	1	4	0,4	0,16
6	1	1	1	1	0	0	1	0	1	1	7	0,7	0,14
7	1	1	1	0	0	0	1	0	1	1	6	0,6	0,04
8	1	1	1	1	1	1	0	0	1	1	8	0,8	0,24
9	1	0	0	0	1	0	1	0	1	0	4	0,4	0,16
10	0	0	1	0	1	0	1	0	1	1	5	0,5	0,06
11	1	0	0	0	1	1	1	1	0	0	5	0,5	0,06
12	1	1	1	1	1	0	0	1	0	0	6	0,6	0,04
Промежуточные вычисления
Расчет первичных показателей
Расчет вторичных показателей

2. Сумма квадратов отклонений от средней арифметической оценки . Вычисляется по формуле

,

для рассматриваемого примера .

3. Дисперсия тестовых результатов . Вычисляется по формуле

,

для нашего примера .

4. Стандартное отклонение по тесту . Находится как корень из дисперсии

.

В нашем случае

5. Коэффициент корреляции . Существует несколько формул для вычисления коэффициента корреляции, и все они используются в разных статистических методах оценки качества педагогического теста. Мы будем рассматривать эти формулы в процессе анализа методов.

6. Коэффициент надежности . Аналогично, как и с коэффициентом корреляции, в каждом методе используют разные формулы для вычисления коэффициента надежности. Рассмотрим их в процессе анализа методов.

Расчет перечисленных показателей также составляет основу методики количественной оценки качества педагогического теста. Как уже отмечалось раньше, с их помощью оцениваются валидность, надежность и дифференцирующая способность, которые являются основными характеристиками качества педагогического теста.

Мы рассмотрели 11 статистических показателей (5 первичных и 6 вторичных), которые используются в классической теории тестирования. Эти показатели мы будем использовать при анализе методов оценки качества педагогического теста. В следующем параграфе мы рассмотрим методы оценки основных характеристик (валидность, надежность, дифференцирующая способность) качества педагогического теста, учитывая рассмотренные выше первичные и вторичные показатели.

§2.2 МЕТОДЫ СТАТИСТИЧЕСКОЙ ОЦЕНКИ КАЧЕСТВА ТЕСТА

Методы оценки основных характеристик теста состоят из двух частей:

A. Вычисление некоторой величины или характеристики;

B. Интерпретация полученного результата, в соответствии с нормой. Норма определяется согласно специфике теста.

Как правило, прежде чем применять методы статистической обработки к тестовым заданиям, сначала используют описательную статистику, которая заключается в вычислении статистических показателей. Рассмотрим их.

Первый из них - среднее отклонение достижений испытуемых. Далее рассчитываем три взаимосвязанных показателя:

1. - сумма квадратов отклонений от средней арифметической оценки.

2. - дисперсия.

3. - стандартное отклонение по тесту.

По величине можно судить о доверительном интервале достижений испытуемых. В окрестности находится большинство достижений группы. Дисперсия тестовых результатов показывает интервал (меру разброса), в котором находятся все полученные баллы испытуемых, включая стандартное отклонение по тесту и ошибку измерения. По величине стандартного отклонения можно судить о статистическом характере распределения результатов [21]. Если средний тестовый балл равен , а , то в интервале находятся баллы, набранные большинством тестируемых.

Рассмотрим некоторые классические методы оценки основных характеристик теста (валидность, надежность, дискриминативность).

2.2.1 Методы оценки валидности

Напомним, что валидность в теории тестирования означает соответствие формы и содержания теста тому, что он должен оценивать или измерять по замыслу его создателей [21]. Из анализа литературы [4,14,17,20,21] мы выделили два метода оценки валидности. Рассмотрим их.

Метод 1. Вычисляется коэффициент корреляции каждого тестового задания с суммой индивидуальных тестовых баллов испытуемых, который показывает, насколько Валино данное задание отличает слабых от сильных.

А. Коэффициент корреляции рассчитывается по формуле [14]:

,

где - средний арифметический балл испытуемых, успешно выполнивших -е задание теста, - средний арифметический балл испытуемых, не справившихся с -м заданием, - стандартное отклонение по -му заданию, - стандартное отклонение по всему тесту.

В. Значение коэффициента корреляции интерпретируется следующим образом:

· 0,7 – 1 – связь очень сильная;

· 0,5 – 0,7 – средняя;

· 0,3 – 0,5 – слабая.

Метод 2. Также как и в предыдущем методе вычисляется коэффициент корреляции, который показывает силу (интенсивность) линейной связи заданий между собой.

А. Коэффициент корреляции вычисляется по формуле Пирсона [21]:

,

где и - сумма квадратов отклонений по заданиям и , и - количество правильных ответов на то и другое задание соответственно;

- сумма попарных произведений тестовых баллов, полученных по каждому из заданий.

В. В случае положительной корреляции, можно говорить о линейной зависимости между заданиями (чем больше учащихся решат задание j , тем больше решат и задание k ). Если коэффициент корреляции высокий, то задания взаимозаменяемы. Отрицательная корреляция свидетельствует об обратной линейной связи. В случае нулевой корреляции такого рода зависимость отсутствует [21].

Вывод: оба метода заключаются в вычислении коэффициента корреляции. Первый метод вычисляет коэффициент корреляции каждого тестового задания с суммой индивидуальных тестовых баллов испытуемых, второй – корреляцию между заданиями.

2. 3 МЕТОДЫ ОЦЕНКИ НАДЕЖНОСТИ

Как уже говорилось выше, надежность теста характеризует степень устойчивости результатов тестирования каждого испытуемого.Методы оценки надежности заключаются в вычислении коэффициента надежности разными способами.

Метод 1 – метод половинного деления. Тест делится на две равные части и подсчитывается сумма баллов, набранных испытуемыми по каждой из половин. Полученные величины коррелируются между собой по формуле Пирсона [21]. Полученный коэффициент показывает надежность теста при коррелировании его половин, он говорит о внутренней состоятельности теста.

А. Коэффициент надежности теста вычисляется по формуле Спирмана-Брауна [21]:

,

где - коэффициент надежности теста по двум половинам.

В. Значение коэффициента надежности в этом методе интерпретируется следующим образом: если коэффициент надежности принимает значение от 0,8 до 1, то надежность хорошая, от 0,5 до 0,8 – удовлетворительная и менее 0,5 – неудовлетворительная.

2-й метод – метод подсчета средней корреляции заданий теста.

А. Надежность этим методом вычисляется по формуле [21]:

,

где - средняя корреляция, - сумма средних значений в корреляционной таблице [21, стр.13, табл.2], - общее число заданий.

В. Результаты вычисления в этом методе интерпретируются также как и в предыдущем.

3-й метод.

А. Коэффициент надежности вычисляется по формуле Кюдера-Ричардсона [20]:

,

где - число заданий в тесте, - сумма дисперсий заданий теста, - дисперсия.

В. Результаты интерпретируются аналогично предыдущим методам.

4-й метод - метод оценки высоких и низких достижений группы. Для расчета коэффициента надежности используется разбиение тестируемых на две группы. При достаточно большом количестве испытуемых каждая из этих групп составляет примерно 0,27 от общего количества.

А. Коэффициент надежности рассчитывается по формуле [20]:

,

где и - средние достижения групп с наиболее высокими и наиболее низкими результатами соответственно (группа испытуемых делится на две равные части) [20].

В. Результаты интерпретируются аналогично предыдущим методам.

Вывод: мы рассмотрели четыре метода нахождения надежности. В трех методах используют корреляционную связь, в одном учитывают достижения группы. Заметим, что коэффициенты надежности найденные разными методами отличаются. Приведем пример таблицы значений коэффициента надежности, полученный разными способами, который рассчитывался по результатам теста ЕГЭ [20].

Таблица 2. Значения коэффициента надежности, рассчитанного разными способами.

Из таблицы можно сделать вывод о значительной доле субъективной составляющей в методе оценки достижений группы, то есть коэффициент надежности теста, найденный с помощью этого метода, существенным образом зависит от уровня достижения испытуемых. Другие рассмотренные методы оценки надежности более объективны.

2. 4 МЕТОДЫ ОЦЕНКИ ДИФФЕРЕНЦИРУЮЩЕЙ СПОСОБНОСТИ

Дифференцирующая способность (ДС) - способность тестового задания дифференцировать (различать) сильных (способных) от слабых [14]. Рассмотрим несколько методов вычисления дифференцирующей способности.

Метод 1 - вычисление коэффициента дискриминации.

А. В этом методе вычисляется коэффициент дискриминации по формуле [14]:

,

где x – среднее арифметическое значение всех индивидуальных оценок по тесту, - среднее арифметическое значение оценок по тесту у тех испытуемых, которые правильно решили задачу, - среднеквадратическое отклонение индивидуальных оценок по тесту для выборки, n – число испытуемых, правильно решивших задачу, - общее число испытуемых.

В. Коэффициент дискриминации задачи может принимать значение от -1 до +1. Высокий и значимый положительный коэффициент является показателем того, что задача хорошо разделяет испытуемых с высокими и низкими оценками по тесту. Высокий, значимый отрицательный коэффициент свидетельствует о непригодности задачи для теста. Если значение коэффициента близко к 0, то задачи должны рассматриваться как некорректно сформулированные [14].

2-й метод – вычисление дискриминативности с применением метода крайних групп.

А. В этом методе вычисляется дифференцирующая способность (дискриминативности) с применением метода крайних групп, то есть при расчете учитываются результаты учащихся, наиболее и наименее успешно справившихся со всем тестом. Как правило, берут от 10 до 30% лучших и худших по результатам выполнения всего теста. Индекс дискриминации задания вычисляется как разность долей испытуемых из высокопродуктивной и низкопродуктивной групп, правильно решивших ее [14].

,

где - количество учащихся в группе лучших, верно выполнивших данное задание, - количество учащихся в группе худших, верно выполнивших данное задание, - общее количество испытуемых в группе лучших, - общее количество испытуемых в группе худших.

В. В этом методе, также как и в предыдущем, индекс дискриминации может изменяться в пределах от +1 (когда с заданием справились все учащиеся лучшей группы и ни один ученик из худшей группы) до -1 (когда складывается обратная ситуация – в лучшей группе никто не справился, а в худшей справились все). Задания с отрицательным значением индекса дискриминации или со значением, близким к нулю, не могут быть признаны удовлетворительными, и в них следует искать существенные ошибки. Показатель индекса дискриминации, больший 0,3, следует признать удовлетворительным [14].

3-й метод – сравнение средних достижений испытуемых, показавших наиболее высокие и наиболее низкие результаты.

А. Дифференцирующая способность вычисляется по формуле:

,

где и - средние достижения групп с наиболее высокими и наиболее низкими результатами соответственно (группа испытуемых делится на две равные части) [21].

4-й метод – проведение тестирования дважды в одной и той же группе в течение некоторого периода времени .

А. В этом методе дифференцирующая способность вычисляется по формуле:

,

где и - число правильных ответов по тесту, данных во время первого и второго тестирования соответственно, N – число испытуемых [21].

5-й метод – сравнение результатов выполнения одного и того же теста в разных группах.

А. И в последнем методе дифференцирующая способность вычисляется по формуле [21]:

,

где и - число правильных ответов по тесту, данных в первой и второй группах, и - число испытуемых в каждой из групп.

В. Интерпретация результатов в последних трех методах следующая: дифференцирующая способность теста считается удовлетворительной, если показатель [21].

Вывод: можно заметить, что формулы нахождения дискриминативности 2-м и 3-м методами практически не отличаются. Разница заключается лишь в том, что в первом случае мы используем метод крайних групп. В 4-м и 5-м методах особенностью является ситуация тестирования (проведение тестирования дважды в одной группе и сравнение результатов в разных группах).

ГЛАВА 3. СТАТИСТИЧЕСКИЕ МЕТОДЫ ОБРАБОТКИ ТЕСТА ДИАГНОСТИКИ ИНДИВИДУАЛЬНОГО ПРОГРЕССА (ИП)

В предыдущем параграфе мы проанализировали 2 метода нахождения валидности, 4 метода нахождения надежности и 5 методов нахождения дискриминативности. В этой главе мы попробуем применить эти методы для оценки качества теста диагностики индивидуального прогресса.

§3.1 ОБЩАЯ ХАРАКТЕРИСТИКА И СПЕЦИФИКА ТЕСТА ДИАГНОСТИКИ ИНДИВИДУАЛЬНОГО ПРОГРЕССА

Тест диагностики индивидуального прогресса школьников отличается от стандартных (классических) педагогических тестов своей структурой и целью его использования. Он предназначен для отслеживания и оценки интеллектуального продвижения учащихся школы, связанного с прохождением учебной программы. Данный диагностический инструмент содержит серию тестов разных предметных дисциплин: математика, физика, биология, русский язык. При систематическом использовании теста открывается возможность следить за прогрессом (сдвигом) в овладении средствами действий. Тест диагностики ИП измеряет уровневый прогресс, который означает переход школьника с одной ступени владения предметным содержанием на другую, более высокую.

Тест содержит закрытые задания с достаточно большим количеством вариантов ответов, а также открытые задания, в которых учащиеся должны привести решение. Как уже говорилось выше, данный диагностический инструмент состоит из тестов разных учебных дисциплин. Все тесты, кроме теста по математике, состоят из тестовых заданий с выбором ответа. А тест по математике содержит большинство заданий открытой формы. В данной работе мы остановимся подробно на тесте по математике.

В тесте диагностики ИП присутствует трехуровневая система тестовых заданий:

· Первый уровень (освоение общего смысла и формы способа действия) - выполнение тестового задания по известному шаблону. Выполнение заданий первого уровня свидетельствует о том, что ребенок освоил учебный материал, в котором требуется действие по заданному образцу, либо по изученным формулам; он может осуществлять замещение, т.е. выделять математическое отношение, заданное в «готовом» виде в тексте задачи, например, а затем переводить его из одной знаковой формы (текста задачи) в другую (в графическую, на чертеж). Если при этом ученик ничего не выполняет в заданиях второго уровня, то можно говорить, что он осваивает навыковый материал, может работать с представленным в конкретном виде материалом, но не продвигается в освоении средств мышления и понимания, т.е. не осваивает средства анализа задания.

· Второй уровень (освоение существенного основания способа действия) – выполнение задания, предполагающего выделение существенного отношения предметной ситуации. Выполнение заданий второго уровня говорит о том, что учащийся способен провести анализ задания, выделить математическое отношение, представленное не в прямом виде, а завуалировано, с провокацией (с лишними данными, с недостающими условиями, в буквенном или символическом виде). Этот ученик может выделить способ работы и применить его в новых условиях, он может осуществить перенос выделенного им математического отношения, например, с графического плана, на другой – буквенный, текстовый, т.е. ребенок способен адекватно сконструировать речевое выражение (текст задачи). Такой ученик преодолевает «натуральное» отношение к математическим знакам и выделяет существенное отношение, составляющее основу решения.

· Третий уровень (функциализация способа действия) – выполнение задания, предполагающего произвольное соотнесение двух планов – схемы решения задачи и ее текста. Ученик, выполняющий задания третьего уровня, может проводить анализ задания, выделять существенные отношения, представлять изменения отношений в условном плане, изобретать модели, преобразовывать исходные модели, конструировать задания, проводить исследования. Можно говорить, что изученные знаковые средства (чертежи, схемы и пр.) становятся для этого ребенка ресурсом для анализа и выполнения, новых для него заданий [22].

Диагностика действия на основе предложенной уровневой схемы позволяет помимо сравнительных данных получить ответ на вопрос, на каком этапе становления данного ученика (или группы учащихся) некая компетенция находится, то есть увидеть ее в развитии, оценивая пройденный путь и ближайшую перспективу [15].

Особенность теста заключается в том, что выводы об уровне мышления и понимания делаются на основе трех срезов (тест проводился три раза через определенный промежуток времени). Существенным здесь является то, что тест должен быть чувствительным к предметной динамике учащегося. Прогресс учащихся в овладении средствами действия определяется по результатам трех срезов, а уровень, на котором находится (или, на который вышел) школьник – по результат двух срезов.

Специфика теста по математике в том, что в многоуровневых задачах уровни заданы в пределах одной задачи и выстроены как изменение способа действия, то есть, чтобы решить задачу на третьем уровне, необходимо преобразовать способ действия, обнаруженный на втором уровне (см. Приложение 2, задания серии «Мозаика»). Одиночные задачи представляют набор заданий, не связанных между собой, но отличие между уровнями также задано через изменение способа действия на втором уровне и его преобразование на третьем.

В силу специфики теста, а также того, что по своему принципу он является неоднородным, необходимо вводить процедуру первичной обработки тестовых заданий. В следующем параграфе мы рассмотрим и проанализируем методы, которые использовались при обработке теста диагностики ИП.

§3.2 АНАЛИЗ СТАТИСТИЧЕСКИХ МЕТОДОВ, ИСПОЛЬЗУЕМЫХ ПРИ РАЗРАБОТКЕ ТЕСТА ДИАГНОСТИКИ ИНДИВИДУАЛЬНОГО ПРОГРЕССА

Диагностический комплект для мониторинга индивидуального прогресса учащихся школы апробировался на 10 пилотных площадках, расположенных в Самарской области, республики Чувашия, городах Томск, Москва, Красноярск. Апробация основывалась на трех тестовых срезах, которые проводились в 2003-2005 годах. В каждом тестировании участвовало около 2700 учащихся 2-4 и 6-9 классах.

Задача первого среза заключалась в первичном опробовании массива разработанных тестовых заданий. Поэтому на этом этапе статистические методы не использовались.

Задачей второго и третьего срезов являлось как получение данных об учащихся, так и статистическое подтверждение качества тестовых задач.

Для проведения соответствующего анализа были отобраны данные двукратного выполнения одного и того же набора заданий одними и теми же учащимися. То есть, по сути, была применена процедура повторного тестирования и сопоставления результатов двух идентичных срезов. При этом, для сохранения возможности сравнения данных, полученных на разном предметном материале (математика, физика и т.д.), из выборки исключались учащиеся, которые выполняли тест не полностью (например, решали задания по математике, но не решали по физике).

В итоге общая выборка испытуемых составила 4106 человек, из них 734 человека – учащиеся начальной школы и 3372 – учащиеся основной школы [15].

Напомним, что нас будет интересовать тест по математике в основной школе, в апробации которого участвовало 1140 учеников.

Решая вопрос о валидности теста, авторы исходили из того, что в данном случае говорить о содержательной валидности не имеет смысла, поскольку измеряемый объект (компетентность) на сегодня не имеет устоявшегося общепринятого описания. В то же время, поскольку в основу построения тестового инструмента положена специально разработанная для данного проекта теоретическая схема, желательна проверка ее адекватности. В литературе такого рода валидность теста называется конструктной, или концептуальной. Для проверки конструктной валидности авторами было сформулировано несколько гипотез относительно возможных результатов тестирования, которые были подвергнуты эмпирической проверке. Рассмотрим их:

1. Уровни заданий положительно связаны с мерой их статистической трудности.

2. Тестируемый параметр (мера опосредствования) имеет тенденцию прогрессировать и повторное тестирование (при достаточном временном интервале) должно фиксировать прирост результатов.

3. Результаты тестирования по разным предметам специфичны и не должны сильно коррелировать между собой.

4. Результаты тестирования с помощью данного инструмента не должны сильно коррелировать с данными классических тестов умственного развития типа ШТУР [15].

При проверке первые две гипотезы являлись основными, вторые две – вспомогательными. Для проверки гипотез вычислялся ряд первичных характеристик для теста. Главной целью статистической обработки на данном этапе было подтверждение или опровержение гипотез для проверки конструктной валидности.

Для проверки третьей и четвертой гипотез вычислялся коэффициент корреляции между достижениями по разным предметам, который показал, что корреляция является незначительной. Это означает, что школьные достижения предметно специфичны, и для получения полной картины продвижения ребенка необходимо учитывать весь набор основных предметов.

Помимо соотнесения результатов по разным предметам были подсчитаны корреляции между результатами второго среза и данными, полученными с помощью теста ШТУР (Школьный тест умственного развития – для основной школы и «Словесные субтесты» - для начальной школы). Результаты показали, что корреляция не поднимается до сильной или очень сильной. Это однозначно свидетельствовало о том, что методика ШТУР, методика «Словесные субтесты» и тесты ИП измеряют не один и тот же параметр и не взаимозаменяемы.

Таким образом, третья и четвертая гипотезы подтвердились.

Для проверки второй гипотезы была разработана авторская методика на определение линейного и уровнего прогресса. Линейный прогресс авторы определяли как изменение количества решенных задач данного уровня от среза к срезу. Другими словами, насколько больше или меньше задач заданного уровня (первого, второго, третьего) решил учащийся на очередном срезе. Уровневый прогресс определялся как переход учащегося с одного уровня опосредствования на другой.

Суть методики заключалась в то, что, во-первых, учащийся подтверждает уровень мышления и понимания, во-вторых, делается прогноз на прогресс.

Так как с разработанными материалами было проведено два среза, методику не удалось реализовать. Но, однако, по этой методике можно было утверждать, подтвердил учащийся уровень мышления и понимания или нет.

Согласно этой методике, авторы использовали данные двух срезов тестирования. Полученные результаты согласовывались с теоретическими представлениями. Данный метод не имеет аналогов, поскольку связан с новой концепцией.

Остановимся подробнее на первой гипотезе: уровни заданий положительно связаны с мерой их статистической трудности.

Для проверки первой гипотезы был введен показатель достижение учащегося (), который представляет собой отношение количества правильно выполненных заданий теста к общему числу заданий из данного набора. Было определено численное значение этого показателя для трех разных наборов задач каждого теста:

a. - общее число задач теста;

b. - суммарное число задач 2-го и 3-го уровней;

c. - число задач 3-го уровня.

Как уже отмечалось ранее, тест по математике имеет свою специфику, а именно количество , (общее число задач каждого уровня соответственно) рассчитывается, а не дано натурально (не совпадает с числом заданий в тесте). То есть,

числа заданий в тесте,

(сумма заданий 1-го, 2-го и 3-го уровней будет больше числа заданий в тесте).

Такие задания, которые учащиеся могут решить на разных уровнях называются уровневыми и при обработке они рассматриваются как несколько разных заданий. То есть, если учащийся решает задание на самом высоком уровне, то автоматически ему зачитывается, что он решил ее на более низких уровнях. (Приложение 2, задачи серии «Мозаика»).

Затем авторами были определены средние значения указанных показателей:

a. , где - количество задач первого уровня;

b. , где - количество задач второго уровня;

c. , где - количество задач третьего уровня.

Эти величины выражают точки сгущения достижений учащихся (в унимодальном распределении).

Для выяснения нормальности распределения вычислялся еще один показатель стандартное отклонение. По критерию «3-х сигм» определялась нормальность распределения, что свидетельствовало о достоверности результатов.

Также был использован показатель трудности теста в целом. Для того чтобы охарактеризовать этот показатель использовались средние значения, которые, как мы уже выяснили, показывают смещенность точки сгущения (Рис.1). Интерпретация этого показателя следующая: чем больше смещение влево, тем тест труднее для данной группы учащихся [25]. Для данной ситуации по отношению к задачам 2-го и 3-го уровней тест сложный, а по отношению ко всем заданиям теста – средней сложности.

Трудный тест Средний тест

Легкий тест

Рис.1 Определение трудности теста в целом

Теперь рассмотрим показатель трудности по отношению к задаче и проанализируем его. Авторы определяют показатель трудности как отношение количества решивших задачу к общему числу испытуемых (сколько процентов учащихся решили задачу из всех). Также авторы используют такой показатель как индекс трудности и определяют его как величину обратную трудности.

Показатель трудности характеризует не саму задачу, а ее по отношению к ситуации тестирования. Это показатель вычисляется для всех тестов, но вычисляется в зависимости от специфики теста. Если для классических (однородных) тестов показатель трудности принимает значение более 80% или менее 20%, то это говорит о том, что задачу решают или не решают почти все испытуемые. В таких случаях задачи исключают из теста. В тесте диагностики ИП наоборот, если измерять уровень задачи, то надо понять что задачи 1-го уровня должны решать больше, а задачи 3-го уровня меньше. Поэтому авторы назначают следующие диапазоны:

1. Если задачу решают от 50% до 100% испытуемых, то она является задачей 1-го уровня;

2. Если задачу решают от 10% до 50% испытуемых, то она является задачей 2-го уровня;

3. Если задачу решают менее 10% испытуемых, то она является задачей 3-го уровня [15].

Авторы отмечают, что трудность относительная характеристика, и она может меняться постоянно. Для проверки первой гипотезы вычислялась трудность задания. Если уровень, назначенный экспериментально, совпадал с уровнем, назначенным статистически, то задание оставляли в тесте. Если уровень не совпадал, то задание, либо убирали из теста, либо дорабатывали.

Для того чтобы различать учащихся на разных уровнях, вычислялась дифференцирующая способность. Но эта характеристика распознает только то, что сложное задание должны решать сильные. Коэффициент дискриминативности выражает меру сбалансированности задачи. Поясним это на примере. Проанализируем данные по двум задачам из теста по биологии (Таблица 3).

Задача II.3.3. Иногда летом в закрытых водоемах происходит замор рыбы. Укажите, какие факторы способствуют этому явлению?

А) Повышение температуры воды; Б) Понижение температуры воды; В) Чрезмерное размножение водорослей; Г) Недостаточное размножение водорослей

1) А+В

2) А+Г

3) Б+В

4) В+Г

Задача II.1.7. Придаточные корни отрастают:

1) от листьев

2) от стебля

3) от листьев и стебля

4) от главного корня

Введем следующие обозначения для показавших уровень:

0 – не показал уровень;

1 – сохранил/вышел на1 уровень;

2 – сохранил/вышел на 2 уровень;

3 – сохранил/вышел на 3 уровень.

Задача II.3.3 с коэффициентом дискриминативности 0,508 по показателю трудности (42%) соответствует 2 уровню. Процент решивших задачу от числа учащихся каждой группы возрастает. Это говорит о том, что чем выше «качество мышления» у группы, тем больший процент учащихся в группе решает эту задачу.

Теперь рассмотрим процент решивших задачу от всех испытуемых. Здесь можно наблюдать то, что, в основном, эту задачу решили те, кто показал 3 уровень (учащиеся 3-й группы).

Задача II.1.7 с коэффициентом дискриминативности 0,226 по показателю трудности (32%) соответствует тоже второму уровню. Можно было бы даже сделать вывод о том, что она сложнее задачи II.3.3. Процент решивших задачу от числа учащихся каждой группы показывает последовательность 42,19,35. Получается, что, чем выше у группы «качество мышления», тем меньшая доля учащихся этой группы решает данную задачу. Процент решивших задачу от всех испытуемых показывает, что, в основном, эту задачу решили те, кто показал 1 и 3 уровень (учащиеся 1-й и 3-й группы). А второй почти не решили. Получается, что сложность задачи остается непонятной - ее с равной вероятностью решают учащиеся и с низким и с очень высоким «качеством мышления». И, несмотря на то, что она, вроде бы, большей трудности, ее решает больший, чем предыдущую задачу, процент учащихся, показавших лишь первый уровень. Здесь можно предположить, что мыслящие на 1 уровне не воспринимают «ловушек» условия и решают задачу как стандартную, за счет знаний, и получают правильный ответ. Мыслящие на 3 уровне видят «ловушку» и успешно ее преодолевают, ну а те, кто на 2 уровне – уже видят, но еще преодолеть не могут. В таком случае надо что-то изменять в условии, чтобы, например, она стала либо уже задачей первого, либо третьего уровня. Получается, задача плохо сбалансирована и ее КД ниже нормы.

Таблица 3 . Данные по задачам II.3.3 и II.1.7

Таким образом, возникает проблема при статистическом подтверждении уровня задачи. Необходим новый метод (дополнительный критерий), который будет подтверждать уровень задания.

Первая гипотеза подтвердилась о том, что уровни заданий положительно связаны с мерой их статистической трудности, но характер ее сложный.

Вывод: анализ «Мониторинга индивидуального прогресса учебных действий школьников» [15] показал, что авторы использовали следующие статистические показатели:

· средние значения;

· стандартное отклонение;

· критерий нормальности распределения;

· коэффициент корреляции

Кроме того, вычислялись классические характеристики для тестов:

· трудность задания;

· индекс трудности;

· трудность системы заданий;

· достижение учащегося;

А также вычислялись специальные характеристики, которые являются классическими, связанные с определение линейного и уровневнего прогресса.

Заметим, что для анализа качества заданий не пришлось использовать классические характеристики валидность и надежность. Также при анализе было обнаружено, что показатель трудности задания не всегда адекватно подтверждает уровень задания.

§3.3 ИЗУЧЕНИЕ ВОЗМОЖНОСТЕЙ ПРИМЕНЕНИЯ КЛАССИЧЕСКИХ СТАТИСТИЧЕСКИХ МЕТОДОВ ДЛЯ ОЦЕНКИ КАЧЕСТВА ЗАДАНИЙ ТЕСТА ДИАГНОСТИКИ ИНДИВИДУАЛЬНОГО ПРОГРЕССА

В предыдущем параграфе мы отметили, что разработчики теста диагностики ИП почти не использовали классические методы при обработке заданий теста. По всей видимости, это связано с тем, что применение этих методов требовало решения отдельной задачи – адекватности применения методов в данной ситуации. Целью данного параграфа является ответ на вопрос, какие методы классической теории тестирования можно использовать для обработки заданий теста диагностики ИП. Перед нами будут стоять две основные задачи:

1. Рассмотреть возможности применения классических методов оценки валидности, надежности, дискриминативности к тесту ИП;

2. Выделить метод статистического подтверждения уровня задания.

3.3.1 О применении методов оценки валидности, надежности, дифференцирующей способности

Так же как и для обычных педагогических тестов, мы можем применять описательную статистику и для теста диагностики ИП. Как мы уже выяснили, основными показателями, характеризующими качество педагогического теста, являются валидность, надежность и дифференцирующая способность (дискриминативность).

Мы рассмотрели два метода нахождения валидности. Анализ показал, что оба метода мы можем использовать для теста диагностики ИП. Но, как уже говорилось ранее, данный тест имеет сложную трехуровневую структуру. Может сложиться такая ситуация, что сумма индивидуальных баллов будет больше у испытуемого, который решил все задания первого уровня, чем у испытуемого, который решил не все задания первого уровня, но решил задания второго и третьего уровней. Поэтому, первый метод вычисления валидности мы применить не можем.

Рассмотрим еще раз второй метод нахождения валидности, которые вычисляют коэффициент корреляции по формуле Пирсона [21].

В нашем случае результаты вычисления можно интерпретировать следующим образом. В нормальной ситуации лучше, если связь заданий между собой средняя или слабая. Но заметим, в силу специфики теста, между некоторыми уровневыми заданиями должна быть сильная корреляция. Таким образом, этот метод можно применять с учетом особенностей его интерпретации:

· Между уровневыми заданиями → 1

· Между заданиями одного уровня < 0,5

Рассмотрим на примере нашего теста ИП вычисление тесноты связи заданий между заданиями разных уровней и заданиями одного уровня.

Расчет происходил над выборкой 488 человек. Задание (1-й уровень) решило 300 человек, задание (1-й уровень) решило 259 человек. Тесноту связи заданий рассчитываем по формуле:

,

где и - сумма квадратов отклонений по заданиям и , и - количество правильных ответов на то и другое задание соответственно; - сумма попарных произведений тестовых баллов, полученных по каждому из заданий.

,

Таким образом, в этом случае теснота связи между заданиями одного уровня является слабой. Это говорит о том, что задания являются валидными.

Теперь рассмотрим возможности применения методов вычисления надежности. Как мы уже знаем, надежность теста характеризует степень устойчивости результатов тестирования каждого испытуемого. Фактически коэффициент надежности показывает корреляционную связь между результатами измерений, проведенных в одинаковых условиях. Опять же, в силу специфической структуры теста диагностики ИП (используют задания разного типа и сложности и др.) мы не можем применять методы, которые требуют разбиение теста на две равные части. К ним относятся метод половинного деления и метод оценки достижений группы. Метод подсчета средней корреляции заданий теста и метод, который заключается в вычислении коэффициента надежности теста по формуле Кюдера-Ричардсона [21], не требующие разбиения теста на части, мы можем использовать для оценки качества заданий теста диагностики ИП. Эмпирическим путем нами было получено, что оценка надежности теста этими методами является удовлетворительной ( → 1). Но метод подсчета средней корреляции заданий теста требует составления корреляционной таблицы, на что уходит много времени. Поэтому, для обработки заданий теста диагностики ИП, мы будем вычислять надежность по формуле Кюдера-Ричардсона. Рассмотрим на примере теста диагностики ИП вычисление надежности по формуле Кюдера-Ричардсона:

Формула Кюдера-Ричардсона:

,

где - число заданий в тесте, - сумма дисперсий заданий теста, - дисперсия.

Число заданий в тесте 47, =71, =7,31

Таким образом, надежность найденная по формуле Кюдера-Ричардсона является удовлетворительной ( → 1).

Рассмотрим возможности применения методов нахождения дискриминативности. Анализ первого метода, который вычисляет коэффициент дискриминации, показал, что метод можно применять для данного теста. Второй и третий метод мы не можем использовать опять же в силу того, что тест имеет сложную структуру. А эти методы требуют разбиение теста на части. Четвертый и пятый методы также не подходят, так как в литературе недостаточно описана интерпретация результатов. Мы можем применять его, в том случае, если задать определенную выборку. Но это очень сложная процедура, которая требует много времени и действий.

Рассмотрим на примере теста диагностики ИП расчет дискриминативности методом, который вычисляет коэффициент дискриминации по формуле:

,

где x – среднее арифметическое значение всех индивидуальных оценок по тесту, - среднее арифметическое значение оценок по тесту у тех испытуемых, которые правильно решили задачу, - среднеквадратическое отклонение индивидуальных оценок по тесту для выборки, n – число испытуемых, правильно решивших задачу, - общее число испытуемых.

Общее число испытуемых ; число испытуемых, правильно решивших задачу ; среднее арифметическое значение всех индивидуальных оценок по тесту ; среднее арифметическое значение оценок по тесту у тех испытуемых, которые правильно решили задачу ; среднеквадратическое отклонение индивидуальных оценок по тесту для выборки .

.

Таким образом, дифференцирующая способность, найденная методом, который вычисляет коэффициент дискриминации, является удовлетворительной.

Вывод: нами были рассмотрены возможности применения классических методов оценки валидности, надежности, дискриминативности. Для обработки заданий теста диагностики ИП мы выделили: один метод нахождения валидности – вычисление коэффициента корреляции по формуле Пирсона; один метод нахождения надежности - вычисление коэффициента надежности теста формулой Кюдера-Ричардсона; и один метод нахождения дискриминативности, который вычисляет индекс дискриминации.

3.3.2 О методе статистического подтверждения уровня задания

Напомним, что при анализе статистических методов, используемых при разработке теста диагностики индивидуального прогресса (см. §3.2), мы выяснили, что характеристика трудность задания является недостаточной, для того чтобы подтверждать уровень задания. То есть, нам необходима дополнительная характеристика, которая будет подтверждать уровень задания.

Разработчики теста ИП определяют трудность задания долями испытуемых, давших правильный и неправильный ответ на задание теста. С помощью этой характеристики должна определяться сложность задания (т.е. требуемый для решения уровень мышления и понимания).

Как уже говорилось раньше, показатель трудности для заданий первого уровня принимает значение в диапазоне от 50% до 100%, для заданий второго уровня – в диапазоне от 10% до 50% и для заданий третьего уровня – менее 10%. Поясним еще раз на примере недостаточность этой характеристики для выявления уровня задания.

Показатель трудности принимает значение в диапазоне от 10% до 50%, то есть, задание относится ко второму уровню. Но, большинство решивших эту задачу, находятся на первом уровне, то есть это те, кто по всему тесту справились плохо. Получается, задание второго уровня, решают слабые учащиеся и не решают сильные учащиеся, который находятся на втором и на третьем уровнях. Если задача действительно сложная, то именно сильные должны были решить ее, а не слабые. Чем сложнее задача, тем большую долю решивших ее должны составлять сильные и меньшую – слабые. Это требование должно выполняться для теста диагностики ИП.

Поэтому характеристика трудность задания может только показывать теоретически назначенный уровень, но не подтверждать его. На нее нельзя ориентироваться как на критерий для точного определения уровня задания. Таким образом, возникает необходимость в выделении дополнительного критерия, который будет подтверждать уровень задания.

Анализ метода вычисления дискриминативности с применением метода крайних групп показал, что он дает возможность оценить такую специфическую для теста диагностики ИП характеристику, как уровень задания. С помощью индекса дискриминативности мы можем выделить этот дополнительный критерий.

Рассмотрим еще раз формулу вычисления индекса дискриминативности [14]:

,

где - количество учащихся в группе лучших, верно выполнивших данное задание, - количество учащихся в группе худших, верно выполнивших данное задание, - общее количество испытуемых в группе лучших, - общее количество испытуемых в группе худших.

Так как формула требует разбиение испытуемых на две группы: сильных и слабых, то в данной ситуации к группе слабых мы отнесем учащихся, которые выполнили более 50% задач 1-го уровня (теоретически назначенного авторами) из всего теста, а к группе сильных отнесем учащихся, которые выполнили от 10% до 50% задач второго уровня и менее 10% задач третьего уровня (теоретически назначенных авторами) из всего теста. То есть,

- 2-й уровень + 3 уровень;

- 1-й уровень.

Обозначим доли испытуемых, как

и .

Группы и мы выбираем методом крайних групп. Как правило, берут от 10 до 30% лучших и худших по результатам выполнения всего теста. В данной ситуации мы выберем 30% испытуемых из сильной группы и 30% испытуемых из слабой группы, которые наиболее успешно справились со всем тестом (т.е. с самым высоким тестовым баллом).

Рассмотрим ситуацию, когда и принимают предельные значения.

Если , то это значит, что задачу не решил никто.

Если , то это значит, что задачу решили все.

В таких ситуациях можно сделать вывод, что задачи являются неправильными. Такие задачи, либо надо убирать из теста, либо дорабатывать.

Для задач первого уровня:

, ,

то есть, значения долей испытуемых из сильной и слабой групп примерно равны единице. Это значит, что задачу решили почти все испытуемые. А индекс дискриминации примерно равен нулю. Также должно выполняться условие, что показатель трудности более 50%.

Рассмотрим это на примере теста диагностики ИП (2-й срез, задача 5-1-1). Количество испытуемых , при делении на слабую и сильную группы в сильной оказалось 44 человека, в слабой – 404. Методом крайних групп из сильной группы остается 13 человек, из слабой - 121 человек. Из сильной группы задание решило 10 человек, из слабой группы задание решило 81 человек. Таким образом,

.

Трудность задания более 50%. Все условия для задачи первого уровня выполняются. Значит, задача действительно является задачей 1-го уровня.

Для задач второго уровня:

, ,

то есть доля испытуемых сильной группы близка к единице, а доля испытуемых слабой группы больше одной второй. Это значит, что задачу решили почти все испытуемые из сильной группы и больше половины, испытуемых из слабой группы. А индекс дискриминации будет принимать значения больше нуля, но меньше одной второй. Показатель трудности должен принимать значения в диапазоне от 10% до 50%.

Рассмотрим это на примере теста диагностики ИП (2-й срез, задача 6-6-2). Количество испытуемых , при делении на слабую и сильную группы в сильной оказалось 44 человека, в слабой – 404. Методом крайних групп из сильной группы остается 13 человек, из слабой - 121 человек. Из сильной группы задание решило 9 человек, из слабой группы задание решило 63 человек. Таким образом,

.

Трудность задания от 10% до 50%. Все условия для задачи второго уровня выполняются. Значит, задача действительно является задачей 2-го уровня.

Для задач третьего уровня:

, ,

то есть доля испытуемых сильной группы больше нуля, но меньше или равна одной второй, а доля испытуемых слабой группы близка к нулю (очень мала). Это значит, что задачу решают меньше половины испытуемых из сильной группы и почти не решают испытуемые из слабой группы. Индекс дискриминации будет принимать значения больше нуля, но меньше одной второй. Показатель трудности должен быть менее 10%.

Рассмотрим это на примере теста диагностики ИП (2 срез, задача 6-7-3). Количество испытуемых , при делении на слабую и сильную группы в сильной оказалось 44 человека, в слабой – 404. Методом крайних групп из сильной группы остается 13 человек, из слабой - 121 человек. Из сильной группы задание решило 6 человек, из слабой группы задание решило 12 человек. Таким образом,

.

Трудность задания менее 10%. Все условия для задачи третьего уровня выполняются. Значит, задача действительно является задачей 3-го уровня.

Вывод: мы выделили дополнительный критерий для подтверждения уровней задач в тесте диагностики ИП и показали на примерах, что этот критерий действительно подтверждает уровни задач.

§3.4 АНАЛИЗ РЕЗУЛЬТАТОВ СТАТИСТИЧЕСКОЙ ОБРАБОТКИ ЗАДАНИЙ ТЕСТА ДИАГНОСТИКИ ИНДИВИДУАЛЬНОГО ПРОГРЕССА

Нами была проведена статистическая обработка результатов теста диагностики индивидуального прогресса по двум срезам. Мы провели оценку качества заданий выделенными нами методами оценки валидности, надежности, дифференцирующей способности, а также подтвердили уровни заданий, с помощью выделенного дополнительного критерия. Проанализируем результаты оценки качества заданий.

Расчет тесноты связи заданий по формуле Пирсона показал, что, действительно, связь между уровневыми заданиями сильная. Это говорит о том, что задания теста являются валидными.

Расчет надежности по формуле Кюдера-Ричардсона показал, что оценка этим способ является удовлетворительной, то есть задания теста диагностики ИП являются надежными. Рассмотрим результаты обработки в таблице 4

Таблица 4. Результаты обработки.

Этапы Харак-ки		1-й срез	вывод	2-й срез	вывод
Теснота связи заданий	м/у одноур. зад-ми		связь слабая		связь слабая
	м/у разноур. зад-ми		связь сильная		связь сильная
Надежность			удовлетворительная		удовлетворительная
Дискриминативность			задача хорошо разделяет испытуемых с высокими и низкими оценками по всему тесту		задача хорошо разделяет испытуемых с высокими и низкими оценками по всему тесту

Из таблицы видно, что задания теста являются качественными.

Подтверждение уровней заданий является одним из центральных моментов обработки теста диагностики ИП. Подсчет коэффициента дискриминативности методом крайних групп с учетом интерпретации результатов вычисления приведенных в предыдущем параграфе, показал, что уровни заданий действительно подтверждаются.

Представим результаты подтверждения уровней заданий в виде таблицы (таблица 5).

Таблица 5. Результаты подтверждения уровней заданий.

Вывод: статистическая обработка заданий теста диагностики ИП показала, что задания теста являются качественными. При обработке результатов по подтверждению уровней заданий выяснилось, что почти все уровни заданий подтвердились.

ЗАКЛЮЧЕНИЕ

При выполнении дипломной работы нами были изучены базовые понятия и методы статистики, которые применяются для статистической обработки тестов. Согласно анализу этих методов и базовых понятий, мы выделили условия их применения для статистической обработки качества теста диагностики ИП. Также мы разработали методику использования этих методов, которые применимы в данной ситуации.

В процессе работы был проведен анализ методов статистической обработки качества заданий, которые использовали разработчики теста диагностики ИП. В результате этого анализа, мы выясняли, что характеристика трудность задания является недостаточной для подтверждения уровня задания. Таким образом, нами был выделен дополнительный критерий для подтверждения уровня задания, с помощью формулы нахождения дифференцирующей способности, с учетом интерпретации результатов.

В итоге мы провели статистическую обработку качества заданий теста диагностики ИП по двум срезам и подтвердили уровни заданий выделенными нами методами.

Таким образом, наша гипотеза о том, что модифицированнуюформулу нахождения дифференцирующей способности [14, стр.192] можно применять для подтверждения уровня задания теста диагностики ИП подтвердилась на практике.

ЛИТЕРАТУРА

1. Аванесов В.С. Научные проблемы тестового контроля знаний. - М., 1994.

2. Аванесов В.С. Методологические и теоретические основы тестового педагогического контроля: Автореф. д-ра пед. наук: 13.00.01. Санкт-Петербургский гос. Ун-т. - СПб., 1994.

3. Аронов А.М., Знаменская О.В. Условия индивидуального прогресса школьников в математике. Педагогика развития: социальная ситуация развития и образовательные среды. - Красноярск, 2006.

4. Балыкина Е.Н. Принципы конструирования тестовых заданий в контексте компьютерной реализации (на примере гуманитарных дисциплин). Информационный Бюллетень Ассоциации «История и компьютер», № 30 Материалы VIII конференции АИК. - М., 2002. - С.221-223.

5. Герасименко Д. Тестовые задания. http://ftip.nspu.net.

6. Гласс Д., Стенли Д. Статистические методы в психологии и педагогике. М.: 1981.

7. Гмурман В.Е. Теория вероятностей и математическая статистика, М.: Высш. Шк., 2003. - 479с.: ил.

8. Гуревич К.М. Психологическая диагностика. Учебное пособие. М.: 1997.

9. Давыдов В.В. Теория развивающего обучения. - М., 1996.

10. Ковалева Г.С., Красновский Э.А., Краснокутская Л.П. и Краснянская К.А. Основные результаты международного исследования образовательных достижений учащихся PISA-2000 (краткий отчет). - М., 2002.

11. Крутецкий В.А. Психология математических способностей школьников. - Москва, Институт практической психологии; Воронеж, МОДЭК, 1998.

12. Леонтьев А.Н., Лурия А.Р., Смирнов А.А. О диагностических методах психологического исследования школьников. Советская педагогика. - 1968. - № 7.

13. Майер Р.А., Колмакова Н.Р. Статистические методы в психолого-педагогических и социологических исследованиях: Учебное пособие. Ч.1. - Красноярск, 1997.

14. Майоров А.Н. Теория и практика создания тестов для системы образования.

15. Мониторинг индивидуального прогресса учебных действий школьников, Красноярск: Печатный центр КПД, 2006, - 132с., М.: «Народное образование» 2000 год, 347 с.

16. Нежнов П.Г. Опосредствование и спонтанность в теоретическойкартине развития. Педагогика развития: образовательные интересы и их субъекты. - Красноярск, 2005.

17. Нохрина Н.Н. Тест как общенаучный диагностический метод. http://socis.isras.ru/SocIsArticles/2005_01/noxrinann.doc.

18. Отчет по программе НФПК, на правах рукописи 2005-2006.

19. Семенов Е.Е. Активизация мыслительной деятельности учащихся при изучении математики. - Москва, Просвещение, 1978.

20. Шашкина М.Б. Критерии качества педагогического теста по математике, Современное образование. - 2001. - N 3. - С. 97-101.

21. Шкерина Л.В., Шашкина М.Б. Оценка качества тестов по математике. http://www.kspu.ru/magazine/no4/pub/pr5-1.htm.

22. Хасан Б.И. Индивидуальный прогресс как результат образовательных отношений. Педагогика развития: социальная ситуация развития и образовательные среды. - Красноярск, 2006.

23. Цатурова И.А. Из истории развития тестов в СССР и за рубежом. - Таганрог, 1969.

24. Челышкова М.Б. Конструирование и статистическая обработка тестов, М.: (в печати).

25. Grondlund N.E. How to Construct Achievement Tests. Printice-Hall, Inc., N-J, 1988.

ПРИЛОЖЕНИЕ 1. Примеры заданий теста ЕГЭ.

ЧАСТЬ 1

A1

Найдите значение выражения

при .

A2

Упростите выражение .

1)

1,2

2)

3)

2,4

4)

A3

Найдите значение выражения

если

B1

Решите уравнение .

B2

Найдите значение выражения

если

ЧАСТЬ 2

*B10

Высота правильной четырехугольной призмы равна 8, а сторона основания равна . Найдите расстояние от вершины A до плоскости .

*B11

Дан ромб ABCD с острым углом В. Площадь ромба равна 320, а синус угла В равен 0,8. Высота СН пересекает диагональ BD в точке К. Найдите длину отрезка СК.

C1

Найдите значение функции в точке максимума.

C2

Решите уравнение .

ЧАСТЬ 3

C3

Найдите все значения , которые удовлетворяют неравенству < при любом значении параметра , принадлежащем промежутку

*C4

Дана правильная треугольная пирамида со стороной основания, равной . Центр основания пирамиды является вершиной конуса, окружность основания которого вписана в боковую грань пирамиды. Найдите радиус основания конуса.

ПРИЛОЖЕНИЕ 2. Примеры заданий теста ИП.

1. Целое и части

Задание 1.1. Реши задачу: “ Учащиеся 7-х классов после уроков одновременно разошлись по секциям. Три четверти из них ушло в бассейн, шестая часть отправилась играть в футбол, а остальные занялись бальными танцами. Сколько пар танцоров было в 7-х классах, если всего в этих классах училось 144 человека”?

Решение:

Ответ: В 7-х классах было ________ пар танцоров.

Задание 1.2. Реши задачу: “Винни-Пух, братец Кролик и ослик Иа-Иа гостили у ослика Иа-Иа. После этого все они отправились к Винни-Пуху, где пробыли на 20 минут дольше, чем у ослика. Затем братец Кролик и Винни-Пух пошли к Кролику, где пробыли в три раза дольше, чем у ослика Иа-Иа. Переходы от одного домика к другому заняли вместе на 5 минут меньше времени, чем продолжительность пребывания у ослика. Сколько времени приятели провели у Винни-Пуха, Иа-Иа и братца Кролика, если общая продолжительность пребывания в гостях вместе с переходами составляет 285 минут?”.

Решение:

Ответ: У Винни-Пуха гостили _____ минут. У ослика Иа-Иа гостили _____ минут.

У братца Кролика гостили ____ минут.

Задание 1.3. Реши задачу: “Спросил некто у учителя: сколько у тебя в классе учеников, так как хочу отдать к тебе в ученики своего сына. Учитель ответил: если к моим ученикам придет еще учеников столько же, сколько имею, и полстолько, и четверть столько, и твой сын, тогда будет у меня учеников 56. Сколько учеников было у учителя? ”.

Решение:

Ответ: У учителя было ________ учеников.

2. Мозаики

Компьютерная программа последовательно выдает мозаики из символов - и ♫ как показано на рисунке:

Мозаика 1 (n =1) Мозаика 2 (n =2) Мозаика 3 (n =3)

Здесь n - количество рядов из символов ♫.

Задание 2.1. Какую следующую мозаику выдаст программа? Изобрази ее.

Задание 2.2. Заполни таблицу.

Задание 2.3. Проверь, использует ли программа для подсчета количества символов - и ♫ в зависимости от n следующее правило (поставь галочку против выбранного тобой ответа):

для символа -: Да Нет

для символа ♫: Да Нет

Как ты проверял?

Задание 2.4. Программа подсчитывает количество символов - и ♫ для n рядов следующим образом:

Количество ♫ равно _____________________.

Количество - равно ______________________.

Задание 2.5. Выбери, какую информацию тебе достаточно получить от программы, чтобы ответить на вопрос: «Может ли для какого-нибудь значения n число символов ♫ оказаться равным числу символов -» . Поставь галочку против нужной информации.

Виды информации:

1. Мозаики для нескольких следующих значений n .

2. Таблица, заполненная для нескольких следующих значений n .

3. Правило (формула) для подсчета количества символов -и ♫.

Объясни, почему эта информация лучше других:

Задание 2.6. Может ли для какого-нибудь значения n число символов ♫ оказаться равным числу символов -?

Ответ: ДА НЕТ

Проверь свой ответ:

Задание 2.7. На каких из данных графиков можно изобразить зависимость количества символов - и ♫ от n , если n откладывается по осиx (укажи номер графика):

для количества символов ♫: __; для количества символов -:____.

Объясни свой выбор:

6. Верные утверждения

Задание 6.1. Отметь верные равенства:

Задание 6.2. Отметь верные утверждения цифрой “1”, а неверные – цифрой “0”:

Если целое число раскладывается в произведение множителей, один из которых нечетный, то и само число нечетное.

Неравенство 20,05<20,05+ a ² останется справедливым при любом a .

Если целое число раскладывается в произведение множителей, один из которых четный, то и само число четное.

Произведение двух неотрицательных чисел больше их суммы.

Поясни свой ответ на примерах:

Задание 6.6. Заполните пробел в приведенном ниже тексте, вписав утверждение из рамки так, чтобы рассуждение стало верным.

Текст: “Так как сумма любых двух соседних углов параллелограмма равна

180⁰ и ____________________________________________ , то

сумма любых двух соседних углов ромба равна 180⁰ .”