Билеты: Компьютерные тестирования

Содержание.

Введение ………………………………………………………………………......3

Глава I . Тесты как средства контроля ………………………………………..5

1.1. Схема создания тестовых заданий………………………………………...7

1.2. Применение компьютерного тестирования для контроля знаний. Мотивационный эффект……………………………………………….......14

1.3. Технологии и системы тестирования……………………………………21

1.4. Технология проектирования компьютерных тестов предметной области………………………………………………………………………30

1.5. Методические основы создания компьютерных тестов………………..33

Глава II . Типовые тестирования

2.1. Правила разработки тестового задания и теста…………………………39

2.2. Типовые ошибки разработки тестовых заданий………………………...42

2.3. Основные правила тестирования для тестирующих и испытуемых…..50

2.4. Оценивание тестирования………………………………………………..52

2.5. Анализ и обоснование тестирования…………………………………….57

2.6. Дидактические и методические вопросы организации контроля в компьютерных обучающих средах…………………………………………..62

2.7.Требования, предъявляемые к системам компьютерного тестирования…………………………………………………………………..64

2.8. Работа с тестером ADSoftTester………………………………………...66

Заключение …………………………………………………………………….75

Список литературы …………………………………………………………...77

Приложение ……………………………………………………………………79

Введение.

Переход всего человечества от постиндустриальной фазы развития к информационному обществу ставит перед образовательной средой глобальную проблему – увеличение количества и повышение качества учебной информации, при инвариантном учебном времени, за которое должна быть усвоена эта информация.

Составление компьютерных тестов является довольно сложным делом. Очень важно научиться отличать профессионально сделанный добротный тест от популярно-развлекательного журнального опросника. Настоящий, действенный, валидный и эффективно работающий тест - это завершенный продукт, обладающий определенными свойствами и характеристиками и отвечающий современным методическим требованиям. Тест обладает составом, целостностью и структурой. Он состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. Целостность теста проявляется во взаимосвязи заданий, включенных в тест. Ни одно из заданий не может быть изъято из теста без ущерба для него. Структура же его проявляется в способе связи заданий между собой.

Создание теста предполагает тщательный анализ содержания учебной дисциплины, классификацию учебного материала, установление межтематических и межпредметных связей, укрупнение дидактических единиц с последующим представлением этих единиц через элементы композиции задания.

Одним из путей, обеспечивающих разрешение противоречия, возникшего в составлении тестов, является применение тестирования, как части многих педагогических инноваций. Стало очевидным фактом то, что тесты позволяют получить объективные оценки уровня знаний, умений, навыков и представлений, выявить пробелы в подготовке. В сочетании с обучающими программами на персональных ЭВМ, тесты позволяют перейти к адаптивному обучению и контролю знаний – наиболее эффективным, но, однако наименее применяемым у нас формам организации учебного процесса.

Когда говорят о тестах, всегда упоминаются их важнейшие характеристики – валидность и надёжность, определяющие качество теста, как инструмента педагогического измерения. Мы же поставили своей целью проанализировать мотивационный эффект использования контрольных тестовых заданий.

Существует специальная теория тестирования, оперирующая понятиями надежность, валидность, матрица покрытия и т.д., не специфических именно для компьютерных тестов.

Цель данной работы- показать что с помощью тестирования удобнее проводить проверку знаний учащихся, это занимает меньше времени и дает объективную оценку знаний, что является очень важным в обучающем процессе.

Задачи данной работы:

1. раскрыть тему компьютерного тестирования;

2. показать как создаются тестовые задания, каковы правила разработки тестовых заданий и тестов, как они оцениваются, как производится анализ тестирования, каковы технологии и системы тестирования, какие типовые ошибки допускаются при разработке тестовых заданий;

3. ближе познакомится с работой одного из тестологов, ADSoftTester;

4. основываясь на данном тестере разработать несколько тестов по предметам: информатика и английский язык.

Глава I . Тесты как средства контроля.

Переход всего человечества от постиндустриальной фазы развития к информационному обществу ставит перед образовательной средой глобальную проблему – увеличение количества и повышение качества учебной информации при инвариантном учебном времени, за которое должна быть усвоена эта информация.

Одним из путей, обеспечивающих разрешение этого противоречия, является применение тестирования, как части многих педагогических инноваций. Стало очевидным фактом то, что тесты позволяют получить объективные оценки уровня знаний, умений, навыков и представлений, выявить пробелы в подготовке. В сочетании с обучающими программами на персональных ЭВМ, тесты позволяют перейти к адаптивному обучению и контролю знаний – наиболее эффективным, но, однако наименее применяемым у нас формам организации учебного процесса.

Тестирование является одним из наиболее технологичных методов проведения автоматизированного контроля с заложенными в него параметрами качества.

Компьютерное тестирование

Обучение - многогранный процесс, и контроль знаний - лишь одна из его сторон. Однако именно в ней компьютерные технологии продвинулись максимально далеко, и среди них тестирование занимает ведущую роль. В ряде стран тестирование потеснило традиционные формы контроля - устные и письменные экзамены и собеседования.

По-видимому, многие преподаватели уже прошли через некоторую эйфорию при создании тестов и поняли, что это - весьма непростое дело. Куча бессистемно надерганных вопросов и ответов - далеко еще не тест. Оказывается, что для создания адекватного и эффективного теста надо затратить много труда. Компьютер может оказать в этом деле немалую помощь.

Существует специальная теория тестирования, оперирующая понятиями надежность, валидность, матрица покрытия и т.д., не специфических именно для компьютерных тестов. Не будем в нее углубляться, сосредоточившись в основном на технологических аспектах.

Как отмечалось выше, широкое распространение в настоящее время получают инструментальные авторские системы по созданию педагогических средств: обучающих программ, электронных учебников, компьютерных тестов. Особую актуальность для преподавателей школ и вузов приобретают программы для создания компьютерных тестов - тестовые оболочки. Подобных программных средств существует множество, и программисты-разработчики готовы строить новые варианты, так называемых, авторских систем. Однако широкое распространение этих программных средств сдерживается отсутствием простых и нетрудоемких методик составления тестовых заданий, с помощью которых можно “начинять” оболочки. В настоящем разделе представлены некоторые подходы к разработке компьютерных тестов.

Для упрощения дальнейшего изложения введем ряд определений и понятий.

Прежде чем начать рассматривать данную тему, мы обратимся к словарю компьютерных терминов по информатике с целью выяснения точного определения термина тест. Согласно словарю компьютерных терминов по информатике(В. Д. Валединский) тест(test) –это проверка работоспособности аппаратуры или программы, обнаружение и устранение ошибок. Тестирование является важным этапом при разработке программного обеспечения.

Тестирование - процесс оценки соответствия личностной модели знаний ученика экспертной модели знаний. Главная цель тестирования - обнаружение несоответствия этих моделей (а не измерение уровня знаний), оценка уровня их несоответствия. Тестирование проводится с помощью специальных тестов, состоящих из заданного набора тестовых заданий.

Тестовое задание - это четкое и ясное задание по предметной области, требующее однозначного ответа или выполнения определенного алгоритма действий.

Тест - набор взаимосвязанных тестовых заданий, позволяющих оценить соответствие знаний ученика экспертной модели знаний предметной области.

Тестовое пространство - множество тестовых заданий по всем модулям экспертной модели знаний.

Класс эквивалентности - множество тестовых заданий, таких, что выполнение учеником одного из них гарантирует выполнение других.

Полный тест - подмножество тестового пространства, обеспечивающее объективную оценку соответствия между личностной моделью и экспертной моделью знаний. Эффективный тест - оптимальный по объему полный тест.

Самой сложной задачей эксперта по контролю является задача разработки тестов, которые позволяют максимально объективно оценить уровень соответствия или несоответствия личностной модели знаний ученика и экспертной модели.

1.1. Схема создания тестовых заданий.

Самый простой способ составления тестовых заданий - формирование вопросов к понятиям, составляющим узлы семантического графа, разработка упражнений, требующих для их выполнения знания свойств выбранного понятия. Более сложным этапом является разработка тестовых заданий, определяющих отношения между понятиями. Еще более глубокий уровень заданий связан с их подбором, выявляющим связь понятий между отдельными модулями.

Множество тестовых заданий (тестовое пространство), вообще говоря, согласно принципу исчерпывающего тестирования, может быть бесконечным. Например, для исчерпывающего контроля знании таблицы умножения целых чисел от 1 до 100 необходимо использовать 100х100 всех возможных комбинаций двух чисел. А для всех натуральных чисел тестовое пространство становится бесконечным.

Однако в каждом реальном случае существует конечное подмножество тестовых заданий, использование которых позволяет с большой вероятностной точностью оценить соответствие знаний ученика заданным критериям по экспертной модели знаний (полный тест).

Из полного теста можно выделить эффективный тест (оптимальный по объему набор тестовых заданий, гарантирующий оценку личностной модели ученика заданным критериям). Выбор эффективного теста зависит от удачного разбиения тестового пространства на классы эквивалентности, пограничные условия, создание тестов на покрытие путей и логических связей между понятиями и модулями.

В примере с таблицей умножения одним из классов эквивалентности может выступить множество заданий перемножения всех натуральных чисел на 1: 1*1, 1*2, 1*3 и т.д. Поэтому в тест достаточно включить всего лишь несколько тестовых заданий из этого класса эквивалентности.

В дальнейшем необходим тестовый эксперимент на группе учащихся, который позволит провести корректировку и доводку теста до вида эксплуатации (методика “черного ящика”).

Тест-это система заданий, организованных так, чтобы проверить, что именно и насколько прочно усвоил ребенок из программы.

Тесты в отличии от привычных форм проверки знаний, таких как, контрольные и самостоятельные работы, и др., являются инструментом не столько оценки, сколько диагностики.

Каждый тест снабжен полным перечнем проверяемых понятий и информацией о системе баллов, а также о соответствии между суммой баллов и школьной отметкой.

Тестирование учащихся - это установление факта и степени усвоения учащимися программного материала путем сравнения уровня их знаний и способов действий с требованиями программы и образовательного стандарта. Завершается эта процедура оцениванием.

Рекомендуется применять три вида оценивания результатов обучения : начальную, текущую и итоговую.

Начальное оценивание осуществляется в начале каждой программы обучения с целью определения уровня подготовки ученика на данный момент. Результаты оценивания будут использованы для выбора индивидуальных заданий соответствующей степени сложности.

Текущее оценивание реализуется во время всего дидактического процесса через малые промежутки времени. Ключевые цели учебных программ предусматривают следующие категории знаний и навыков:

· Знание теоретических концептов;

· Знание алгоритмов обработки информации;

· Разработка программ для решения стандартных задач;

· Разработка программ для решения задач, требующих определенную долю творчества;

· Обработка информации на компьютере с помощью стандартных программ или программ разработанных учениками.

Таким образом, цели оценивания непосредственно вытекают из требований предлагаемых упражнений. Оценивание осуществляется при помощи тестирования и письменных контрольных работ.

Итоговое оценивание осуществляется в конце каждой главы, семестра, года. В качестве компонентов инструмента оценивания рекомендуется применять тестовые задания, включающие решение задач на компьютере.

Возрастающая популярность тестов объясняется рядом преимуществ данной системой контроля перед традиционными методами оценки:

1. Исключается влияние субъективных факторов на определение отметки (отношения между учителями и учениками).

2. Оценка, получаемая с помощью теста, более дифференцирована.Высокая точность измерения обеспечивается большей градацией оценки, причем ширина интервалов данной бальной шкалы неравномерна(кто не знает, сколько «оттенков» имеет, например, шестерка).

3. Тестирование обладает высокой эффективностью, поскольку можно одновременно проводить тесты на больших группах учащихся, а обработка результатов проводится легче и быстрее, чем, к примеру, проверка контрольных работ.

4. Тестовые задания дают учащимся обнаружить пробелы в своих знаниях и принимать меры для их ликвидации, поэтому содержание теста может быть использовано не только для контроля и оценки знаний, но и для обучения.

5. Возможен контроль на необходимом, заранее определенном уровне, допуская изменение степени трудности вопросов, включая в качестве вариантов ответа типичные ошибки, встречающиеся на данном уровне.

6. Возможен самоконтроль на предварительном этапе с целью оценки результатов подготовки.

7. Получение объективной оценки знаний, как для учителя, так и для учащегося(пониманием своих ошибок).

8. Фиксируется внимание учащихся не на формирование ответа, а на осмыслении их сути.

9. Возможность свести к минимуму субъективное влияние учителя на результат измерения.

10. Статистическая оценка результатов контроля, а значит и самого процесса обучения.

В настоящее время существуют следующие варианты тестовых контрольных мероприятий:

«автоматический», когда обучаемый выполняет задание в непосредственном диалоге с ЭВМ, результаты сразу переносятся в блок обработки;

«полуавтоматический», когда задания выполняются письменно, а ответы со специальных бланков вводятся в ЭВМ;

«автоматизированный», когда задания выполняются письменно, решения проверяются, а в ЭВМ вводятся результаты проверки.

Инструментальные тестовые оболочки.

Для создания тестов по предметной области разработаны и разрабатываются специальные инструментальные программы-оболочки, позволяющие создавать компьютерные тесты путем формирования базы данных из набора тестовых заданий.

Инструментальные программы, позволяющие разрабатывать компьютерные тесты, можно разделить на два класса: универсальные и специализированные. Универсальные программы содержат тестовую оболочку как составную часть. Среди них “Адонис” (Москва), “Linkway” (Microsoft), “Фея” (Томск), “Радуга” (Москва) и т.п. Специализированные тестовые оболочки предназначены лишь для формирования тестов. Это - “Аист” (Москва), “I_now” (Иркутск), “Тест” (Красноярск) и др.

Для того, чтобы разработать компьютерный вариант теста с помощью одной из названных выше программ, необходимо уяснить, какие формы тестовых заданий они допускают.

Хорошим считается тест, если:

• он восприимчив к угадыванию тестируемым;

• он восприимчив к невнимательности и ошибочным действиям тестируемого;

• он положительно влияет на тестируемого и педагога, который использует тест.

При этом тест используется обучаемым как:

• обучение (тренажер, самоконтроль);

• контроль.

Для учителя тест служит для:

• корректировки учебного процесса;

• использования как вспомогательного средства для контроля (текущего);

• использования как дидактического средства для обучения;

• для дистанционного обучения.

Проблемы использования этих методов тестирования – отсутствие достаточного парка ЭВМ. Не все учебные заведения могут позволить себе оснастить классы дорогостоящим компьютерным оборудованием в достаточном количестве. Отсутствие навыков пользователя ЭВМ у обучаемых.

Приведем пример использования компьютеров, при тестировании. Была разработана компьютерная система контроля знаний, блок – схема которой рассмотрена на рисунке 1. Рассмотрим каждый блок в отдельности.

Банк вопросов − хранилище всех вопросов и заданий, и заданий, предлагаемых студентам при проверке знаний. По каждой теме в банк вводятся вопросы и задачи двух уровней минимального, рассчитанного на получение студентам удовлетворительной оценки, и повышенного, предназначенного для студентов, претендующих на более высокую оценку.

Рис.1. Блок-схема компьютерной система контроля знаний.

Вопросы и задачи заносятся в банк, как правило, вместе с несколькими (обычно 5-10) вариантами ответов. Эти варианты сообщаются студенту одновременно с формулировкой задания, и он должен выбрать из них верный. Возможно, что полным правильным ответом является набор некоторого количества приведенных вариантов.

Банк ответов − содержит правильные ответы к каждому заданию, компьютер сверяет данный студентом ответ с содержанием банка.

Сервис преподавателя − включает широкие возможности варьирования объема проверочной работы и условий её проведения. Однако преподаватель не может изменить формулировки вопросов и условия задач, а так же оценки ответов на каждый из них.

Формирование задания – в соответствии с указаниями преподавателя этот блок создает сценарий проверочной работы для каждого студента, случайным образом выбирая из банка вопросов определяемое преподавателем количество заданий по каждой теме.

Сервис студента − задания предъявляются последовательно, по одному и остаются на экране любое время в пределах отведенного.Отвечать на вопросы можно в произвольном порядке.

Блок управления − обеспечивает нормальное функционирование системы проверки знаний и позволяет вводить в процессе работы необходимые коррективы.

Блок формирования оценок − сравнение ответа студента с содержанием банка ответов, и в соответствии с выбранным режимом оценивания, фиксирует оценку ответа в баллах.

Протоколы, статистика − записывает в память компьютера фамилию учащегося, распределение набранных баллов.

Данная система, описанная выше, имеет преимущества. Внедрение её в образовательные учреждения, дало бы положительный результат, но, нужно чтобы тесты, создаваемые с привлечением компьютерных технологий, были максимально просты в использовании, и не требовали специальной подготовки для работы на компьютере.

1.2. Применение компьютерного тестирования для контроля знаний. Мотивационный эффект.

Наиболее рациональными путями, обеспечивающими экономию времени, является интенсификация учебного процесса, изменение общей организации обучения и переход от групповых форм занятий к индивидуальным, автоматизированным.

Это одна сторона вопроса, но хотелось бы рассмотреть и другой, тоже, важный аспект использования компьютерных форм тестирования. Изюминка здесь заключается в том, что использование тестовых заданий значительно усилило мотивацию обучаемых.

Дело в том, что когда говорят о тестах, всегда упоминаются их важнейшие характеристики – валидность и надёжность, определяющие качество теста, как инструмента педагогического измерения. Можно предположить, что проанализировав мотивационный эффект использования контрольных тестовых заданий, выделить десять наиболее существенных, на наш взгляд, факторов, повышающих мотивацию обучения.

При использовании тестовых заданий, можно отметить проявление следующих положительных и довольно явно выраженных изменений в поведении учащихся:

а) повысится активность работы на занятиях;

б) усилится интерес к освоению существующего программного обеспечения и разработке новых программ;

в) появится дух состязательности;

г) увеличится количество положительных эмоций в ходе занятия;

д) появится устойчивое стремление "победить" компьютер, доказав при этом наличие твёрдых знаний предмета;

е) усилится интерес к самостоятельной подготовке.

Это можно объяснить теми факторами, которые рассмотрены ниже.

1. Присутствие в ходе тестирования элемента необычности, который схож с игровой ситуацией . Программное обеспечение ЭВМ выступило вдруг в необычной роли. На практике подтвердилось то, что говорилось на лекциях о многогранных возможностях компьютерной техники. Процесс взаимодействия оператора с ЭВМ изменился с точки зрения выполнения ролей. Теперь ЭВМ начала ставить задачи, а оператор должен был искать на них ответы. Электронные таблицы, которые использовались, как инструмент для вычислений, вдруг предстали в роли экзаменатора.

Первые ощущения описываются, как сильное удивление смешанное с большим желанием попробовать свои силы. Анализ рефлексии обучаемых говорит о том, что во время компьютерного тестирования не возникает мыслей о том, что вопросы составлены преподавателями. Обучаемые оказываются целиком поглощены "поединком с компьютером". Аналогичное тестирование на бумажных носителях у многих обучаемых после получения бланка с вопросами вызывает мысли подобного рода "…ну что ещё в этот раз напридумывали". Наиболее сильны подобные ощущения у обучаемых, которые до поступления в учебное заведение не имели контакта с компьютерной техникой.

Для большинства обучаемых тестирование напоминает игру. Отсюда можно сделать вывод о том, что создание более "живого" или игрового интерфейса оболочки тестирующих программ усилит этот эффект даже для хорошо подготовленных учащихся. Наличие подобной рефлексии может объясняться широким распространением компьютерных игр, их огромной популярностью среди молодёжи. Особо хочется обратить внимание на результат такой рефлексии. Дело в том, что реакция человека получившего неудовлетворительную оценку при тестировании, практически, аналогична реакции человека, который проиграл в какую-либо игру.

Отсутствует недовольство, как таковое, появляется азарт, который проявляется в просьбах попробовать "ещё разок", причём немедленно. Естественно, пробовать предлагается после дополнительных самостоятельных занятий.

2. Получение мгновенного результата на глазах тестируемого, по сравнению с контрольными работами , которые объявляются через некоторое время и вызывают недоверие у учащихся. Можно предположить, что большинство обучаемых высказывают элементы недоверия, когда результаты "летучек" и контрольных объявляются через какое-то время после проведения контроля, особенно, когда не проводится разбор. Причём, чем больше пауза между проведением контроля и объявлением оценок, тем больше вероятность неадекватной реакции обучаемого. Каждому преподавателю, думаем, знакомо неизменное желание обучаемого взглянуть на работу своими глазами и увидеть там именно ту оценку, которая объявлена.

В противном случае есть шанс услышать историческую фразу "У меня там всё было правильно написано". Открытый процесс тестирования "отметает" всякие сомнения. Поведение тестируемых в момент получения результата выявило неожиданный эффект. Наличие игрового момента приводит к тому, что производится мгновенная самооценка, которая проявляется в мимике, жестах, словах, но направлена на себя лично, а не на задания, кафедру, преподавателя.

Данная самооценка, подкреплённая соответствующими комментариями преподавателя, очень сильно влияет на учебную активность обучаемого.Каждый преподаватель может сравнить поведение обучаемых на занятиях, когда проводится контроль с использованием тестовых заданий, которые выдаются на бумажных носителях и тестах в электронном виде.

3. Исключение предвзятого отношения в оценке обучаемого . Всем известна определённая категория обучаемых, которые уверены в том, что "…уж мне-то никогда он (она) хорошей оценки не поставит". Причины для этого могут быть различные, но суть одна – обучаемый может быть уверен в предубедительном к нему отношении или просто делать вид, что такое отношение имеет место. Это один из поводов не заниматься качественным изучением предмета, так как это якобы бесполезно.

Результаты проверки любой работы могут быть истолкованы с описанной позиции. Тестирование с помощью ЭВМ практически исключает такое отношение, особенно если разрешить обучаемым выбирать варианты тестовых заданий по своему усмотрению. Наблюдается состояние психологического комфорта, особенно у конфликтных учащихся. Поэтому результат тестирования трактуется в большей степени не как выражение отношения преподавателя, а как необходимость лучше учиться. Этот фактор перекликается со следующим.

4. Трудность и объём тестовых заданий для всех групп обучаемых практически одинаковы, что даёт возможность проведения соревнования между обучаемыми и группами по результатам тестирования . Этому же способствует то, что тест оценивается не по 10-и бальной шкале, принятой в традиционном обучении, а по шкале, которая может содержать 30 и более балов. Это помогает лучше дифференцировать оценку обучаемых.

5. Возможность тестирующих программ работать в режиме обучения . Использование компьютера для интерактивного обучения побуждает больший интерес к самому процессу обучения. Обучающий режим тестирования вызывает необыкновенную активность в аудитории, особенно после первых неудачных попыток выполнить контролирующее тестовое задание. Данный режим позволяет снять недоверие к правильности работы компьютера, объективности оценки; показывает, что все вопросы имеют определённые ответы и, зачастую совсем не такие, как казалось.

Именно этот элемент создаёт дополнительную мотивацию для работы с учебником. Объясняется всё очень просто. Если тест составлен качественно, то в его составе достаточное количество сильных дистракторов (вариантов ответов). Наличие этих дистракторов служит основой неправильных ответов. Обучаемый убеждается, что вероятность отгадывания правильных ответов очень мала. Это вызывает желание взять конспект лекции или учебник и разобраться, найти правильные ответы на вопросы тестовых заданий.

6. Стремление обучаемых победить технику, доказать ей своё превосходство . Этот аспект выражается фразой обучаемых "всё равно я умнее". Обучаемый согласен с чем угодно, – что он не готов, что получил плохую оценку, что нужно ещё готовиться и сдавать материал. Но он не согласен с тем, что машина "умнее". Это положительный раздражитель, который вызывает хорошую спортивную злость и удваивает силы для обучения. Обучаемый – живой человек и он не может смириться с тем, что "железный ящик" ставит его в неудобное положение. То, что тесты составлены тоже людьми и сам компьютер творение человека, отступает на второй план. Этот эффект объясняется тем, что любой обучаемый психологически зависим от преподавателя.

Логично предположить, что обучаемый считает, что преподаватель всегда "умнее" и в ходе опроса тягаться с ним бесполезно. Всем известна фраза "…ему (ей) ничего не докажешь". Смириться же с оценкой, выставленной ЭВМ гораздо сложнее, а для кого-то, практически невозможно. Отсюда довольно настойчивое желание победить (доказать). Нужно отметить, что по отношению к преподавателю такое желание возникает далеко не всегда.

7. Простота использования и быстрота выполнения тестов . Данный фактор создаёт иллюзию простоты и доступности материала, а также лёгкости самого процесса обучения. Это мощный движущий стимул. Обучаемый, который на 100% уверен в том, что при определённом усилии материал можно выучить на "отлично" – уже на голову выше того, кто считает, что задача невыполнима и за неё по этой причине не стоит браться. Ответ за 15 минут на большинство вопросов тестового задания и получение отличной оценки отдельными учащимися на глазах у всей группы создаёт ощущение лёгкости и простоты процесса тестирования, вызывает стремление к подобным результатам.

Дело за малым… Поразительные изменения отмечаются в поведении обучаемых. На вопрос о неудаче, практически невозможно услышать никакой другой причины, кроме как личной неподготовленности.

8. Наличие нескольких готовых вариантов ответа . Обучаемые считают, что этот фактор на 60-70% предрешает получение положительных результатов тестирования. Никакие неудачи переубедить их в этом не могут. Из-за этого фактора зачастую теряется страх перед контролем, – это тоже хорошо, так как тестируемый чувствует себя более уверенно и раскованно.

Появляется ощущение простоты тестовых заданий. И в этой кажущейся простоте изюминка – обучаемый считает, что ему не хватило "чуть-чуть", что учебник только "глянуть одним глазком" и всё будет в норме. Таким образом, стимул к занятиям появляется, как бы сам собой. Если проанализировать метод опорных сигналов, будет ясно, почему наличие знакомых понятий, символов, а порой и рисунков в качестве возможных вариантов ответа на экране, создаёт ощущение простоты и доступности материала. Появление ощущения одного шага до успеха значительно увеличивает активность.

9. Неизбежность контроля. При проведении обычного занятия контроль, как правило, выборочен, поверхностен, позволяет многим обучаемым думать так: "Авось пронесёт". При проведении компьютерного тестирования производится контроль каждого обучаемого по всем вопросам темы. Это мобилизует обучаемых на тщательную подготовку к занятию.

10. Повторяемость результатов при повторном тестировании, в случае отсутствия дополнительной подготовки после первой попытки . Тестовые задания, составленные с высокой надёжностью, обеспечивают практически полное повторение предыдущих результатов при повторном тестировании. Обучаемые каждый раз заново убеждаются, что простого угадывания не получается, одного везения недостаточно для хорошей оценки – нужны знания. Адекватной реакцией является крепнущее сознание необходимости тщательного изучения учебников и конспектов лекций.

11. Работа обучаемого на ЭВМ в режиме контроля побуждает его разобраться в устройстве тестовой программы, в принципах её работы . Вопрос: "Как устроена данная программа?" –один из первых, который возникает у тестируемых. Второй вопрос, естественный для обучаемого – как можно обойти, обмануть программу. Необходимость получения знаний в этой области побуждают к дополнительному изучению литературы и устройства компьютерной техники.

Почувствовать себя в роли "хакера", способного взломать тестирующую программу, посмотреть её секреты, можно только после определённых усилий, причём довольно значительных. Это создаёт дополнительный стимул в изучении дисциплины "Информатика".

Таковы основные факторы, влияющие на повышение мотивации процесса обучения при использовании компьютерных тестирующих программ. Ещё раз напомним, что речь идёт о промежуточном контроле, а проведение итогового контроля – отдельная большая тема, т. к. данный процесс значительно отличается методикой подготовки и рефлексией тестируемых.

Предугадывая появившиеся сомнения, хочется сказать, что свободное использование тестовых заданий при подготовке не ведёт к искусственному повышению результативности. Банк вопросов позволяет своевременно производить обновление тестовых заданий, исключать их повторение и в результате улучшать качество проработки материала.

1.3. Технологии и системы тестирования.

Проблема автоматизированного проектирования педагогических тестов, видимо, в ближайшее время не может быть корректно и достаточно полно разрешенной, в частности, из-за ситуационного многообразия и отсутствия четких критериев автоматизации такой плохо формализуемой проблемы. Тем не менее, попытаемся изложить основные принципы автоматизированной разработки тестов и тестирования.

Технология компьютеризированного тестирования должна обладать основными характеристиками:

1. наличие интерактивной инструментальной среды;

2. мультипредметное применение;

3. адекватное отражение конструируемой модели предметной области в процессе тестирования;

4. возможность выбора алгоритма тестирования;

5. интегрируемость в различные образовательные технологии;

6. профилируемость;

7. масштабируемость;

8. доступность;

9. дружественность пользовательского интерфейса;

10. ведение базы тестовых многоуровневых заданий;

11. настраиваемое планирование и управление;

12. нацеленность на достижение более высоких результатов и повышение мотивации.

Компьютерные тесты обладают рядом преимуществ по сравнению с традиционными тестами:

Отмечу особенности компьютерного тестирования, которые невозможно реализовать при бланковом тестировании.

· Повышается интенсивность обучения. Стала возможна проверка большого объема учебного материала.

· Обеспечивается высокая объективность оценивания результатов.

· Усиливается доля самостоятельной работы.

· Работа за компьютером приучает к точности.

· Компьютерные тесты обеспечивают быструю и качественную обратную связь. Результаты работы сразу становятся известны: сколько заданий верно, оценка. Ученик сразу увидит ошибки и может их исправить.

Компьютерное тестирование обладает также рядом преимуществ, которые позволяют:

· Применять новые адаптивные алгоритмы тестового контроля;

· Использовать в тестах мультимедийные возможности компьютеров;

· Уменьшить объем бумажной работы и ускорить подсчет результатов;

· Упростить администрирование и проводить тестирование круглый год;

· Обеспечить комфортные условия работы для каждого тестируемого;

· Повысить секретность и оперативность передаваемой информации, снизить затраты на организацию и проведение тестирования.

При составлении программы тестирования учтены общие требования к составлению тестов: вариативность содержания, однозначность ответа, краткость заданий. Последовательность тестовых заданий определяется по принципу: от более простого к сложному.

В разработке использованы разные тестовые формы: тесты на установление соответствия, задания с кратким ответом. Конечно, в последнее время предпочтение отдается открытой форме заданий, в которых вероятность отгадывания равна нулю. Но это не значит, что остальные формы не позволяют сделать хороший тест.

При подготовке к экзамену, рекомендуется проводить компьютерное тестирование систематически. Провести тренировочный тест.

В обучающих системах используют два принципа контроля знаний:

1. оценка действий обучаемого и определение уровня его знаний по знаниям о предметной области и правилам оценки действий обучаемого;

2. стандартизированный контроль знаний по выборке специальных заданий и по его ответам на них (тестовый).

Современное тестирование характеризуется интенсивной заменой классических тестов и классического тестирования так называемыми "адаптивными тестами" или "тестами с изменяющейся структурой".

Адаптивное тестирование определяется М.Б.Челышковой как "совокупность процессов генерации, предъявления и оценки результатов выполнения адаптивных тестов, обеспечивающая прирост эффективности измерений по сравнению с традиционным тестированием благодаря оптимизации подбора характеристик заданий, их количества, последовательности и скорости предъявления применительно к особенностям подготовки тестируемых".

Автоматизированная система тестирования – интегрированный программно-технический комплекс для тестирования в автоматизированном (человеко-машинном) режиме.

Адаптивное тестирование – вариант автоматизированной системы тестирования, в которой априори известны параметры трудности и дифференцирующая способность каждого задания.

Адаптивное тестирование должно удовлетворять следующим требованиям:

1. Регулируемость пропорций предъявляемых легких, средних и трудных заданий в зависимости от числа правильных ответов тестируемого.

2. Регулируемость пропорций предъявляемых различных тематических разделов учебной программы в тесте.

3. Регулируемость уровня сложности предъявляемых тестов с учетом семантической компетенции тестируемого.

4. Включение адаптивного механизма перевода на более высокий уровень заданий на одном и том же уровне предъявляемых заданий

5. Каждое задание более высокого уровня оценивается более высокими баллами.

Немалую роль в этом сыграло и развитие дистанционного обучения, WWW-ориентированное обучение (WBE – Web-Based Education или WBT – Web-Based Training). WWW-тестирование (часто называемое Интернет-тестированием) используется не только для обучения, но и для самообучения (самотестирования) в онлайновом обучении и контроле (on line – дословно "на линии").

Основные принципы, которые должны быть присущи веб-тестированию:

1. гуманистичность;

2. приоритетность педагогического подхода;

3. адекватность выбора контента;

4. обеспечение безопасности и конфиденциальности;

5. тренинг, компьютерная грамотность;

6. адекватность технологии и информационной модели предметной области;

7. мобильность;

8. гибкость;

9. массовость;

10. рентабельность и др.

Различны и технологии поддержки, причем от них и зависит степень поддержки, в частности, форма хранения тестов – статическая (например, HTML-код) или динамическая (например, CGI-скрипты, Java-машина или GUI – специализированное графическое представление вопроса).

Различаются они и по форме генерации заданий:

1. по простому статическому шаблону;

2. простым непараметризованным выбором из банка;

3. генерацией по поисковому образцу из базы;

4. параметризованным выбором из базы с помощью метода данных задания (теста) – тип, ключевые слова, раздел, сложность.

Наиболее перспективный подход – адаптивная генерация заданий.

Такие системы генерируют задания, наиболее адаптированные к уровню достижений обучающегося.

К сожалению, Web–обучение имеет и отрицательные стороны, так как оно оторвано от обычного человеческого общения.

В последнее время активно развивается m-Learning ("Мобильное обучение", точнее, "Обучение на основе мобильных технологий и средств" – карманных компьютеров (КПК), смартфонов (сотовых телефонов с расширенным набором функций), ноутбуков или других устройств с минимальными ресурсами с минимальной необходимостью использования "специального" места обучаемого и "специального" времени для обучения).

В частности, в рамках программы Европейской комиссии "Leonardo da Vinci" (программа профессионального обучения в течение всей активной жизни) при поддержке компании Ericsson и некоторых европейских университетов дистанционного обучения в 2003 году реализован проект "From e-Learning to m-Learning" ("От электронного обучения – к мобильному"). Разработана специальная система mLMS (Mobile Learning Management System) для управления мобильным обучением (с помощью карманных компьютеров, мобильных телефонов).

Другой проект Евросоюза "m-Learning" (Великобритания, Италия, Швеция) ориентирован на молодежь с высоким фактором риска социального неравенства и разрабатывает систему LMS обеспечивающую доступ к интерактивным учебным материалам.

В Институте точной механики и оптики (С-Петербург) разработана система тестирования на основе карманных персональных компьютеров пользователей и удаленного сервера базы данных (тестов).

Принципы m-Learning используются активно за рубежом и начали использоваться и в нашей стране (например, в Интернет-университете информационных технологий).

Хотя возможности m-Learning и ограничены (трудно использовать страницы, рисунки, таблицы и меню большой разрешающей способности и размера, всплывающие диалоговые окна и др.), оно имеет большую инновационную привлекательность.

Инструментальные системы учебного назначения обычно предназначены для настройки на любую предметную область.

Существует множество автоматизированных систем обучения и контроля. Наиболее часто встречаются так называемые обучающие программы, разработанные на основе эмпирического подхода, определенный педагогический опыт и здравый смысл (системы "от учебного предмета"). Как правило, у них низкая дидактическая эффективность (по зарубежным оценкам, эффективными являются не более 10% таких программ, а число непригодных – около 90%).

Рассмотрим некоторые системы.

1. Lotus Learning Space – средство разработки обучающих мультимедиа-курсов. Пакет Learning Space поддерживает три способа обучения: самостоятельное и пошаговое, без тьютора и контроля (материалы на веб-сервере, в базе данных или на носителе).

2. ToolBook – средство создания мультимедиа–приложений обучающего характера. Позволяет создавать тесты, встраивать их в контент и проводить тестирование. Имеется также набор стандартных видов тестов, которые легко встраиваются в создаваемый контент.

3. WebCT – интегрированная среда разработки и использования сетевых курсов. Тестирующая система WebCT позволяет использовать основные типы тестовых заданий, включая и развернутый ответ.

4. eLearning Office – система разработки мультимедиа-приложений: электронных каталогов, энциклопедий, учебников, презентаций, поисковых систем и других. Включает систему интерактивного тестирования для самопроверки знаний учащегося с заданиями, которые могут быть трех типов (с вариантами выбора ответов, с вводом строки ответа и на соответствие ответа) и включать аудио- и видео-фрагменты, а также графические объекты. Есть режим контроля результатов тестирования. Преподаватель может выставлять оценки обучаемым автоматически или самостоятельно, контролируя неправильные ответы.

5. tTester – разработка, которая позволяет создавать тесты, объединять тесты в один тест, редактировать тесты, создавать "бумажные" версии тестов и их печать и др.

6. АСТ-Тест – инструментальная среда для разработки педагогических тестов и адаптивного тестирования с использованием OLE-технологии и мультимедиа. Имеет модули "Конструктор тестов", "Система тестирования".

7. АИССТ – Автоматизированная Интерактивная Система Сетевого Тестирования для проведения контроля знаний обучающихся, создания и настройке предметного материала, администрирования работы системы.

8. Гефест – сетевая адаптивная информационно-обучающая система, использующая методы теории автоматов и марковских процессов. В модель адаптивного управления обучением включены объекты "Устройство адаптивного обучения (формирование вопросов и задач, контроль ответов и оценка знаний)", "Модель обучающегося".

9. LERSUS – программная система (редактор) для быстрой разработки и стандартизации электронных (в том числе, веб-контента с использованием видео, аудио, Java, Flash) или печатных учебных материалов в виде интерактивного веб-контента без непосредственного (процедурного) программирования и дизайнерских усилий, организует интерфейсную поддержку и импорт-экспорт при разработке тестов.

10. М-Тест – инструментальная среда для поддержки адаптивного тестирования и аттестации сотрудников. Позволяет конструировать мультимедийные задания основных форм, используя технологию связывания объектов OLE, создавать банки таких заданий, визуализировать результаты тестирования (протоколирование), вести статистику.

11. IRT–технология (методология) адаптивного тестирования, получившая название "Тест интеллектуального потенциала" для экспресс-диагностики интеллектуальных способностей людей различных возрастных групп.

Есть и другие аналогичные системы.

Стоит отметить, что системы обучения и контроля должны иметь критерии адекватности.

Отметим следующие критерии адекватности образовательных WWW-ресурсов:

1. качество закрепления материала (в частности, для тестирующих систем);

2. качество и структурированность учебного материала (для электронных учебников);

3. актуализация структурированного знания (для поисковых систем);

4. эффективная обратная связь (для образовательных телеконференций);

5. визуализация (для визуальных сред программирования);

6. виртуализация (для моделирующих сред);

7. создание новых операционных возможностей или актуализация "старых" новыми структурами (для микромиров);

8. связность нового и старого знания (для когнитивных сред);

9. обеспечение перехода на новый продуктивный уровень деятельности обучаемых (для креативных средств и сред);

10. снижение стоимости и времени (для CASE-систем);

11. повышение интеллектуальной поддержки процесса принятия решений (для нейросистем);

12. качество обеспечения коммуникативности (для интрасетей и экстрасетей) и др.

Образовательная система должна реагировать на наблюдаемые несоответствия и скачки в окружении, в обществе, адаптируясь и извлекая уроки из критических ситуаций.

Необходим переход от парадигмы обучения к парадигме учения, от парадигмы обучения функционирующим изолированным системам. Необходима парадигма актуализации, усиления и изучения системно-синергетических связей открытой системы и его окружения, изучения и предвидения эволюции систем. Особенно важно такое предвидение в образовательных системах, так как в них достаточно большой цикл эволюции.

1.4. Технология проектирования компьютерных тестов предметной области.

Экспертами чаще используется метод нисходящего проектирования модели знаний (технология “сверху - вниз”). Вначале строится генеральное содержание предметной области с разбивкой на укрупненные модули (разделы). Затем проводится детализация модулей на элементарные подмодули, которые, в свою очередь, наполняются педагогическим содержанием .

Другой метод проектирования “снизу - вверх” (от частного к общему) в большинстве случаев реализуется группой экспертов для разработки модели знаний сложной и объемной предметной области или для нескольких, близких по структуре и содержанию, предметных областей.

Каждый модуль предполагает входящую информацию, состоящую из набора необходимых понятий из других модулей и предметных областей, а на выходе создает совокупность новых понятий, знаний, описанных в данном модуле.

Модуль может содержать подмодули. Элементарный подмодуль - неделимый элемент знания - может быть представлен в виде базы данных, базы знаний, информационной модели. Понятия и отношения между ними представляют семантический граф.

Модульное представление знаний помогает:

• организовать четкую систему контроля с помощью компьютерного тестирования, поскольку допускает промежуточный контроль (тестирование) каждого модуля, итоговый контроль по всем модулям и их взаимосвязям, а также эффективно использовать методику “черного ящика”;

• осуществлять наполнение каждого модуля педагогическим содержанием;

• выявить и учитывать семантические связи модулей и их отношения с другими предметными областями.

Проектирование модели знаний играет важную роль. для образовательного процесса. От этого в конечном счете зависит обучающая среда: учитель с его квалификацией и опытом, средства и технологии обучения, а главное - контроль обучения.

Модульный принцип построения модели знаний позволяет использовать принцип исчерпывающего контроля - полный перебор всех тестовых заданий для заданной предметной области, что характерно для итоговых измерений уровня обученности.

Можно выделить два принципиальных способа контроля (тестирования) некоторой системы:

1) метод “белого ящика” - принцип тестирования экспертной модели знаний;

2) метод “черного ящика” - тестирование некоторой сложной системы по принципу контроля входных и выходных данных (наиболее подходит к компьютерному тестированию).

Типы компьютерных тестов.

В соответствии с моделью знаний выделим три класса компьютерных тестов на знания, умения и навыки. Отметим, что типы компьютерных тестовых заданий определяются способами однозначного распознавания ответных действий тестируемого.

1. Типы тестовых заданий по блоку “знания”:

• вопросы альтернативные (требуют ответа да - нет);

• вопросы с выбором (ответ из набора вариантов);

• вопросы информативные на знание фактов (где, когда, сколько);

• вопросы на знание фактов, имеющих формализованную структуру (в виде информационной модели или схемы знаний);

• вопросы по темам, где имеются однозначные общепринятые знаковые модели; математические формулы, законы, предикатные представления, таблицы;

• вопросы, ответы на которые можно контролировать по набору ключевых слов;

• вопросы, ответы на которые можно распознавать каким-либо методом однозначно.

2. Типы тестовых заданий по блоку “навыки” (распознание деятельности: манипуляции с клавиатурой; по конечному результату):

• задания на стандартные алгоритмы (альтернативные да - нет, выбор из набора вариантов);

• выполнение действия.

3. Типы тестовых заданий по блоку “умения”. Те же самые, что навыки, но использующие нестандартные алгоритмы и задачи предметной области при контроле времени их решения:

• задания на нестандартные алгоритмы (альтернативные да - нет, выбор из набора вариантов);

• выполнение действия.

Выбор типов тестов определяется:

• особенностями инструментальных тестовых программ (тестовыми оболочками);

• особенностями предметной области;

• опытом и мастерством экспертов.

1.5. Методические основы создания компьютерных тестов.

Составление компьютерных тестов является довольно сложным делом. Очень важно научиться отличать профессионально сделанный добротный тест от популярно-развлекательного журнального опросника. Настоящий, действенный, валидный и эффективно работающий тест - это завершенный продукт, обладающий определенными свойствами и характеристиками и отвечающий современным методическим требованиям. Тест обладает составом, целостностью и структурой. Он состоит из заданий, правил их применения, оценок за выполнение каждого задания и рекомендаций по интерпретации тестовых результатов. Целостность теста проявляется во взаимосвязи заданий, включенных в тест. Ни одно из заданий не может быть изъято из теста без ущерба для него. Структура же его проявляется в способе связи заданий между собой.

Создание теста предполагает тщательный анализ содержания учебной дисциплины, классификацию учебного материала, установление межтематических и межпредметных связей, укрупнение дидактических единиц с последующим представлением этих единиц через элементы композиции задания.

Тесты бывают двух видов:

Традиционные.

Традиционные тесты представлены в виде системы заданий возрастающей трудности, имеющие специфическую форму, позволяющие качественно и эффективно измерить уровень и оценить структуру подготовленности студентов.

При этом в зависимости от того, по скольким учебным дисциплинам включены в тест задания, традиционные тесты разделяют на гомогенные (проверяющие знания по одному предмету) и гетерогенные (по нескольким предметам).

Нетрадиционные.

Нетрадиционные тесты представлены интегративными, адаптивными и критериально-оценочными тестами.

Критериальные - нацелены на общую итоговую диагностику подготовленности выпускника учебного заведения. В одном тесте предъявляются знания из двух и более учебных дисциплин. Проведение подобного тестирования проводится, как правило, при интегративном обучении.

Адаптивные тесты позволяют регулировать трудность предъявляемых заданий в зависимости от ответов тестируемого. При успешном ответе компьютер выдает следующее задание, более трудное по сравнению с предыдущим, а в случае неудачи - более легкое.

Критериально-оценочные тесты предназначены для того, чтобы узнать, какие элементы содержания учебной дисциплины усвоены, а какие - нет. При этом они определяются из так называемой генеральной совокупности заданий, охватывающей всю дисциплину в целом.

Существуют три основные формы тестовых заданий:

1. Задания с выбором одного или нескольких правильных ответов. Среди этих заданий выделяются такие разновидности, как:

1.1. Выбор одного правильного ответа по принципу: один - правильный, все остальные (один, два, три и т.д.) - неправильные.

1.2. Выбор нескольких правильных ответов.

1.3. Выбор одного, наиболее правильного ответа.

2. Задания открытой формы.

Задания сформулированы так, что готового ответа нет; нужно

сформулировать и вписать ответ самому, в отведенном для этого месте.

3. Задания на установление соответствия, где элементам одного множества требуется поставить в соответствие элементы другого множества.

4. Задания на установление правильной последовательности (вычислений, действий, шагов, операций, терминов в определениях).

Для компьютерного контроля знаний, осуществляемого в виде тестов, больше всего подходят задания с выбором одного правильного ответа. Среди этих тестов наиболее распространенными в настоящее время являются тесты с возможностью выбора правильного ответа из:

1. двух предложенных вариантов ответа;

2. трех предложенных вариантов.

Выбор формы зависит от:

1. цели тестирования;

2. содержания теста;

3. технических возможностей;

4. уровня подготовленности преподавателя в области теории и методики тестового контроля знаний.

Каждая из форм позволяет проверить специфические виды знаний. Проверять с помощью тестов имеет смысл актуальные знания, которые студенты должны уметь применять на практике. Проверяются знания, находящиеся в оперативной памяти, то есть, не требующие обращения к справочникам, словарям, картам, таблицам и т.п. Приведем классификацию видов и уровней знаний, разработанную В. Аванесовым:

1. Знание названий, имен.

2. Знание смысла слов, названий и имен.

3. Знание фактов.

4. Знание определений.

5. Сравнительные, сопоставительные знания.

6. Знание противоположностей, противоречий, антонимов и т.п. объектов.

7. Ассоциативные знания.

8. Классификационные знания.

9. Причинные знания, знание причинно-следственных отношений, знание оснований.

10. Процессуальные, алгоритмические, процедурные знания.

11. Технологические знания.

12. Вероятностные знания.

13. Абстрактные знания.

14. Методологические знания.

При разработке компьютерного теста очень важно продумать уровень его трудности в целом и отдельных тестовых заданий. Традиционно вопросы располагаются в порядке возрастающей трудности. Больше всего в процентном отношении составляется вопросов средней трудности. При подборе заданий необходимо ориентироваться на общий уровень подготовленности тестирующихся. Так, например, при прохождении тестирования слабой по подготовленности группы студентов, трудные задания теста "не работают", так как ни один учащийся не может на них ответить. У сильной группы студентов не будут "работать" слабые задания и т.п.

Самым лучшим можно считать тест, в котором заложено широкое содержание, и оно охватывает более глубокие уровни знаний. Разработчики тестов должны придерживаться следующих принципов:

· Тест должен соответствовать целям тестирования;

· Нужно определить значимость проверяемых знаний в общей системе проверяемых знаний;

· Должна быть обеспечена взаимосвязь содержания и формы теста;

· Тестовые задания должны быть правильными с точки зрения содержания;

· Должна соблюдаться репрезентативность содержания учебной дисциплины в содержании теста;

· Тест должен соответствовать уровню современного состояния науки;

· Содержание теста должно быть комплексным и сбалансированным;

· Содержание теста должно быть системным, но, вместе с тем, вариативным.

В начале любого теста дается краткая инструкция по выполнению задания, например: "Выберите правильный ответ…", "Выберите наиболее правильный ответ…", "Впечатайте в свободном поле ответ…" и т.п. Если задания представлены в одной форме, инструкция пишется один раз для всего теста. Если же тест включает различные задания, то перед каждым новым заданием пишется новая инструкция. Текст задания, как правило, пишется прописными буквами или жирным шрифтом для того, чтобы зрительно сразу же отделить само задание от вариантов ответа.

Текст заданий (и ответов!) компьютерных тестов необходимо делать кратким и лаконичным. Краткость обеспечивается тщательным подбором слов, символов, графиков, позволяющих минимумом средств добиваться максимума ясности смысла задания. Полностью должны исключаться повторы слов, малопонятные, редко употребляемые слова, а также неизвестные учащимся символы, иностранные слова, затрудняющие восприятие смысла.

Одно из важных требований при тестировании - наличие заранее разработанных правил выставления баллов. В общем случае применения тестов за правильный ответ в каждом задании дается один балл, за неправильный - ноль. Сумм всех баллов, полученных студентом, дает число правильных ответов. Это число ассоциируется с уровнем его знаний и с понятием "тестовый балл испытуемого". Но существуют и другие, более сложные схемы оценивания, например, рейтинговые.

Какие общие требования предъявляются к заданиям в тестовой форме?

· логическая форма высказывания;

· правильность формы;

· краткость;

· наличие определенного места для ответов;

· правильность расположения элементов задания;

· одинаковость правил оценки ответов;

· одинаковость инструкции для всех испытуемых;

· адекватность инструкции форме и содержанию задания.

Глава II. Типовые тестирования.

2.1. Правила разработки тестового задания и теста.

Существуют различные тесты с множественными заданиями, которые требуют точного составления и анализа. Поэтому существуют правила разработки тестовых заданий и тестов.

Тестовое задание должно быть сформулировано ясно и четко, всегда ориентировано на получение однозначного заключения. Нужно стараться формулировать задание в виде одного предложения, а оно должно быть легко воспринимаемым каждым испытуемым.

Задание теста должно проверять конкретное знание, умение или конкретные навыки испытуемых. Тестовые задания должны быть информативными на всем диапазоне изменения уровня сложности.

Необходимо использовать простую, грамматически правильную утвердительную форму задания в виде одного предложения из 5–20 слов, без оборотов, используя простые придаточные предложения, без переноса фрагмента тестового задания на новую страницу.

Не использовать в заданиях "нестрогие" слова типа "иногда", "часто", "всегда", "все", "никогда", "большой", "небольшой", "малый", "много", "меньше", "больше" и грамматические обороты типа "Почему не может не…", "Правда ли, что …", "Возможно ли…" и др.

Ответы должны содержать не более 2–3 ключевых слов по условию вопроса. Желательно строить ответы одинаковой формы, а если возможно, то и длины. Количественные ответы необходимо упорядочивать, причем первым не должен быть указан правильный ответ. Необходимо исключить возможность выбора ответа интуитивно, догадкой. Ответы должны быть независимы и одинаково привлекательны для выбора.

В тестовых заданиях нельзя использовать сокращения, если задание не расчитано на их знание.

В каждом задании закрытой формы количество дистракторов (вариантов ответов) должно быть от 4 до 6, а в заданиях на установление соответствия – примерно в 2 раза больше. Ни один дистрактор не становится правильным ответом при изменении допустимых условий задания. Повторяющиеся слова и словосочетания в ответах должны быть исключены и перенесены в основную часть условия. Из ответа к одному тестовому заданию нельзя получать каким-либо образом ответ к другому заданию.

Не должен возникнуть вопрос по уточнению условия, дистрактора (или, точнее, подготовленному испытуемому нет необходимости задать вопрос по условию задания преподавателю, а преподаватель может не отвечать на такие вопросы). Задание не должно предполагать знаний, выходящих за пределы учебного материала, программы, образовательного стандарта (особняком стоит очень редко используемое олимпиадное тестирование). Ни один тестируемый не должен получать преимущество перед другим на всем промежутке тестирования.

Количество тестовых заданий в тесте (длина теста) должно составить 30–40 для естественнонаучных дисциплин и примерно в два раза больше – для гуманитарных дисциплин. Впрочем, эта величина зависит от того, какова цель тестирования. Тест, состоящий из меньшего количества заданий можно вполне использовать как обучающий, мотивационный. Автор часто использует экспресс-тестирование на таких тестах при защите лабораторных работ.

Спецификация (описание атрибутов теста – предмет, время разработки, автор и др.) к тесту должна содержать всю информацию, необходимую для проведения тестирования. Нельзя предусматривать в тестовых заданиях необходимость проведения развернутых выкладок. Тест должен быть разработан преподавателем-методистом. Желательно, чтобы тест составила экспертная группа тестологов - предметников, которая и проводит предварительную оценку теста.

Количество заданий в базе данных тестовых заданий должно быть примерно в 10 раз больше усредненной длины теста (т.е. от 200-300 заданий).

Большинство заданий в тесте – закрытой формы. Закрытая форма более быстро воспринимаема и близка ежедневно решаемой человеком проблеме выбора.

Необходимо избегать ненужного дублирования проверяемых знаний, умений и навыков. При формировании тестов полезно проводить предварительное тестирование с целью определения уровня знаний.

Задания в тесте должны быть упорядочены по возрастанию уровня сложности, например, А - легкие, В – средние, С - сложные. Порядок предъявления заданий: все задания

группы А – все задания группы В – все задания группы С.

Возможны следующие варианты предъявления тестовых заданий:

1. от легких заданий – к более сложным;

2. от средних заданий – к более легким или трудным (в зависимости от ответа);

3. от сложных заданий – к более легким и др.

Основными критериями отбора содержания теста являются:

1. соответствие гипотезе тестирования;

2. значимость;

3. правильность;

4. репрезентативность;

5. соответствие современному состоянию науки и методики;

6. сбалансированность содержания теста;

7. тематическая направленность;

8. вариативность содержания;

9. доступность.

2.2. Типовые ошибки разработки тестовых заданий.

Рассмотрим некоторые типовые ошибки составления тестовых заданий на основе тестовых заданий по информатике и новым информационным технологиям.

Они аналогичны (с точки зрения тестологии) ошибкам и в других предметных областях.

Обозначим здесь и ниже тестовое задание с ошибками (тестологии) через T–, ошибки – через О, а откорректированный тест – через Т+.

Т–. Каждый символ при кодировании кодируется одним байтом. Слово "Тестирование" в ЭВМ обычно кодируется комбинацией длины: а) 12 бит. б) 72 бит. в) 96 бит. г) 192 бит.

О. Наличие двух предложений. Неясно, следует ли включать кавычки (как символы) в длину слова. Нестрогое слово "обычно" недопустимо.

T+. "Тестирование" (без кавычек) кодируется по принципу "1 символ – 1 байт" битовой комбинацией длины: а) 12. б) 72. в) 96. г) 192.

Возможен вариант: T+. Слово "Тестирование" (без кавычек) кодируется в ASCII комбинацией длины: а) 12. б) 72. в) 96. г) 192.

Часто формулируют и так: слово Тестирование кодируется по принципу "символ – байт" комбинацией длины… а) 12. б) 72. в) 96. г) 192.

Последний вариант нам кажется менее удачным, как с позиции грамматики русского языка, так и с позиции информатики (пояснения принципа кодировки).

Обратим здесь внимание на необходимость слова "длины". Если убрать это слово, то ответ всегда – 2 бита: любое слово всегда кодируется комбинацией из двух бит (0 и 1).

Каждое слово в тесте – значащее. Лишних слов также не должно быть.

T–. Задуманное число до 500 можно отгадать односложными вопросами, задав их не более: а) 500. б) 50. в) 10. г) 9.

О. Условие не завершено функционально. Понятие "односложное" с точки зрения правил русского языка не требует дополнительного уточнения, но с точки зрения проверяемых знаний и умений (а это принцип бинарного поиска) – предпочтительно пояснить и уточнить.

T+. Задуманное натуральное число до 500 можно отгадать бинарным поиском, задав вопросов не более: а) 500. б) 50. в) 10. г) 9.

T–. Решение системы уравнений: будет удовлетворять условию: а) x>0, y>0. б)x<0, y<0. в)x>0, y<0. г)x<0, y>0.

О. Ошибки преобразования единиц измерения сообщений или решения системы уравнений, допущенные на любом этапе решения, не всегда приводят к неправильному ответу. Задание не информативно. Неясна, например, причина и не видны некоторые следствия допущенных ошибок.

Т+. Решение системы уравнений: имеет вид: а)x=1, y=-3. б)x=1, y=2. в)x=-2, y=5. г)x=1, y=-5. Этот тест рассчитан на знание не только единиц измерения сообщений, но и на умение их преобразовывать друг к другу, а на "заключительном участке" – на умение решать системы показательных уравнений. Ошибки, допущенные на любом из этих этапов – существенны и информативны.

Т–. Если рассматривается нижеследующий фрагмент таблицы истинности некоторой функции f(x,y,z)

то из приведённых ниже функции f(x,y), этой искомой функции может соответствовать только функция, указанная в пункте: а)f=(x)или(y)или(не(z)),б)f=(x)и(y)и(не(z)),в)f=(x)и(y)или(z) ,г)f=(x)и(y)или(не(z))

О. Многословие, излишние слова, особенно это нежелательно в сочетание с таблицами, графиками и т.д.

T+. Фрагменту таблицы истинности вида:

из приведенных ниже логических функции f(x,y,z) может соответствовать только функция: а) f=(x)или(y)или(не(z)), б)f=(x)и(y)и(не(z)) ,в)f=(x)и(y)или(z) ,г)f=(x)и(y)или(не(z)).

Существенны слова "из приведенных ниже". Без них тест некорректен, допуская множество других функций, отличных от приведенных.

T–. Список основных устройств ввода-вывода персонального компьютера: процессор, сканер, дисплей, диск, плоттер, принтер, мышь, трекбол, клавиатура, регистр, содержит различных устройств ввода информации: а)1. б)3. в)4. г)5.

О. Много ключевых слов задания: "список", "основные", "устройства", "персональный компьютер", "ввод", "вывод", "информация".

T+. Список {сканер, дисплей, диск, плоттер, принтер, мышь, трекбол, клавиатура} содержит устройств ввода: а) 1. б) 3. в) 4. г) 5.

T–. Основные функции операционной системы: а) управление данными к обрабатываемым ЭВМ программам. б) управление программами. в) управление ресурсами.

О. Ответы – не одинаковой длины. Мало дистракторов. Слово "управление" нужно вынести в формулировку задания.

T+. Полный набор основных функций ОС – это управление: а) данными. б) программами. в) ресурсами. г) данными, программами и ресурсами.

Впрочем, нужно стараться избегать ответов типа г).

T–. Фрагмент: s:=0;x:=1: нц пока(x<5);s:=s+x; x:=x+1: кц ,вычисляет значение s равное: а) 10. б) 32. в) 31. г) 63.

О. Правильный ответ легко вычисляется и стоит первым в списке неупорядоченных по возрастанию или убыванию вариантов ответов.

T+. Фрагмент:s:=0;x:=1; нц пока(x<5); s:=s+x;x:=x+1; кц; вычислит s равное: а) 63. б) 32. в) 31. г) 10.

T–. В синтаксической конструкции: нц пока <предикат><команда>….; пропущено ключевое слово: а) до, б) кц, в) если, г) все

О. Наличие в условии задания нц подсказывает правильный ответ, даже если не понимется смысл этого ключевого слова и смысл самой конструкции, на что и направлено тестовое задание.

T+. В синтаксической конструкции: нц…<предикат><команда>кц; пропущено ключевое слово: а) до, б) пока, в) если, г) для.

Здесь уже необходимо знание синтаксиса (и даже семантики) правильной конструкции.

T–. Графические файлы могут иметь все расширения, указанные в списке: а)*.rtf; *.bmp; *.bas. б) *.tif; *.exe; *.bmp. в) *.jpg; *.bmp; *.tif. г) *.rtf; *.bmp; *.tif; *.jpg.

О. В вариантах а), б) присутствуют достаточно широко известные всем (в том числе и тем, кто не знает расширений графических файлов) расширения *.bas, *.exe. Кроме того, ответ г) – длиннее. Эти ответы – менее привлекательны.

T+. Графические файлы могут иметь все типы расширений, указанные в списке: а)*.rtf; *.bmp; *.com. б) *.tif; *.zip; *.bmp. в) *.jpg; *.bmp; *.tif. г) *.rtf; *.bmp; *.jpg.

Форма задания Т+ без звездочек также возможна.

T–. Последовательное выполнение команд ШАЯ (школьный алгоритмический язык):

a:=abs(-5)+int(3.6)*mod(7.3);a:=max(mod(a,5),div(a,3))*int(a) дастзначение a, равное: а) 24. б) 10. в) 9. г) 6.

О. Сокращение ШАЯ– не вполне общепринятое и общеупотребительное, общеизвестное.

T+. Последовательное выполнение команд

a:=abs(-5)+int(3.6)*mod(7,3);a:=max(mod(a,5),div(a,3))*int(a) школьного учебного алгоритмического языка даст значение a, равное: а) 24. б) 10. в) 9. г) 6.

При этом корректно следующее тестовое задание.

Т+. Windows - это: а) ОС. б) ППП. в) БД. г) СУБД.

T–. Значение выражения a=10,1₂ +8F,4₁₆ -6.2₈ в десятичной системе равно: а) 139,25. б) 139,5. в) 138,5. г) 140,5. д) 143,25. е) 147.

О. Много дистракторов. Последние дистракторы не рассчитаны на типовые ошибки, но остальные расчитаны на те или иные типовые ошибки. Поэтому последние два дистрактора можно "безболезненно" убрать.

T+. Значение выражения a=10,1₂ +8F,4₁₆ -6,2₈ в десятичной системе равно: а) 138,5. б) 139,25. в) 139,5. г) 140,5.

Заметим, что все эти дистракторы предполагают те или иные типовые ошибки перевода.

T–. Для предиката p=” xX делится нацело на 5”, где X=[1;30] область истинности равна: а){5,10,15,20,25,30}. б){10,20,30}. в){20,30}. г){5,10,20,30}.

О. Для нецелых x из указанного множества допустимых значений предикат не определен (не определено понятие делимости нацело для нецелых чисел).

T+. Для предиката “x делится нацело на 5”, заданного на множестве {1,4,6,16,20,26,30}, область истинности - множество: а){5,10,15,20,25,30}. б){10,20,30}. в){20,30}. г){5,10,20,30}.

Возможно использование вместо “x делится нацело на 5” выражения mod(x,5)=0, но нужно учесть, что в этом случае цель задания (спецификация) изменяется, – проверяется еще и знание функции mod. Отметим, что в этом задании допускается неодинаковая длина дистракторов.

Другой пример ("вроде бы правильный").

Т–. Истинное значение при x=3 принимает предикат: а) "для каждого натурального x существует y:y=x+1". б) "натуральноеx – четно, если int(x/2)=x/2". в) "произведение 5y- нечетно". г) "натуральное x– нечетно, если 2*int(x/2)+1=x ".

О. На первый взгляд, - все вроде правильно. Проведём тщательный анализ. При подстановке значения x=3 дистрактор а) становится неопределенным (не высказывание): "для каждого 3 существует y=4"! Дистрактор б) некорректно сравнивает два различных по типу выражения – целое int(x/2) и вещественное x/2 (при любом натуральном х значение x/2 – вещественное). Дистрактор в) – "слегка некорректен": "произведение 15 – нечетно" (неясно произведение каких чисел). Если бы было сформулировано в виде "произведение 5*y - нечетно", то тогда выражение превратилось бы истинное высказывание: "произведение 5*3 – нечётно".

Т+. Предикатом с переменной x является высказывательная форма: а) "для каждого натурального x существует y:y=x+1"; б) "натуральное x – четно, если int(x/2)=x/2". в) "произведение xy при целых x,y - нечетно". г) "натуральное x– нечетно, если 2*int(x/2)+1=x ".

Здесь в правильном ответе г) сравниваются однотипные выражения, в отличие от б).

Этот пример (точнее, его откорректированный вариант Т+) можно отнести к группе С. Он показывает несостоятельность негласно существующего мнения, что задания группы С в тестовой форме невозможны, нельзя использовать, хуже и т.д. Для выбора ответа к приведенному заданию, как мы видим, понадобились достаточно глубокие знания (на что и направлена группа С).

T–. Значение выражения int(-3,8)+mod(9,4) равно: а) 1. б) 2. в) . г) 6.

О. Типовыми ошибками при вычислении этого выражения будут (ранжируем по экспериментально или экспертно устанавливаемой частоте их встречаемости и важности): 1) int(-3,8)=-3 (нет полных знаний о математической функции "антье" или [x], int(x)); 2) mod(9,4)=2,25 ("путают целочисленное и обычное деление"), 3) mod(9,4)=2 ("путают modи div"). На эти ошибки и должны быть "нацелены" дистракторы. Итак, мы решили вначале "обратные" задачи. Для перечисленных типовых ошибок получаем неправильные варианты ответов: 1) –2; 2) –1,75; 3) –0,75 (комбинация 1) и 2)). Их и нужно предусмотреть в вариантах ответов.

T+. Значение выражения int(-3,8)+mod(9,4) равно: а) –3. б) –2. в) –1,75. г) –0,75.

T–. Фрагмент: нц для i от 1 до n; y:=mod(x,10); x:=div(x,10); кц; вычислит значение yравное цифре: а) единиц натурального числа x. б) самого старшего разряда числа x. в) n-го разряда (начиная со старшего разряда) числа x. г) n-го разряда (начиная с младшего разряда) числа x.

О. Для допустимого значения x=1 дистракторы а), б), в) также становятся правильными ответами. Кроме того, возможны такие входные x, при которых дистракторы могут дать правильные числовые ответы, например, при x=11.

T+. Фрагмент: нц для i от 1 до 4; y:=mod(x,10); x:=div(x,10); кц; вычислит для x=9631 значение yравное цифре: а) единиц числа x. б) десятков числа x. в) сотен числа x. г) тысяч числа x.

T–. Пусть в тесте приведены два задания. Задание 1. Выражение эквивалентно выражению: а) 1. б) . в) г) x. Задание 2. После упрощения выражения получим выражение: а) 1. б). в) . г) x.

О. В результате правильного решения первого задания получим ответ г). Ясно, что ответ на второе задание равен 1, и он легко получается из ответа на первое задание. По крайней мере, если первое задание можно отнести к группе Б (с натяжкой), то второе вкупе с первым, – только к группе А (также с натяжкой), так как ориентирован на проверку знания лишь одной простой аксиомы: . Нарушена валидность (тестовое задание на проверку одной указанной аксиомы, как правило, - не нужно). Для сокращения времени составления задания и увеличения банка тестовых заданий, часто делают такие "добавки" к раннее придуманным корректным выражениям. Это очень вредный подход. В принципе, он допустим для формирования различных однотипных вариантов тестовых заданий. Не более.

T+. В тесте могут быть приведены, например, два следующих задания. Задание 1. Выражение ) эквивалентно выражению: а) 1. б) . в) . г) x. Задание 2. Выражение равносильно выражению: а) . б) . в) . г) 1.

Рассмотрим примеры преобразования заданий в задания закрытой формы.

Т+. Термин "информатика" образован соединением слова "информация" и слова…

Т–. Частное от деления десятичного числа 12 на десятичное число 7 имеет меньшую относительную погрешность в представлении: а) 1,71 (десятичное). б) 1,55 (восьмеричное). в) 1,1011 (двоичное). г) 1,В5 (шестнадцатеричное).

О. Гетерогенность (информатика + математика, знание абсолютной и относительной погрешности из математики и систем счисления из информатики) в этом задании не является "жизненно необходимой". Задание лучше переформулировать так, как приведено ниже.

T+. Частное от деления десятичного числа 12 на десятичное число 7 точнее представлено числом: а) 1,71 (десятичное). б) 1,55 (восьмеричное). в) 1,1011 (двоичное). г) 1,В5 (шестнадцатеричное).

Понятие "точнее" здесь уже ясно хотя бы на интуитивном уровне и этого вполне достаточно для ответа (тем тестируемым, кто знает, что деление не всегда осуществимо точно, а это также входит в проверяемые заданием знания, умения и навыки).

T–. Число различных символов в закодированном по КОИ-8 сообщении вида 1111000111010000111100011001111011010000 равно: а) 6. б) 5. в) 4. г) 3.

О. Здесь, несомненно, у тестируемого возникнет вопрос: что такое КОИ-8? Не "спасёт" и употребление вместо КОИ-8 более известного стандарта ASCII. Лучше это тестовое задание переформулировать следующим образом.

T+. Различных символов в закодированном по принципу "1 символ – 1 байт" сообщении вида 1111000111010000111100011001111011010000: а) 6. б) 5. в) 4. г) 3.

Т+. В десятичном числе из десятков и единиц, количество информации: а) в цифре десятков и цифре единиц – одинаково. б) в цифре десятков больше, чем в цифре единиц. в) в цифре единиц больше, чем в цифре десятков. г) в цифрах разрядов нельзя сравнивать, так как цифры неизвестны.

Такие тестовые задания можно вполне включать в олимпиадное задание, например, городского уровня (которые не требуют знаний и умений, выходящих за рамки школьной программы).

2.3. Основные правила тестирования для тестирующих и испытуемых.

При тестировании преподаватель (методист-тестолог) должен выполнить вначале следующие основные условия:

1. Определить цель тестирования.

2. Определить гипотезу тестирования.

3. Определить учебную модель тестируемого (обучаемого).

4. Определить педагогическую ситуацию (сценарий) тестирования.

5. Разработать план тестирования

6. Определить структуру теста.

7. Структурировать тест в соответствии с дидактическими целями и связями.

Затем необходимо выполнить нижеследующие практические правила тестирования. Время на тестирование необходимо определять по сложности и трудоемкости тестовых заданий. Тест, соответствующий уровню подготовленности минимизирует время индивидуального тестирования, но это часто трудно реализуемая ситуация, что усложняет разработку качественных заданий.

При аттестационном тестировании, обучаемые должны быть заранее ознакомлены с типовыми формами тестовых заданий, технологией работы в конкретной системе тестирования не позднее, чем за одну-две недели до начала испытаний. Испытуемые должны иметь объективную информацию о предстоящем тестировании заблаговременно (допускаемый резерв времени, охватываемые дидактические единицы и т.д.). Необходимо ориентироваться на разумный собственный уровень подготовки (можно с этой целью проводить частое самотестирование и обучающее тестирование). Важно научиться планировать время при тестировании, распределять время рационально между заданиями различных групп сложности на всем протяжении тестирования. Выполнение затруднительных заданий необходимо осуществлять итерационно. Каждый раздел, каждую тему завершайте не только решением задач, но и обучающим, мотивационным и диагностирующим самотестированием по аналогичным тестам.

Важны не только отдельные кванты знаний, но и умение быстро находить правильный выбор, связывать эти кванты. Полезны тесты, связывающие различные дидактические единицы. Важно проводить анализ результатов тестирования и корректировать процесс обучения с целью его улучшения.

Немаловажен при подготовке к тестированию правильный выбор учебно-методической литературы – от учебников до Интернет-ресурсов. Необходимо иметь достаточный набор качественных тестовых заданий обучающего характера. К сожалению, часто нарушаются (в основном, "неписанные") правила этики тестирования. Нельзя мешать соседям своими вопросами – этим Вы снизите их собственные баллы. Не задавайте преподавателю вопросы по заданиям (он уже позаботился, чтобы у подготовленного испытуемого такие вопросы не возникали). В крайних ситуациях можно задать вопрос по непонятным моментам технологии тестирования и оформления результатов.

2.4. Оценивание тестирования.

В этом разделе рассматриваются простые задачи математико-статистической оценки тестирования и алгоритмы их решения

Любое тестирование должно заканчиваться не только выставлением оценок (баллов), но и анализом результатов тестирования, выявлением уровня обучения и качества тестов.

Оценку результатов тестирования нужно производить баллами в определенной шкале баллов.

Например, 1–2 балла – "цена вопроса" в группе A, 2–3 балла – в группе B, 3–5 баллов – в группе C. Такая оценка может быть переведена в классическую десятибалльную оценку или в другую желаемую шкалу оценок. Это одно из качеств тестирования, повышающих объективность оценки успехов.

Простейший критерий объективности: ответивших правильно на все вопросы в группе A и большую часть в группе B– большинство. Для анализа полезны отборочные тесты с высокой мерой сложности и отсеивающие тесты с низкой мерой сложности. Если тестирование все же проводится в системе оценок с двумя вариантами ответов ("да", "нет"), то и результат тестирования должен быть оценен в биполярной шкале: "аттестован – не аттестован". Если при оценке результатов тестирования используются баллы, то их число должно быть нечетным (1–5, 0–10, 1–101 и т. д.). Обычно используют итоговую 100-балльную шкалу. Хотя первичные баллы могут иметь любое значение, итоговые тестовые баллы должны быть рассчитаны по 100-бальной системе.

Величина тестового балла равна проценту успешно выполненного объема теста с учетом всех его особенностей и уровня сложности заданий, входящих в него. Она может рассматриваться как количественная оценка степени усвоения знаний и умений в соответствии с требованиями ГОС, программы, предметной области.

Распределение баллов зависит от процента правильных ответов и может лежать в различных границах, например: "отлично" – более 95% правильных ответов, "хорошо" – 80–94%, "удовлетворительно" – 60–79%, "неудовлетворительно" – менее 60%. К каждой системе такого распределения баллов могут быть предъявлены замечания.

Для измерения "уровня образованности" ("уровня знаний") лучше использовать логарифмическую шкалу, так называемые "логиты". Поясним эту шкалу.

Очень трудные задания снижают учебную мотивацию многих учащихся, как и очень легкие. Поэтому используется шкала, которую ввел датский математик Г. Раш (Г. Раск, G. Rasch), шкала "логитов". По Рашу определены два логита:

1. " логит уровня знаний" – натуральный логарифм отношения доли правильных ответов испытуемого на все задания теста, к доле неправильных ответов;

2. " логит уровня трудности задания" – натуральный логарифм отношения доли неправильных ответов на задание теста к доле правильных ответов на это задание по множеству испытуемых.

Необходимо на всех этапах тестирования учитывать, что первичные баллы – необъективны (в математико-статистическом смысле).

Результаты тестирования могут свидетельствовать иногда и о том, что есть интеллектуально развитые обучаемые, показывающие плохие результаты тестирования, как и слабые обучаемые с так называемым критическим складом ума и хорошей моторной памятью, показывающие неплохие результаты.

Необходимо учитывать дидактическую ограниченность проверки на совпадение с эталоном ответа, особенно, при компьютерной проверке знаний и умений. Тестирование обычно завершается математико-статистической обработкой данных тестирования.

Рассмотрим вначале некоторые необходимые понятия математической статистики и теории вероятностей.

Пусть задан некоторый статистический ряд из элементов X_1, X_2,…., X_n . Если эти элементы могут принимать все мыслимые допустимые значения, а объект с этими характеристиками рассматривается как единый (как система), то такую совокупность называют генеральной совокупностью; часто при этом предполагается, что она является конечной и упорядоченной по возрастанию: X₁ < X₂ < …. <X_{n .} .

Любое непустое подмножество генеральной совокупности называется выборкой. Если выборка осуществлена случайным образом, то она называется случайной выборкой.

Средняя величина генеральной совокупности в целом называется общей средней. Она отражает общие черты всей совокупности. Средняя величина для отдельной выборки называется средней по выборке или выборочной средней. Она отражает общие черты группы.

Существуют различные меры средних величин. Чаще используется средняя арифметическая характеристика:

==

Она называется также выборочной средней или эмпирической средней.

Средняя гармоническая величина, как и средняя арифметическая, может быть простой и взвешенной. Если все веса равны между собой, то можно использовать среднюю гармоническую в виде:

=

Средняя квадратичная взвешенная величина вычисляется по формуле:

Если веса , для всех i=1,2,….,n, то получаем просто среднее квадратичное. Эти величины характеризуют "концентрацию" данных выборки около среднего (или другой характерной тенденции).

К средним величинам, которые характеризуют структурные изменения, относятся мода и медиана. Они определяются лишь структурой распределения.

Мода – наиболее часто встречающееся значение признака у элементов данной совокупности. Она соответствует определенному значению признака.

Медиана - значение признака, которое делит элементы ранжированной выборки на две равные части. Это середина ранжированного ряда.

Исход – одно из возможных заключений о рассматриваемом процессе.

Выборочное пространство – множество всех исходов.

Событие– любое подмножество выборочного пространства. Пустое событие обозначают, как и в теории множеств, символом Ǿ. Событием можно считать и всё выборочное пространство (универсальное событие).

Испытание– проверка всевозможных исходов события.

Два испытания независимы, если любое событие, определённое на основе только одного из них, не зависит от любого события, определённого на основе другого.

Так как событие – это множество, то для них должны быть выполнимы основные операции с множествами: объединение, пересечение и дополнение.

Два события S₁ и S₂ несовместимы, если S₁ S₂ = Ǿ.

События S₁ и Sобразуют полную группу, если S₁ S₂ =S (всему выборочному пространству).

События S₁ и S₂ – противоположны, если они несовместимы и образуют полную группу.

Пусть S– событие, n(S)– число случаев (исходов), в которых произошло событие Sиз проведенной серии nиспытаний (в выборочном пространстве). Тогда – относительная частота события S.

При больших . Эта предельная частота называется вероятностью события Sи обозначается как p(S) или просто P. Всегда Важно заметить, что указанный предел не может быть вычислен как предел функции (последовательности), так как её просто нет.

Изложим ряд наиболее часто решаемых и наиболее простых (специально упрощенных) задач, которые часто встречаются при подготовке к тестированию и математической обработке результатов тестирования, а также алгоритмы их решения. При этом мы не будем сильно вдаваться в обоснование используемых математических фактов, используя их, как принято в прикладных задачах, в качестве инструментария .

2.5. Анализ и обоснование тестирования.

Случайная величина – числовая переменная (числовая функция), определённая на выборочном пространстве (или приписываемая некоторому выборочному пространству) таким образом, что каждой точке выборочного пространства соответствует одно и только одно значение этой переменной.

Если множество всех теоретически возможных значений величины xконечно или счётно, то её называют дискретной случайной величиной.

Функция f(x), которая для каждого возможного значения x_i , i=1,2,…,n(или i=1,2,…,n,…) дискретной случайной величины xравна вероятности p_{i =} f(x_i )появления этого значения, задаёт распределение вероятностей случайной величины. Таким образом, эта функция задаёт множество значений, которые может принимать случайная величина, вместе с соответствующими им вероятностями.

Величину M(x), определяемую формулой

называют математическим ожиданием дискретной случайной величины X.

Величину, определяемую формулой

называют дисперсией этой случайной величины.

Математическое ожидание характеризует центр распределения (аналог среднего выборки), а дисперсия – степень рассеяния значений случайной величины вокруг центра (аналог рассеяния в выборке). Эти формулы дают возможность получить оценку математического ожидания и дисперсии на основе опытных данных.

Если случайная величина распределена непрерывно и задана некоторой функцией распределения f(x), то M(x) и D(x) определяются по соответствующим формулам (для ограниченного и бесконечного множества изменения случайной величины):

Основная цель статистических расчетов, как правило, состоит в том, чтобы по характеристикам выборки получить достоверную информацию о свойствах исходных генеральных совокупностей.

Рассмотрим теперь укрупнено (не приводя, как выше, алгоритмы на уровне, достаточном для реализации, программирования) комплекс задач, который связан с обоснованием принятия гипотез тестирования.

Есть процедуры, позволяющие отвергнуть проверяемую гипотезу как противоречащую имеющимся данным, либо убедиться в том, что гипотеза этим данным не противоречит.

Располагая каким-то распределением данных тестирования, можно исследовать возможность описания этой совокупности каким-то типовым распределением, если тип распределения неизвестен, а затем найти неизвестный параметр распределения, а также эффективность описания.

Наиболее часто рассматриваются гипотезы в основе которых лежат известные распределения: нормальное (Гаусса), , Стьюдента и Фишера. Существуют различные процедуры проверки гипотезы о принадлежности заданного эмпирического распределения к некоторому теоретическому типу.

Рассмотрим нормальное распределение (распределение Гаусса).

Это распределение – наиболее часто встречающееся непрерывное распределение (точнее было бы сказать, что это распределение, к которому "подгоняется" большинство изучаемых распределений). Такому закону или его различным модификациям подчиняются многие наборы случайных величин. Общий вид нормального распределения задаётся функцией:

Часто используется стандартное нормальное распределение или распределение вероятностей нахождения (попадания) случайной величины в интервал (a;b). Для вычисления значений такой функции используется интеграл (таблица значений этого, не берущегося в квадратурах, интеграла):

Необходимо на основе имеющихся результатов тестирования проверить гипотезу нормального распределения результатов тестирования, например, достижений (можно в качестве достижения принять среднее арифметическое по всем тестам) тестированных в зависимости от выборки.

Самый простой, но математически менее надежный алгоритм – построения графика (эскиза) и его анализ.

Процедура может быть следующей.

1. Эти данные могут быть изображены графически, что даёт наглядное представление о центре их распределения и изменчивости. Для этого по оси абсцисс откладывают в порядке возрастания значения а по оси ординат – частоты, т.е. количества случаев получения одинаковых показателей (или изменяющихся в определённых пределах).

2. Соединяя построенные точки линиями, получаем диаграмму распределения. Для многих систем и процессов, при большом числе испытаний, диаграмма распределения близка к нормальной кривой распределения симметричной формы. Эта кривая имеет "колоколообразный" вид.

3. Построив диаграмму распределения и заметив его схожесть с этой кривой, можно обосновать справедливость нормального распределения для ряда.

4. Конец алгоритма.

Оценку соответствия рассматриваемого распределения нормальному распределению можно осуществить также и по величине асимметрии:

Если имеет место левая асимметрия (сдвиг влево), то это говорит о том, что в тесте были облегченные задания, на которые сумели правильно ответить подавляющее большинство испытуемых, а также были усложненные задания, с которыми не смогли справиться подавляющее большинство испытуемых.

Если имеет место правая асимметрия (сдвиг вправо), то это говорит о том, что в тесте был очень низкий порог трудности для данного контингента испытуемых.

Алгоритм проверки гипотезы о нормальном законе распределения с помощью коэффициента асимметрии может реализовываться следующими шагами.

1. Вычислить среднее арифметическое

2. Вычислить коэффициент асимметрии Kпо вышеприведенной формуле.

3. Так как для нормальной кривой распределения характерна симметричность относительно среднего значения, то значение K, равное или достаточно близкое к нулю свидетельствует о симметричности распределения; чем больше значение K, тем больше отклоняется наиболее часто встречающаяся в распределении величина от средней (больше смещена ось симметрии, больше асимметрия кривой), а сдвиг "колоколообразной" части кривой влево или вправо свидетельствует от чрезмерной легкости или сложности заданий.

4. Конец алгоритма.

Знание закона распределения баллов необходимо для выработки нормативной шкалы, которая позволит соотнести равные отрезки под кривой распределения равным количествам правильных ответов.

Распределение можно получить следующей процедурой:

1. Сгенерировать случайную выборку тестируемых (из генеральной совокупности).

2. Протестировать выборку и получить первичные баллы.

3. Оценить баллами каждого испытуемого по отношению к баллам других участников.

4. Найти число интервалов, на которые делится числовая прямая оценок и границы интервалов (например, для четырёхбалльной системы оценок квартили). Обычно находят балл некоторого испытуемого как процентную долю испытуемых, первичный балл которых ниже первичного балла данного испытуемого. Если распределение подчиняется нормальному закону, то интерквантильная широта равна , где – среднеквадратичное отклонение; если же распределение не подчиняется нормальному закону, то либо изменяют тесты до тех пор пока не получим нормальное распределение, либо принудительно нормализуют распределение, либо используют шкалы, ориентированные на другие типы распределений.

Необходимо искусственно приводить распределение первичных тестовых оценок к нормальному виду, так как она наиболее изучена (проста) в математической статистике и дает возможность описывать диагностические нормы в компактной форме. Обычно рассматриваются гистограммы распределения первичных тестовых оценок. Они позволяют выявлять лево- и правостороннюю асимметрию, положительный или отрицательный эксцесс и другие "ненормальности". Применение известных статистических программных пакетов позволяет автоматизировать подгонку требуемого преобразования первичных тестовых оценок к комбинациям различных базисных аналитических функций, что также позволяет стандартизировать тестовые оценки.

2.6. Дидактические и методические вопросы организации контроля в компьютерных обучающих средах.

Компьютерные технологии тестирования по сравнению с традиционными методиками предлагают расширенные средства контроля знаний, умений и навыков (ЗУН) – от диалоговых систем вопрос-ответ до ситуационно-имитационных моделирующих тестовых систем виртуальной реальности.

Спектр задач контроля в КОС включает начальный (входной), текущий и завершающий контроль/диагностику. Задачи контроля/диагностики уровня подготовки обучаемого делятся на две группы:

(а) диагностика усвоения знаний,

(б) диагностика овладения умениями и навыками.

В настоящее время наиболее распространенным является метод компьютерного тестирования: "выбери правильный ответ из предложенных вариантов" .Основные недостатки этого метода:

1. Большая вероятность обучиться неправильному (запомнить неправильный ответ),

2. Формирование привычки угадывания ответа,

3. Блокирование / торможение системы размышлений обучаемого при формировании ответов,

4. Необходимость иметь большую базу вопросов по учебной теме для случайной генерации текущей группы неповторяющихся тестовых вопросов при многократном использовании тестирующей системы,

5. Высокая трудоемкость создания качественных тестов при практическом отсутствии возможности автоматизировать процесс порождения правдоподобных, но неправильных ответов,

6. Невозможность эффективной оценки умений и навыков.

Из-за перечисленных недостатков использовать такие тесты при начальной и текущей диагностике нельзя. Возможно их использование при завершающем контроле, но с учетом всех недостатков.

Предлагаемая альтернатива:

(А) при оценке знаний – создание систем автоматизированного семантического анализа, которые позволяют обучаемому формировать ответ на естественном языке,

(Б) при оценке умений и навыков – создание имитационно-ситуационных моделирующих программных систем, позволяющих обучаемому выполнять реальные действия в моделирующей среде.

Предложения по созданию тестирующей системы на основе семантического анализатора

Основной задачей автоматизированного семантического анализа является выделение смыслового содержания произвольного высказывания, записанного в условном соответствии с грамматикой некоторого неформализованного (в общем случае) языка.

Формализованное смысловое содержание высказывания называется смысловой структурой высказывания или просто смысловой структурой. Для разработки и описания алгоритмов выделения и обработки смысловых структур, удобнее представлять их графами, вершины которых отождествлены с объектами, действиями и свойствами, а ребра с соотношениями между ними. В неформализованных языках часто случается что одно и то же высказывание может быть интерпретировано по-разному, в особенности, если в записи высказывания допустимы ошибки, поэтому одному высказыванию изначально следует ставить в соответствие не один, а несколько графов (смысловых структур), и уже после этого производить отбор среди них по дополнительным критериям. Множество неэквивалентных графов, соответствующих одному высказыванию, называется интерпретацией. Таким образом, в рамках перечисленных определений, анализатор есть алгоритм, генерирующий по заданному высказыванию его интерпретацию.

2.7. К вопросу о требованиях, предъявляемых к системам компьютерного тестирования.

С точки зрения педагога-предметника, в системах компьютерного тестирования хотелось бы иметь следующие возможности:

1. применения мультимедийных технологий при тестировании.

В большинстве тестовых оболочек задания представляются в виде текста (иногда с применением графики). Мультимедийные тестирующие системы объединяют текстовые, графические, анимационные и видеоматериалы в наиболее эффективных сочетаниях и используют одновременно все каналы общения для передачи информации: текст, изображение и звуковое сопровождение. Озвучивание вопросов и вариантов ответов позволяет исключить ошибки испытуемого при неверном прочтении задания; а в дисциплинах, связанных с изучением иностранных языков подача материала в аудио-форме является обязательной. Графика (рисунок, схема, фотография) может быть включена в формулировку как вопросов, так и вариантов ответов. При этом графический вариант ответа может быть представлен выбором некоторой области на экране (например, область на графике функции, точка либо функция). Истинность или ложность ответа, выбранного испытуемым, тоже может быть представлена графически. Использование анимированной графики, видеофрагментов позволяют сделать более наглядными задания на определение последовательности действий, продемонстрировать развитие ситуации в зависимости от ответа, выбранного испытуемым и т.д.

2. использования псевдотестовых заданий, например, цепных, текстовых, ситуационных и даже нетестовых, например: кроссвордов, ребусов и т.п.;

3. применения подготовленного теста не только для контроля, но и для самоконтроля знаний. В этом случае студент после выполнения такого теста получает сведения об успешности своих действий, а после окончания самоконтроля может вновь вернуться к заданиям, на которые давал неправильные ответы и попробовать снова ответить. Таким образом будет реализован элемент тренажа;

4. использования алгоритмов адаптивного тестирования, обусловливающих выбор очередного задания в зависимости от ответов тестируемого на предыдущие вопросы;

5. применения гипертекстовых ссылок в режимах самоконтроля и тренинга;

6. проведения тестирования в сетевом варианте.

Перечисленные выше дополнительные возможности расширили бы сферу применения систем компьютерного тестирования.

В зависимости от целей тестирования можно работать с готовыми тестовыми оболочками, или разрабатывать тестирующие модули в среде HyperMethod 3.5, которая позволяет создавать интересные мультимедиа-продукты, включающие текст, графику, звук, видео и анимацию. Эффективна организация такой работы по методу проектов, над которыми работают творческие группы студентов и преподавателей. Созданы и проходят апробацию мультимедийные тестирующие модули по отдельным темам курсов физики, информатики, иностранного языка.

2.8. Работа с тестером ADSoft Tester .

В ходе выполнения данной работы, мы подробнее знакомимся с работой одного из тестологов. ADSoftTester используется в обучающей системе с целью проверки и контроля знаний учащихся.

Комплекс тестирования состоит из трех условно независимых частей: программы тестирования знаний, программы создания тестов и программы администрирования.

Программа тестирования позволяет определить уровень знаний ученика в той или иной области. После прохождения теста ученику выставляется оценка, вся информация о прохождении теста записывается в журнал.

Программа администрирования позволяет учителю создавать, изменять или удалять группы пользователей (аналог классов), редактировать карточки пользователей, просматривать результаты тестирования и проводить анализ ответов учащихся.

Программа создания тестов служит для подготовки новых тестов. С ее помощью можно создать тест, включить в него критерии оценки, установить временные рамки, - установить все параметры тестирования.

Программа тестирования.

В данном разделе более подробно рассмотрим саму программу тестирования.

Программа имеет два режима тестирования: контроль и обучение.

В режиме обучения тестирование проходит анонимно, результаты тестирования не записываются в журнал. В случае неверного ответа на вопрос пользователю выдается комментарий с краткими пояснениями допущенных им ошибок.

В режиме контроля перед тестированием пользователю предлагается идентифицировать себя (открыть уже существующую карточку пользователя, либо создать новую), все пользователи распределены по группам, что облегчает поиск. Далее пользователь проходит тест (при неверном ответе на вопрос, в отличие от режима обучения, разъяснений не следует). Выставленная оценка и вся информация по прохождению теста записывается в журнал.

В тесте могут встречаться вопросы следующих четырех типов:

1) одиночный выбор – задается вопрос и несколько вариантов ответов из которых пользователь может выбрать только один вариант ответа.

2) множественный выбор – на заданный вопрос также дается несколько вариантов ответов из которых пользователь выбирает один и более вариантов ответа.

3) ввод ответа с клавиатуры – предполагает такое формулирование вопроса, на который тестируемый должен ввести ответ с клавиатуры самостоятельно.

4) соответствие – данный вид вопроса предполагает ввод вопроса таким образом, чтобы тестируемому было понятно, что ему необходимо сопоставить элементы 2х списков, то есть каждому элементу из первого списка должен соответствовать элемент из второго списка.

5)порядок- данный вид вопроса предлагает тестируемому установить последовательность ответа.

Администратор может установить параметры показа той или иной информации тестируемому (оставшееся время, количество вопросов, результаты тестирования) в программе администрирования.

Программа администрирования.

В программе администрирования можно выделить две части: часть управления пользователями и часть просмотра результатов тестирования.

Вкладка "Пользователи и группы"

Часть управления пользователями расположена слева. Все пользователи разделены на группы. На верхней панели виден список групп, галочками отмечены группы, пользователи которых будут отображаться в нижней панели. Нижняя панель – панель пользователей.

Любую информацию по пользователям и группам можно изменить, вызвав соответствующий пункт меню. Учитель может манипулировать с группами и пользователями, а именно удалять, создавать их и изменять свойства. Ради обеспечения безопасности учитель не может просмотреть пароли пользователей, однако он может ввести новый пароль взамен старого, в случае если ученик забудет его.

Часть просмотра результатов активизируется при выборе пользователя из списка. Показываются тесты, пройденные этим пользователем. При выборе теста на панели «статистика» показывается информация в целом по тесту: время тестирования, количество набранных баллов, выставленная оценка. На панели «отчет» показывается детальная информация по каждому вопросу. Вопросы расположены в порядке их следования при тестировании.

Вкладка "Отчеты".

В данном окне вы можете составить отчет о тестировании той или иной группы. Вы можете выбрать группы и тесты задействованные в отчете.

Используя дополнительные параметры фильтрации вы можете вывести в отчет к примеру только сегодняшние тестирования или всех пользователей, набравших более 4х баллов.

Отчеты также можно экспортировать в MicrosoftOfficeExcel.

Настройки и защита.

Из меню "Файл" > "Настройка" доступны настройки программы. Здесь вы можете указать пути к программам тестирования и создания тестов. Установить пароль на открытие програмы администрирования или изменить глобальные параметры тестирования (показ информации пользователю при тестировании, "скин" программы тестирования и иные параметры).

Программа создания тестов.

Программа позволяет создавать тесты. При создании нового теста желательно сначала установить его свойства: пароль, название, параметры показа, критерии оценки.

Пароль устанавливается, чтобы любой пользователь не смог изменить тест или просмотреть ответы через редактор тестов.

Параметры показа включают в себя количество показываемых при тестировании вопросов, установку перемешивания вопросов и доступность режима обучения для данного теста.

Создание теста сводится к последовательному добавлению новых вопросов.

В формулировку вопроса можно включать форматированный текст, графику, таблицы. Можно переносить данные из текстовых редакторов (к примеру из MicrosoftWord). В варианты ответов можно включать только текст. Вопросы могут быть нескольких типов: одиночный выбор, множественный выбор, сопоставление, самостоятельный ответ, порядок.

Одиночный выбор подразумевает один верный ответ из предложенного списка. Множественный выбор предполагает несколько верных ответов, причем баллы ученику засчитаются лишь в том случае, если он отметит все верные варианты. Вопрос на сопоставление включает две половины, элементы в первой половине должны соответствовать элементам во второй половине. Вопрос с самостоятельным ответом предполагает, что ученик сам должен ввести ответ с клавиатуры. Порядок предполагает, что ученик должен расположить по порядку правильные варианты ответа. В список ответов составитель должен включить все возможные верные варианты.

Для каждого вопроса можно установить свои параметры:

 Комментарий – любая текстовая информация. Она никак не учитывается в процессе тестирования и служит местом для создания различных пометок для самого составителя тестов

 Подсказка – выводится тестируемому в режиме обучения в случае неверного ответа на вопрос.

 Вес вопроса – указывает сколько баллов нужно начислить пользователю за верный ответ. Большим «весом» можно отметить вопросы повышенной сложности.

После формирования базы вопросов не забудьте указать параметры оценки знаний. Шкала оценки может содержать от 2 до 100 пунктов. Каждый пункт характеризуется оценкой, верхней и нижней границей правильности всего теста (в процентах). Оценка – произвольный текст, выводимый пользователю по окончании тестирования и сохраняемый в качестве результата тестирования в базу данных (если задействован режим контроля).

Заключение.

В 1996 г. Республиканский центр тестирования использовал тесты по некоторым школьным предметам, в частности по информатике.

После внедрения тестов в обучающую среду и регулярного использования тестовых заданий, было отмечено проявление следующих положительных и довольно явно выраженных изменений в поведении учащихся:

а) повысилась активность работы на занятии;

б) усилился интерес к освоению существующего программного обеспечения и разработке новых программ;

в) появился дух состязательности;

г) увеличилось количество положительных эмоций в ходе занятия;

д) появилось устойчивое стремление "победить" компьютер, доказав при этом наличие твёрдых знаний предмета;

е) усилился интерес к самостоятельной подготовке.

Обучение - многогранный процесс, и контроль знаний - лишь одна из его сторон. Однако именно в ней компьютерные технологии продвинулись максимально далеко, и среди них тестирование занимает ведущую роль. В ряде стран тестирование потеснило традиционные формы контроля - устные и письменные экзамены и собеседования.

По-видимому, многие преподаватели уже прошли через некоторую эйфорию при создании тестов и поняли, что это - весьма непростое дело. Куча бессистемно надерганных вопросов и ответов - далеко еще не тест. Оказывается, что для создания адекватного и эффективного теста надо затратить много труда. Компьютер может оказать в этом деле немалую помощь.

Методики тестирования, условия и процедуры их эффективного применения приобретают особую актуальность в период реформирования образования, поскольку тесты можно использовать не только для контроля и обучения различных категорий учащихся, но и в качестве инструмента объективного мониторинга самого образовательного процесса. Однако сведения о принципах создания тестов, их классификации, технологии их разработки являются в достаточной степени разрозненными и мало систематизированны.

Анализировав данную работу и изучи соответствующий материал по данной теме можно отметить, что тестирование является важным аспектом в современной методике образования. Были изучены все требования, предъявляемые к системам компьютерного тестирования, правила и системы оценки компьютерных тестов. Было выяснено, что компьютерные тесты обладают рядом преимуществ по сравнению с бланковыми тестами, они легки в применении и более интересны как для преподавателей, так и для студентов. Итогами моей работы было составление нескольких тестов по информатике и английскому языку.

Список литературы.

1. Аванесов В.С. Современные методы обучения и контроля знаний. Владивосток: Дальрыбвтуз, 1999. – 125 с.

2. Аванесов В.С. Композиция тестовых заданий. М.: Ассоциация инженеров-педагогов г. Москвы, 1996.

3. Заенцев И.В. Нейронные сети: основные модели / Учебное пособие к курсу "Нейронные сети" – Воронежский государственный университет, 1999г.

4. Зайцева Ж.Н., Солдатин. В.И. Информатизация образования: состояние проблемы и перспективы М.; ИЦПКПС, 1998, 38с.

5. Кофтан Ю.Р. Задачи создания компьютерной обучающей среды открытого образования / См. настоящий сборник.

6. Кофтан Ю.Р.. Контроль в компьютерных обучающих средах / Материалы XV Международной конференции "Применение новых информационных технологий в образовании", 29-30 июня 2004г.г. Троицк, Московской области. – Троицк: МФО Фонд новых технологий в образовании "Байтик", 2004г.

7. Кофтан Ю.Р., Остапенко В.А.. Методические аспекты разработки обучающих и тестирующих курсов дистанционного обучения / Новые возможности в управлении качеством образования. Сборник докладов. Часть 1. // Серия материалов Всероссийской школы-семинара "Информационные технологии в управлении качеством образования и развитии образовательного пространства". / Под общей редакцией д-ра техн. наук, проф. Н.А. Селезневой и д-ра техн. наук, проф. И.И. Дзегеленка. – М.: Исследовательский центр проблем качества подготовки специалистов, 2000г.

8. Майоров А.Н. Теория и практика создания тестов для системы образования (Как выбирать, создавать и использовать тесты для целей образования) \ М.:Интеллект-центр, 2001.

9. Поддубная Л.М., Татур А.О., Челышкова М.Б. Задания в тестовой форме для автоматизированного контроля знаний студентов. М.: Исследовательский центр проблем качества подготовки специалистов, 1995.

10. Равен Джон. Педагогическое тестирование: Проблемы, заблуждения перспективы / Пер. с англ., изд.2-е, испр. – М.:"Когито-Центр", 2001г.

11. Христочевский С.А. Методические основы проектирования электронного учебника, проектирование образовательных информационных ресурсов, систем и технологий. Сб. докладов и сообщений.- М., ИЦПКПС, 1998 г.

12. Шаталов В.Ф. Эксперимент продолжается. – Донецк: Сталкер, 1998. – 396 с.

13. О сертификации качества педагогических тестовых материалов. Приказ МО РФ №1122 от 17.04.2000.