Экспертная оценка качества предметных тестовых заданий — один из важных аспектов развития дидактического тестирования

Ключевые слова: тестология, коэффициент усвоения, коэффициент селективности, степень сложности, степень трудности, предметный дидактический тест, тестовое задание, субтест, батарея тестов, коэффициент надежности, валидность, педагогический консилиум, групповая экспертная оценка (ГЭО).

Как известно развитие дидактической тестологии органически связано с информатизацией общества и компьютеризацией образования. В этом отношении 2000-е годы являются целой эпохой в развитии и становлении дидактической тестологии в странах СНГ, и особенно, в республике Узбекистан. За последние несколько лет в РУз проводились ряд научно-методических конференций посвященных методологическим вопросам и внедрению дидактического тестирования в учебный процесс.

Важным аспектом в развитии дидактической тестологии является постепенный переход к перспективным педагогическим технологиям обучения и контроля знаний, умений и навыков студентов. Следует отметить, что независимо от формы, типа и уровня образования обязательным составным элементом обучения и контроля знаний являются дидактические тесты, особенно в компьютерном варианте.

Теоретически перспективной и прикладно значимой, но пока еще не решенной проблемой остается объективная оценка качества тестовых заданий (определение величин их коэффициентов усвоения и селективности, степени сложности и трудности заданий, нормативного времени их выполнения и др.). Решение данного комплекса научно-методических проблем позволило бы разработать технологию стандартизации дидактических тестов.

В педагогической диагностике в основном применяют дидактические тесты, направленные на объективное измерение уровня знаний, умений и практических навыков студентов. Дидактические тесты является составной частью педагогических тестов, которые в зависимости от направленности (целей диагностирования) подразделяются:

-          тесты достижений (успеваемости по учебному предмету);

-          критериально-ориентированные (выявление какого-либо признака — умение вычислять, решать задачи, составить структурно-логических схем и т. п.);

-          нормативные (скоростные) — для оценки степени автоматизации или сформированности умений, осознанности действий (контрольного времени выполнения, количества достижений или ошибок и т. д.);

-          психодиагностические — на внимательность и умение сосредоточиться, оценки уровня интеллектуального развития, способности запоминать информацию, обучаемости, уровня логического мышления и т. п.;

Формы, типы и виды тестовых заданий могут быть весьма различны в зависимости от конкретных целей диагностирования, способа разработки, процедуры проведения и обработки результатов тестирования.

От других способов контроля и оценки результатов учебного процесса тесты отличаются тем, что позволяют:

-          объективно оценить уровень знаний, умений и навыков студентов, за счет валидности измерения аналитического признака;

-          проводить массовое тестирование (как групповых, так и индивидуальных — в случае использования компьютерных классов) за относительно короткое время;

-          оперативно обработать результаты тестирования и рекомендовать коррекционные меры усовершенствования учебного процесса;

-          автоматизировать процедуры подготовки и проведения тестирования;

-          внедрить математико-статистические методы обработки результатов и оценки качества надежности и валидности тестов;

-          экономить учебное время и повысить эффективность труда преподавателей, освободить их от рутинной работы.

В большинстве случаев при типологизации используются следующие параметры: предметная область применения, виды или этапы контроля, нормативные характеристики, доминирующая деятельность испытуемых, целевая направленность, уровень усвоения, формы построения заданий и др.

Поэтому, разработчикам и пользователям диагностико-коррекционных программ на основе дидактических тестов, в качестве инструмента педагогических измерений, необходимо четко различать и корректно пользоваться следующими основными терминами: дидактический тест, предметный дидактический тест, тестовое задание, предметное тестовое задание, субтест, батарея тестов, коэффициенты надежности и валидности, индекс различения, коэффициент селектив-ности, степень трудности, уровень сложности, дистрактор, сбалансированность тестовых заданий и дидактических тестов

Как видно, из данного перечня параметров, разработка, апробация и стандартизация дидактических тестов представляет собой весьма трудоемкую и сложную научно-методическую систему процедур, выполнение которой под силу лишь опытным методистам-преподавателям и при непременном участии психологов и педагогов.

Тесты, при их правильном построении и применении дают большой выигрыш времени педагога при проведении довольно рутинных, однообразных операций контроля знаний. Но ни в одной современной дидактической системе они не выступают в качестве единственно верного средства контроля.

Современный дидактический подход предполагает, с одной стороны, дополнение тестов другими методами контроля в тех случаях, когда другие методы оказываются более диагностичными и экономичными (с точки зрение затрат времени и средств на их реализацию).

С другой стороны, сами тесты должны органично вписываться в структуру педагогического процесса и строиться таким образом, чтобы на их основе повышалось качество контроля, облегчался труд педагога и саморегуляция учебной деятельности обследуемых.

Таким образом, эффективный дидактический тест — это стандартизированная методика, тщательно научно-методически разработанная и проверенная репрезентативной выборкой с достаточно высокой надежностью и валидностью. Он должен включать в свое описание в обязательном порядке, как минимум:

-          назначение (диагностические цели и задачи в операциональных терминах конкретных действий).

-          характеристику репрезентативности выборки того контингента обследуемых, на которых апробировался тест.

-          краткие описания основных нормативов или получаемых при апробации результатов (по разным выборкам, если их было несколько).

-          сведения о валидности и надежности теста (воспроизводимости результатов при повторном тестировании или применении другого методического подхода к проверке надежности).

-          инструкцию диагносту по проведению процедуры тестирования и статистической обработки данных.

-          инструкцию обследуемому (она может быть включена в содержание тестового материала или прилагается отдельно).

-          сведения об авторах-разработчиках.

Это минимальные требования, на основе которых пользователь может получить начальные представления о диагностической ценности теста, возможностях использования для ограниченных целей составляющих его субтестов или включения теста в состав каких-либо батарей.

Важное место в технологии создания предметных дидактических тестов занимают вопросы объективной оценки качества тестовых заданий и компетентности эксперта. Следует отметить, что несмотря на довольно большое число работ, посвященных вопросам экспертизы качества дидактических материалов, в них недостаточное внимание уделено вопросам оценки качества тестовых заданий.

Основным экспертным методам, применяемым в настоящее время в педагогических исследованиях, относятся индивидуальная экспертная оценка, морфологический экспертный метод, рейтинг, самооценка обследуемых, педагогический консилиум, групповая экспертная оценка (ГЭО) и др.

Следует отметить, что только экспертными методами возможно решение таких задач исследования, как: отбор научной информации, подлежащей изучению; классификация содержания обучения; внесение корректив в календарно-тематические и поурочные планы; разработка предложений по совершенствованию учебного плана и учебных программ и т. п.

При использовании экспертных методов в дидактической диагностике одной из ключевых методологических проблем является компетентность экспертов. Поэтому данному вопросу уделяется достаточно большое внимание, разработаны различные системы требований и способы оценки профессиональных качеств экспертов.

Нами изучен различные способы формирования групп экспертов и оценки их компетентности, методы оценки качества дидактических материалов различного назначения, в том числе с применением компьютеров.

На основе анализа научно-методической литературы и накопленного опыта по эмпирическому анализу предметных дидактических тестов, разработана компьютерная методика оценки качества тестовых заданий (Таблицы 1 и 2).

Таблица 1

Результаты экспертизы тестовых заданий экспертом А. Авезовым. Личный код — К5466, Вариант 74

Аналогичным образом в диалоговом режиме «компьютер — эксперт» определяется мнение всех экспертов и на дисплей выводятся усредненные результаты педагогической экспертизы в виде таблицы и текстового сообщения.

Таблица 2

Итоговые результаты педагогической экспертизы

Данные таблицы № 2 определят усредненные значения экспертизы по всем нормативным показателям теста.

На основе вышеизложенного можно принять, что тесты являются одним из видов учебных заданий, используемых для контроля и диагностики знаний учащихся. независимо от содержания и формы построения тестом можно считать только такой комплекс заданий, решение которых имеет однозначный правильный ответ, либо четко описанные критерии интерпретации и оценки ответа (хотя бы на уровне «да-нет»). таким образом, далеко не всякая задача может быть представлена в форме тестового задания и использована в педагогической диагностике.

Литература:

1.                  Михайлычев Е. А., Норов Ш. К. Дидактические тесты в системе многоэтапного контроля энаний студентов: — Бухара, 1993.

2.                  Усмонова М. Н. Педагогическое тестирование: история развития и современное состояние. — Т.: Адолат, 1995. -159 с.

3.                  Фарберман Б. Л. Методика разработки и применения педагогических тестов. — Т.: РУМЦ, 1995.