Другие статьи

Цель нашей работы - изучение аминокислотного и минерального состава травы чертополоха поникшего
2010

Слово «этика» произошло от греческого «ethos», что в переводе означает обычай, нрав. Нравы и обычаи наших предков и составляли их нравственность, общепринятые нормы поведения.
2010

Артериальная гипертензия (АГ) является важнейшей медико-социальной проблемой. У 30% взрослого населения развитых стран мира определяется повышенный уровень артериального давления (АД) и у 12-15 % - наблюдается стойкая артериальная гипертензия
2010

Целью нашего исследования явилось определение эффективности применения препарата «Гинолакт» для лечения ВД у беременных.
2010

Целью нашего исследования явилось изучение эффективности и безопасности препарата лазолван 30мг у амбулаторных больных с ХОБЛ.
2010

Деформирующий остеоартроз (ДОА) в настоящее время является наиболее распространенным дегенеративно-дистрофическим заболеванием суставов, которым страдают не менее 20% населения земного шара.
2010

Целью работы явилась оценка анальгетической эффективности препарата Кетанов (кеторолак трометамин), у хирургических больных в послеоперационном периоде и возможности уменьшения использования наркотических анальгетиков.
2010

Для более объективного подтверждения мембранно-стабилизирующего влияния карбамезапина и ламиктала нами оценивались перекисная и механическая стойкости эритроцитов у больных эпилепсией
2010

Нами было проведено клинико-нейропсихологическое обследование 250 больных с ХИСФ (работающих в фосфорном производстве Каратау-Жамбылской биогеохимической провинции)
2010


C использованием разработанных алгоритмов и моделей был произведен анализ ситуации в системе здравоохранения биогеохимической провинции. Рассчитаны интегрированные показатели здоровья
2010

Специфические особенности Каратау-Жамбылской биогеохимической провинции связаны с производством фосфорных минеральных удобрений.
2010

Применение адаптивной нечеткой модели оценивания результатов автоматизированного тестирования

Одной из основных задач управления качеством образования в учебном заведении является задача контроля качества обучения. В условиях современного информационного общества автоматизированное тестирование может стать основным инструментом для контроля качества.

К настоящему времени разработаны разнообразные среды, предназначенные как для подготовки автоматизированного тестирования, так и его проведения: UniTest System, Конструктор тестов, Инспектор, Экспресс-тест, SunRav TestOfficePro, Тест, УПАТ, Система проверки знаний, HyperTest, Open TEST, Прометей, ACT-ТЕСТ, Neyron, СДТ Ната (md-77) и т.д. По типу доступа они классифицируются на автономные, сетевые и удаленные. В этих средах в основном поддерживаются пять типов заданий, вопросы в которых требуют следующих ответов: выбор единственно правильного ответа; выбор нескольких возможных правильных ответов; установка последовательности правильных ответов; установка соответствий ответов; ввод ответа вручную с клавиатуры. Согласно теории усвоения Беспалько В.П. первые четыре типа заданий относятся к тестам первого уровня усвоения знаний (опознание, различение, классификация), то пятый - ко второму уровню (подстановка). При этом на оценку за выполнение тестового задания не влияет, к какому уровню усвоения знаний и к какому типу одноуровневых заданий оно относится. Оценивание задания во всех этих средах зависит от составителя теста. Баллы за выполнение тестовых заданий назначаются на основе его педагогического опыта. Кроме того, способы вычисления интегральной оценки результатов тестирования отличаются простотой расчета: в основном используется аддитивный способ оценки правильно выполненных тестовых заданий. При дихотомичности и одноуровневости каждое правильно выполненное задание оценивается в один балл. При политамичности и многоуровневости на этапе формирования теста каждому заданию в зависимости от его сложности назначается определенный балл или весовой коэффициент. Интегральная оценка завыполнение теста вычисляется как сумма полученных баллов за правильно выполненные задания.

Анализ систем контроля знаний учащихся показал, что разработка этих систем преимущественно идет на эмпирической основе без должного научно-методического обоснования, без привлечения методов педагогической квалиметрии. Недостаточная концептуальная разработанность технологии контроля все более приходит в противоречие с объективными потребностями образовательной практики по реализации программы повышения качества обучения, и в связи с этим возникает необходимость в разработке научно обоснованной системы контроля знаний студентов.

Таким образом, существует техническая проблема, заключающаяся в совершенствовании процесса автоматизированной оценки результатов тестирования студентов, решение которой позволит повысить эффективность выполнения контроля знаний студентов, обеспечить объективность оценки за выполнение теста как по уровням усвоения знаний тестовых заданий, так и по тесту в целом.

В последние годы стремительный рост быстродействия компьютерных систем, уменьшение цен на вычислительную технику, появление качественных и мощных систем программирования обусловили интенсивное развитие систем автоматизированного тестирования в сфере образования. Блок оценивания знаний в этих системах основан на реализации различных моделей оценки результатов тестирования. Все модели тестирования можно разбить на две категории: модели с использованием четких тестов и модели нечетких тестов.

В соответствии с классификацией моделей четких тестов, выполненной Дупликом С.В.[1], существует классическая модель, классическая модель с учетом сложности заданий, модель с возрастающей сложностью, модель с разделением заданий по уровням усвоения, модель с учетом времени выполнения задания, модель с ограничением времени на тест, адаптивная модель.

Анализ оценочной деятельности в существующих моделях автоматизированного тестирования позволил выявить, что, как правило, в них не используются вариативные анализаторы ответов. Ответ на каждый вопрос теста оценивается как правильно или неправильно, при этом неполные или неточные ответы в основном оцениваются как неправильные. Если в моделях оценивания учитывается сложность задания, то назначение заданию весового коэффициента или стоимости в баллах полностью возлагается на компетентность преподавателя.

Т.е. в существующих системах отсутствует механизм назначения весового коэффициента сложности или значимости задания на основе имеющихся в нем качественных параметров. В модели оценивания тестового задания на основе определения степени сходства эталона и ответа тестируемого, предложенной Карповой И.П., кроме правильно выбранных альтернатив учитывается и количествонеправильно выбранных альтернатив, но не учитывается количество дистракторов во множестве альтернатив: из множества с большим количеством отвлекающих элементов выбрать нужные элементы труднее чем из множества с меньшим количеством отвлекающих элементов.

В последние годы в связи с развитием оценочной деятельности в сторону учета качественных свойств параметров тестирования получили развитие «нечеткие» тесты. Их применение позволяет повысить эффективность процесса идентификации знаний на основе определения степени правильности ответа X как значение функции принадлежности F(X) на промежутке [0;1]. Для получения оценки по результатам тестирования в какой-либо п-балльной равномерной шкале полученное значение умножается на размерность шкалы п.

Принцип формирования «нечетких» тестов заключается в том, что каждому эталонному ответу ставится в соответствие множество альтернативных ответов с мерами близости к эталонному, которые являются критериями нечеткости при определении степени правильности выполнения тестового задания. При этом предполагается, что в заданиях закрытого типа кроме абсолютно правильных альтернатив и дистракторов могут находиться и явно не неправильные альтернативы с некоторой мерой близости. Это противоречит педагогическим принципам формирования теста, когда тестовые задания закрытой формы требуют определенных ответов, признаваемых в качестве точных и бесспорных, в отличие от заданий открытого типа, где могут быть даны ответы, правильные в различной степени.

Модели с использованием «нечетких» тестов являются развитием любой «четкой» модели, в которой вместо четких характеристик теста ипользуются их нечеткие аналоги. К нечетким характеристикам теста могут относиться:

  1. уровень сложности задания, который может оцениваться как «легкое», «среднее», «выше среднего» и «сложное»;
  2. степень правильности ответа, которая может оцениваться как «правильно», «частично правильно», «скорее неправильно», «неправильно»;
  3. время, отведенное на выполнение тестового задания или теста, которое может оцениваться как «маленькое», «среднее», «большое», «очень большое»;
  4. процент правильно выполненных заданий, который может оцениваться как «маленький», «средний», «большой», «очень большой»;
  5. итоговая оценка за выполнение теста, которая может оцениваться как «плохо», 2удовлетворительно», «хорошо», «отлично»;
  6. среди нечетких моделей оценивания результатов тестирования наиболее интересны адаптивные модели.

В работах Рудинского И.Д. и Грушецкого С.В. [2,3] описана адаптивная модель оценивания «нечеткого» теста. Идея заключается в том, что множество эталонных ответов каждого тестового задания имеет нечеткую шкалу оценки. Этой нечеткой шкале соответствует нормированная числовая шкала (1, t1,t2,t3, 0 ), где t i ∈ (0;1), i = 1,..., 3. Всем ответам, кроме правильного, ставится в соответствие последующий вопрос с подмножеством ответов. Если на i-м шаге тестирования на вопрос D i дан неточный ответ, следующим задается уточняющий вопрос D1 , причем, подмножество ответов содержит как более правильные («правильно», «частично правильно»), так и менее правильные («скорее неправильно», «неправильно») ответы. Если и на этот вопрос дан ответ, отличный от правильного, дальнейшие дополнительные вопросы не задаются (иначе трудоемкость составления такой структуры вопросов с подмножеством ответов на них была бы очень велика), тестирование переходит на i+1-й шаг (вопрос Di+1). Таким образом, процесс тестирования можно представить в виде движения по ориентированному графу, где вершинами являются вопросы, а дугами - переходы от предыдущего вопроса к последующему.

На этапе формирования множества тестовых заданий с подмножествами эталонных ответов каждому заданию Zi присваивается весовой коэффициент Ki, а каждому эталонному ответу - числовое значение q функции принадлежности, характеризующее «степень правильности» ответа. Причем, Ki ∈ [0;10], q ∈ [0;10]

При вычислении оценки коэффициенты Ki нормируются делением на сумму весов всех предъявленных тестовых заданий, умножаются на значение q функции принадлежности. Полученные произведения суммируются:

Ki

R = ∑_

 ∑ Ki ʌ∣

c∈T2 i∈T1

где R — оценка;

∑к ∑ k

i∈T1

i i ∈T1

cT2

, qi ;

(1)

Ti - множество номеров предъявленных вопросов;

T2 - множество номеров выбранных обучаемым ответов.

Оценка R∈ [0,1] проецируется на шкалу [0, r1, r2, r3, 1 ], где 0≤ r ≤ r ≤ r3 ≤ 1 - границы интервалов, соответствующих оценкам от «неудовлетворительно» до «отлично»Итак, если оценка R ∈ [0,r1], то ставится оценка «неудовлетворительно»; R ∈ [r1,r2) - «удовлетворительно»; R∈ [r2,r3) -«хорошо»; R∈ [r3,1] - «отлично».

Оценка может вычисляться как по окончании теста, так и во время его. В этом случае имеются следующие критерии окончания теста:

  1. задаваемый априори объем N теста;.
  2. заданное время проведения теста;
  3. достижение обучаемым оценки, отражающей его уровень знаний с приемлемой точностью ΔR ≤ε при N > Nmln. При этом ΔR =R-Ri-1 ,где- Ri , Ri-1 -две последовательно вычисляемые во время теста оценки; ε - заданная погрешность оценивания  достаточно мало); N -фактический, Nmin - минимальный объемы тестов. Предполагается, что если ΔR ≤ε , то обучаемый отвечает достаточно "ровно".

Достоинством рассмотренной модели является введение нечеткости в организации адаптивности теста, которая позволяет составителям теста на этапе его создания для каждого тестового задания построить иерархическую структуру вопросов в виде ориентированного графа. При этом каждому уточняющему вопросу ставятся в соответствие возможные ответы, которые оцениваются на лингвистической шкале.

Недостаток заключается в том, что при оценивании тестовых заданий и теста не используется аппарат нечеткой логики, а полученные лингвистические значения просто проецируется на нормированную числовую шкалу. Полученные на этой шкале значения определяют степень q правильности ответов, которые подставляются в формулу (3.1) для получения итоговой оценки.

В работе Дуплика В.П. [4] описана адаптивная модель тестирования с использованием аппарата нечеткой математики. В качестве шкалы оценивания результатов тестирования используется 12балльная шкала, предложенная Беспалько В.П. При этом автором предполагается соответствие процентов правильных ответов обучаемого и оценок по 12-балльной и 5-балльной шкалам, которым в свою очередь соответствуют нечеткие понятия.

В заданиях с выбором одной правильной альтернативы или наиболее правильной альтернативы в качестве оценки берется степень правильности выбранной альтернативы.

В заданиях с выбором нескольких правильных альтернатив, на установление соответствия и в заданиях открытой формы (на подстановку) оценивание осуществляется двумя способами:

  1. За правильный ответ на вопрос задания обучаемый получает 1 балл,за неправильный — 0 баллов. При этом под правильным ответом понимается точный выбор всех, без исключения, правильных альтернатив. В случае хотя бы одного ошибочного выбора или невыбора хотя бы одной правильной альтернативы ответ на задание считается неправильным, и обучаемый получает 0 баллов.
  2. Оценка вычисляется пропорционально количеству правильных и неправильных ответов с учетом степени правильности каждой альтернативы. Цена одной правильной альтернативы вычисляется как максимальное количество баллов за задание, деленное на количество правильных альтернатив:

где n'πp- количество правильно выбранных альтернатив п'непр— количество неправильно выбранных альтернатив, сɪ - степень правильности i-й альтернативы, не отмеченной преподавателем при разработке задания как явно неправильной. Если R< 0, то R полагается равным нулю.

При оценивании задания на установление правильной последовательности оценка уменьшается пропорционально месту, где была допущена ошибка. Чем ближе к концу последовательности ошибся обучаемый, т.е. чем больше элементов он расставил правильно, тем выше будет его оценка

После прохождения тестировался обучаемому выставляется оценка его знаний по 12-балльной шкале, которую автор рассматривает как нечеткую.

Достоинством описанной модели является применение аппарата нечеткой логики для получения интегральной оценки результатов тестирования. Влияние на интегральную оценку оказывают такие нечеткие характеристики теста как текущий уровень подготовки S, процент правильных ответов р, сложность задания Т, время выполнения задания toτβ.

К недостаткам данной модели относится то, что 12-балльная шкала оценивания, предложенная Беспалько В.П. [5], используется только для равномерного распределения на ней традиционной 5-балльной шкалы и не привязана к уровням усвоения. Оценка задания любого уровня усвоения может принимать свое значение на всей этой шкале, что противоречит теории усвоения, в которой введение 12 -балльной шкалы обосновывается тем, что на ней удобно распределить по трех элементным диапазонам четыре уровня усвоения.

Общим недостатком существующих нечетких моделей является недостаточная проработанность вопросов оценивания результатов выполнения тестовых заданий. Определение степени правильности

40

выполнения тестовых заданий производится с помощью различных математических формул, в которых невозможно учитывать мнение преподавателя, что является важным фактором ведения нечеткости в решении различных задач. Кроме этого, в этих формулах не учитывается количество дистракторов тестового задания, которое также влияет на оценку выполнения задания. Еще один недостаток заключается в то, что определение лингвистических значений нечетких характеристик при известных исходных условиях полностью и необоснованно возлагается на компетентность преподавателя.

Таким образом, с целью повышения объективности оценки знаний студентов с учетом достоинств и недостатков существующих моделей необходимо разработать нечеткую адаптивную модель оценивания результатов автоматизированного тестирования.

 

Литература

  1. Дуплик С.В. Основные модели современной теории тестирования./ Вопросы тестирования в образовании, №7, 2003. – С. 56-67.
  2. Рудинский И.Д. Некоторые аспекты нечеткого моделирования результатов массового тестирования./ Роль инфокоммуникационных технологий в совершенствовании системы управления качеством образования. - СПб. -2005. – С. 378.
  3. Грушецкий С.В. Формализация вопросно-ответных отношений в нечеткой модели оценивания результатов автоматизированного тестирования./ Проблемы информатизации региона: Материалы Девятой Всероссийской научно-практической конференции. - Красноярск. -2005. – С. 189.
  4. Дуплик С.В. Интеллектуальные обучающие и контролирующие системы.// Информатика. Информационные технологии. Средства и системы, 2000. №2. – С. 8790.
  5. Беспалько В.П. Методы оценки результатов тестирования учащихся./ Вопросы тестирования в образовании, 2007.-№2. – С. 23-34.

Разделы знаний

Архитектура

Научные статьи по Архитектуре

Биология

Научные статьи по биологии 

Военное дело

Научные статьи по военному делу

Востоковедение

Научные статьи по востоковедению

География

Научные статьи по географии

Журналистика

Научные статьи по журналистике

Инженерное дело

Научные статьи по инженерному делу

Информатика

Научные статьи по информатике

История

Научные статьи по истории, историографии, источниковедению, международным отношениям и пр.

Культурология

Научные статьи по культурологии

Литература

Литература. Литературоведение. Анализ произведений русской, казахской и зарубежной литературы. В данном разделе вы можете найти анализ рассказов Мухтара Ауэзова, описание творческой деятельности Уильяма Шекспира, анализ взглядов исследователей детского фольклора.  

Математика

Научные статьи о математике

Медицина

Научные статьи о медицине Казахстана

Международные отношения

Научные статьи посвященные международным отношениям

Педагогика

Научные статьи по педагогике, воспитанию, образованию

Политика

Научные статьи посвященные политике

Политология

Научные статьи по дисциплине Политология опубликованные в Казахстанских научных журналах

Психология

В разделе "Психология" вы найдете публикации, статьи и доклады по научной и практической психологии, опубликованные в научных журналах и сборниках статей Казахстана. В своих работах авторы делают обзоры теорий различных психологических направлений и школ, описывают результаты исследований, приводят примеры методик и техник диагностики, а также дают свои рекомендации в различных вопросах психологии человека. Этот раздел подойдет для тех, кто интересуется последними исследованиями в области научной психологии. Здесь вы найдете материалы по психологии личности, психологии разивития, социальной и возрастной психологии и другим отраслям психологии.  

Религиоведение

Научные статьи по дисциплине Религиоведение опубликованные в Казахстанских научных журналах

Сельское хозяйство

Научные статьи по дисциплине Сельское хозяйство опубликованные в Казахстанских научных журналах

Социология

Научные статьи по дисциплине Социология опубликованные в Казахстанских научных журналах

Технические науки

Научные статьи по техническим наукам опубликованные в Казахстанских научных журналах

Физика

Научные статьи по дисциплине Физика опубликованные в Казахстанских научных журналах

Физическая культура

Научные статьи по дисциплине Физическая культура опубликованные в Казахстанских научных журналах

Филология

Научные статьи по дисциплине Филология опубликованные в Казахстанских научных журналах

Философия

Научные статьи по дисциплине Философия опубликованные в Казахстанских научных журналах

Химия

Научные статьи по дисциплине Химия опубликованные в Казахстанских научных журналах

Экология

Данный раздел посвящен экологии человека. Здесь вы найдете статьи и доклады об экологических проблемах в Казахстане, охране природы и защите окружающей среды, опубликованные в научных журналах и сборниках статей Казахстана. Авторы рассматривают такие вопросы экологии, как последствия испытаний на Чернобыльском и Семипалатинском полигонах, "зеленая экономика", экологическая безопасность продуктов питания, питьевая вода и природные ресурсы Казахстана. Раздел будет полезен тем, кто интересуется современным состоянием экологии Казахстана, а также последними разработками ученых в данном направлении науки.  

Экономика

Научные статьи по экономике, менеджменту, маркетингу, бухгалтерскому учету, аудиту, оценке недвижимости и пр.

Этнология

Научные статьи по Этнологии опубликованные в Казахстане

Юриспруденция

Раздел посвящен государству и праву, юридической науке, современным проблемам международного права, обзору действующих законов Республики Казахстан Здесь опубликованы статьи из научных журналов и сборников по следующим темам: международное право, государственное право, уголовное право, гражданское право, а также основные тенденции развития национальной правовой системы.