Другие статьи

Цель нашей работы - изучение аминокислотного и минерального состава травы чертополоха поникшего
2010

Слово «этика» произошло от греческого «ethos», что в переводе означает обычай, нрав. Нравы и обычаи наших предков и составляли их нравственность, общепринятые нормы поведения.
2010

Артериальная гипертензия (АГ) является важнейшей медико-социальной проблемой. У 30% взрослого населения развитых стран мира определяется повышенный уровень артериального давления (АД) и у 12-15 % - наблюдается стойкая артериальная гипертензия
2010

Целью нашего исследования явилось определение эффективности применения препарата «Гинолакт» для лечения ВД у беременных.
2010

Целью нашего исследования явилось изучение эффективности и безопасности препарата лазолван 30мг у амбулаторных больных с ХОБЛ.
2010

Деформирующий остеоартроз (ДОА) в настоящее время является наиболее распространенным дегенеративно-дистрофическим заболеванием суставов, которым страдают не менее 20% населения земного шара.
2010

Целью работы явилась оценка анальгетической эффективности препарата Кетанов (кеторолак трометамин), у хирургических больных в послеоперационном периоде и возможности уменьшения использования наркотических анальгетиков.
2010

Для более объективного подтверждения мембранно-стабилизирующего влияния карбамезапина и ламиктала нами оценивались перекисная и механическая стойкости эритроцитов у больных эпилепсией
2010

Нами было проведено клинико-нейропсихологическое обследование 250 больных с ХИСФ (работающих в фосфорном производстве Каратау-Жамбылской биогеохимической провинции)
2010


C использованием разработанных алгоритмов и моделей был произведен анализ ситуации в системе здравоохранения биогеохимической провинции. Рассчитаны интегрированные показатели здоровья
2010

Специфические особенности Каратау-Жамбылской биогеохимической провинции связаны с производством фосфорных минеральных удобрений.
2010

Технология оценки достоверности результатов автоматизированного тестирования

Широкое внедрение информационных и коммуникационных технологий в сферу образования и решение проблемы качества обучения обуславливают необходимость разработки моделей, адекватных процессам учебной деятельности. Повышение качества обучения является приоритетным направлением развития системы образования. Одной из основных задач управления качеством образования в учебном заведении является задача контроля качества обучения.

Развитию классических моделей и методов программированного обучения и контроля посвятили свои работы наши отечественные и зарубежные ученые: Сарыпбеков Ж.С., Тукеев У.У., Бидайбеков Е.Ы., Боранбаев С.Н., Баймухамедов М.Ф., В.П. Беспалько, В.Д. Алексеев, В.А. Первушин, А.М.Довгялло, О.Л. Ахремчик, и др.

Однако в их трудах не в достаточной мере представлены методы, позволяющие делать заключение о достоверности результатов компьютерного тестирования. Эффективность применяемых методов программированного обучения и контроля недостаточна в случае массового тестирования, характерного, например, для единого национального тестирования (ЕНТ), где число испытуемых измеряется сотнями тысяч, поскольку в этом случае цена вопроса особенно велика, и требуется разработка более эффективных методов.

В данной работе предлагается технология (совокупность методов и алгоритмов) обработки данных автоматизированного тестирования (мониторинга) с целью выявления недостоверных результатов. Эта технология предусматривает оптимизацию критических значений статистик согласия на специально конструируемых модельных данных [1], построение более эффективного композиционного критерия и на его основе принятие решения о достоверности или недостоверности измерения по каждому испытуемому индивидуально.

В ходе исследования эффективности рассмотренных нами статистик согласия можно сделать вывод, что ни одна из них не является достаточно эффективной. Необходимо повысить эффективность выявления искажённых профилей испытуемых, то есть снизить суммарные потери от совершения ошибок. В силу принципа синергизма следует предположить, что композиционный критерий, построенный на основе статистик согласия, будет более эффективен, чем каждая из них отдельно. Перед сведением воедино статистические критерии проверки гипотезы о достоверности измерения испытуемых приводятся к единому виду посредством индикаторной функции

i(s,p)

(1)

где s - статистика, p- критическое значение.

Статистика K для композиционного критерия определяется как

J

k =∑ɪ aji(, sj, Pj ), (2)

где sj - базисная статистика, pj - её критическое значение, J - количество статистик в линейной комбинации, а коэффициенты выбираются так, чтобы величина K оказалась нормирована к единице. В этом случае семантика значения K очевидна – это степень уверенности в том, что результаты тестирования данного испытуемого содержит искажения.

Сочетая идею композиционного статистического критерия с раннее описанным методом оптимизации критических значений статистик, формулируется алгоритм выявления случаев недостоверного измерения испытуемых (наличия искажений) при массовом тестировании. Этот алгоритм состоит в следующем.

На основе реальных результатов тестирования описанным выше методом генерируются модельные аналоги с заданным количеством искажений.

  1. По полученным модельным матрицам ответов оцениваются значения параметров модели Раша так же, как и для реальных данных [2].
  2. Для реальных результатов тестирования и для всех модельных матриц, с учётом результатов оценивания параметров модели Раша, вычисляются значения всех статистик согласия для каждого испытуемого. Попутно при исследовании распределения нормированных уклонений реальных данных можно получить предварительный прогноз возможного в них количества искажений (в силу зависимости характера распределения этой статистики от количества искажённых профилей).
  3. На модельных данных выполняется оптимизация критических значений всех статистик.
  4. С использованием полученной оптимальной схемы вычисляются значения композиционной статистики (2).
  5. Аналогично п. 4 выполняется оптимизация критического значения композиционной статистики.
  6. По композиционному критерию, с учётом полученных на модельных данных сведений о точности измерения, для каждого реального испытуемого принимается решение: признать результаты его тестирования достоверными или недостоверными.

Схема алгоритма приведена на рисунке 1. Для его реализации и для выполнения эмпирических исследований в форме вычислительных экспериментов разработано специализированное программное обеспечение. Программное обеспечение представляет собой комплекс программ. В него входят компоненты, обеспечивающие генерацию модельных матриц всех требуемых для исследования и для реализации разработанного здесь алгоритма типов. Другие компоненты программного обеспечения осуществляют вычисление значений всех статистик согласия

для каждого испытуемого, формирование композиционного критерия, а также определение частот ошибок первого и второго рода на модельных данных и построение функции суммарных потерь для оптимизации критических значений.

Нами проведена экспериментальная проверка применимости разработанной технологии обработки результатов массового тестирования с целью оценки их достоверности. Она выполнялась на данных ЕНТ прошлых лет и включала в себя анализ как на индивидуальном, так и на групповом (аудитория, пункт проведения экзамена, регион) уровне. По результатам проверки предложенные нами методы и алгоритмы показали высокую эффективность.

В заключение следует отметить, что предложенная нами технология оценки достоверности результатов автоматизированного тестирования использована при разработке автоматизированной системы компьютерного тестирования.

Литература

  1. Карданова Е.Ю. Технология обработки информации в многокритериальном мониторинге. / Системы управления и информационные технологии.- №3, 2007.
  2. Карданова Е.Ю., Карпинский В.Б. Обнаружение искажений при тестировании с использованием математической модели Г. Раша // Обозрение прикладной и промышленной математики, 2007.- Т.14.- Выпуск

Разделы знаний

Архитектура

Научные статьи по Архитектуре

Биология

Научные статьи по биологии 

Военное дело

Научные статьи по военному делу

Востоковедение

Научные статьи по востоковедению

География

Научные статьи по географии

Журналистика

Научные статьи по журналистике

Инженерное дело

Научные статьи по инженерному делу

Информатика

Научные статьи по информатике

История

Научные статьи по истории, историографии, источниковедению, международным отношениям и пр.

Культурология

Научные статьи по культурологии

Литература

Литература. Литературоведение. Анализ произведений русской, казахской и зарубежной литературы. В данном разделе вы можете найти анализ рассказов Мухтара Ауэзова, описание творческой деятельности Уильяма Шекспира, анализ взглядов исследователей детского фольклора.  

Математика

Научные статьи о математике

Медицина

Научные статьи о медицине Казахстана

Международные отношения

Научные статьи посвященные международным отношениям

Педагогика

Научные статьи по педагогике, воспитанию, образованию

Политика

Научные статьи посвященные политике

Политология

Научные статьи по дисциплине Политология опубликованные в Казахстанских научных журналах

Психология

В разделе "Психология" вы найдете публикации, статьи и доклады по научной и практической психологии, опубликованные в научных журналах и сборниках статей Казахстана. В своих работах авторы делают обзоры теорий различных психологических направлений и школ, описывают результаты исследований, приводят примеры методик и техник диагностики, а также дают свои рекомендации в различных вопросах психологии человека. Этот раздел подойдет для тех, кто интересуется последними исследованиями в области научной психологии. Здесь вы найдете материалы по психологии личности, психологии разивития, социальной и возрастной психологии и другим отраслям психологии.  

Религиоведение

Научные статьи по дисциплине Религиоведение опубликованные в Казахстанских научных журналах

Сельское хозяйство

Научные статьи по дисциплине Сельское хозяйство опубликованные в Казахстанских научных журналах

Социология

Научные статьи по дисциплине Социология опубликованные в Казахстанских научных журналах

Технические науки

Научные статьи по техническим наукам опубликованные в Казахстанских научных журналах

Физика

Научные статьи по дисциплине Физика опубликованные в Казахстанских научных журналах

Физическая культура

Научные статьи по дисциплине Физическая культура опубликованные в Казахстанских научных журналах

Филология

Научные статьи по дисциплине Филология опубликованные в Казахстанских научных журналах

Философия

Научные статьи по дисциплине Философия опубликованные в Казахстанских научных журналах

Химия

Научные статьи по дисциплине Химия опубликованные в Казахстанских научных журналах

Экология

Данный раздел посвящен экологии человека. Здесь вы найдете статьи и доклады об экологических проблемах в Казахстане, охране природы и защите окружающей среды, опубликованные в научных журналах и сборниках статей Казахстана. Авторы рассматривают такие вопросы экологии, как последствия испытаний на Чернобыльском и Семипалатинском полигонах, "зеленая экономика", экологическая безопасность продуктов питания, питьевая вода и природные ресурсы Казахстана. Раздел будет полезен тем, кто интересуется современным состоянием экологии Казахстана, а также последними разработками ученых в данном направлении науки.  

Экономика

Научные статьи по экономике, менеджменту, маркетингу, бухгалтерскому учету, аудиту, оценке недвижимости и пр.

Этнология

Научные статьи по Этнологии опубликованные в Казахстане

Юриспруденция

Раздел посвящен государству и праву, юридической науке, современным проблемам международного права, обзору действующих законов Республики Казахстан Здесь опубликованы статьи из научных журналов и сборников по следующим темам: международное право, государственное право, уголовное право, гражданское право, а также основные тенденции развития национальной правовой системы.