В статье рассмотрены элементы XML-файла, который задает параметры отбора вопросов для тестирования. Особое внимание уделено структуре каждого элемента.
Одним из важнейших вопросов при разработке компьютерных систем тестирования знаний является разработка алгоритма выборки вопросов из базы вопросов. Вопросы должны выбираться с учетом их сложности, а также необходимо, чтобы вопросы не повторялись как внутри варианта одного тестируемого, так и в вариантах других тестируемых. На данный момент существуют стандартные алгоритмы отбора, которые предпочтительно использовать в разрабатываемой системе тестирования знаний.
Чтобы обеспечить взаимодействие между компьютерными системами тестирования знаний от разных разработчиков, необходимо обеспечить не только легкий перенос вопросов без искажения их содержания, но и легкий перенос правил отбора вопросов для тестирования, чтобы созданное на одной системе тестирование вело себя одинаково и на системах других разработчиков [1].
В Инновационном Евразийском университете действует автоматизированная система тестирования знаний студентов Education Monitor. В данной системе используется неэффективный алгоритм отбора вопросов. Этот алгоритм не допускает отбора вопросов по их сложности. Также этот алгоритм допускает повторение одного и того же вопроса в одном варианте.
Спецификация консорциума IMS (Instructional Management Systems) QTI (Question and Test Interoperability – унифицированные вопросы и тесты) предусматривает возможность решения этих проблем.
Процедура отбора и сортировки разделена на три взаимосвязанные стадии [2]:
- Выстраивание последовательности объектов – это определение ограничений, которые будут применены к правилам отбора и сортировки. Например: Может ли объект быть представлен несколько раз?
- Отбор объектов – это первый процесфцйыс, в котором правила отбора применяются к объектам. Применение ограничено только непосредственными дочерними объектами родителя, содержащего эти правила.
- Сортировка объектов – это второй процесс, в котором отобранные объекты выстраиваются в порядке, который определяется правилами сортировки.
Параметры выбора вопросов из раздела описываются подэлементами <selection_ordering> элементов <assessment> и <section>. Этот подэлемент включает в себя все инструкции по отбору и сортировке, которые применяются к указанным объектам (вопросам/Item и разделам/Section). Расположение вопросов и разделов внутри родительского объекта определяют те вопросы, которые попадают в область сортировки с взаимосвязью между выбранными объектами [3].
Элемент <selection_ordering> может встречаться в элементах <assessment> и <selection> ноль или один раз.
Элемент <selection_ordering> содержит следующие подэлементы (рисунок 1):
- <sequence_type> (определяет характер всего алгоритма выстраивания последовательности объектов, представляет собой набор доступных правил отбора и сортировки объектов, может встречаться ноль или один раз внутри элемента <selection_ordering>).
- <qticomment> (комментарии, которые описывают весь XML-файл).
- <sequence_parameter> (определяет характер всего алгоритма отбора и сортировки объектов, может встречаться ноль или один раз внутри элемента <selection_ordering>).
- <selection> (содержит инструкции отбора, которые применяются к объектам, входящим в данный объект, может встречаться ноль или несколько раз внутри элемента <selection_ordering>).
- <order> (содержит правила сортировки отобранных объектов, может встречаться ноль или несколько раз внутри элемента <selection_ordering>).
Рисунок 1 – Структура элемента <selection_ordering>
Теперь рассмотрим структуру каждого элемента подробно.
Элемент <sequence_type> определяет набор доступных для использования правил отбора и сортировки объектов.
Элемент <sequence_type> может принимать следующие значения:
Normal – каждый объект может быть представлен только один раз, т.е. повторений быть не может. RandomRepeat – каждый объект может быть представлен любое количество раз.
Если элемент <sequence_type> отсутсвует, то по умолчанию используется значение Normal.
Элемент <qticomment> включает в себя комментарии относящиеся ко всей структуре отбора и сортировки. Элемент <qticomment> содержит аттрибут xml:lang, который указывает язык, используемый в данном случае. Диапазон доступных языков зависит от выбранной спецификации XML. Если аттрибут не указан, по-умолчанию используется английский язык.
Элемент <sequence_parameter> определяет характер всего алгоритма, который составлен правилами отбора и сортировки.
Элемент <sequence_parameter> содержит единственный аттрибут pname, который указывает название всей последовательности правил.
Элемент <selection> служит для описания правил отбора, которые применяются к данному банку объектов или набору дочерних объектов содержащихся внутри родительского. Полный набор правил должен быть прочитан из файла прежде чем будет осуществлен сам отбор. Атрибутов у этого элемента нет.
Элемент <selection> включает в себя следующие подэлементы (рисунок 2):
- <sourcebank_ref> (определяет банк объектов, к которому будут применены правила отбора и сортировки, может входить в элемент <selection> ноль или один раз).
- <selection_number> (определяет количество объеков, которые длжны быть отобраны, может являться целым числом в диапазоне от 1 до 4096, может входить в элемент <selection> ноль или один раз).
- <selection_metadata> (содержит словарь метаданных, которые используются в правилах отбора, может входить в элемент <selection> ноль или один раз).
- <and_selection> (содержит конструкции из нескольких правил, которые построены на основе логического оператора И, может входить в элемент <selection> ноль или один раз).
- <or_selection> (содержит конструкции из нескольких правил, которые построены на основе логического оператора ИЛИ, может входить в элемент <selection> ноль или один раз).
- <not_selection> (содержит конструкции из нескольких правил, которые построены на основе логического оператора НЕ, может входить в элемент <selection> ноль или один раз).
- <selection_extension> (позволяет использовать собственные расширения для правил отбора).
Рисунок 2 – Структура элемента <selection>
Каждый из элементов <and_selection>, <or_selection> и <not_selection> может содержать подэлементы <selection_metadata>, <and_selection>, <or_selection> и <not_selection>.
Поддерживаются следующие правила отбора:
- All – выбираются все объекты. При данном правиле нельзя использовать элемент <selection_number>.
- Parametrized All – выбираются все объекты, которые обладают определенными свойствами (эти свойства характеризуются мета-данными объекта).
- Partial – случайный отбор нескольких объектов. Количество объектов указывается в элементе <selection_number>.
- Parameterized Partial – случайный отбор нескольких объектов, которые обладают определенными свойствами.
- Logical – логические ассоциации объектов, такие как выбор одного объекта, основанный на выборе другого.
Структура элемента <order> показана на рисунке 3
Рисунок 3 – Структура элемента <order>
Элемент <order> содержит инструкции сортировки, которые применяются к предварительно отобранным объектам.
Элемент <order> содержит в себе обязательный атрибут order_type. Он указывает способ сортировки объектов:
- Sequential – способ сортировки, при котором сортируемые объекты после применения правил отбора выстраиваются в порядке, в котором эти объекты стояли в отношении родительский объект – дочерний объект.
- Random – способ сортировки, при котором сортируемые объекты выстраиваются в случайном порядке.
- Fixed – способ сортировки, при котором сортируемые объекты выстраиваются в соответствии с порядком, в котором они встречаются.
Элемент <order> содержит в себе единственный подэлемент <order_extension>. Этот элемент указывает собственные правила сортировки объектов. После указания этих правил и их названия. Эти правила могут вызываться через атрибут order_type элемента <order>. Структура элемента <selection_ordering> изображена на рисунке 4.
Рисунок 4 – Общая структура элемента <selection_ordering>
Таким образом, параметры, используемые в алгоритме отбора тестовых заданий для тестирования, будут описаны в XML-файле в соответствии со спецификацией QTI при создании базы вопросов. В настоящее время ведется работа по настройке параметров отбора и сортировки тестов, а также по разработке интуитивно-понятного интерфейса.
Литература
- Нардюжев В. И., Нардюжев И. В. Модели и алгоритмы информационно-вычислительной системы компьютерного тестирования. - М.: Прометей, 2000.- 148 с.
- Соловов А.В. Проектирование компьютерных систем учебного назначения: Учебное пособие. – Самара: СГАУ, 1995. – 140 с.
- Colin Smythe, Eric Shepherd, Lane Brewer, Steve Lay IMS Question & Test Interoperability,