Новый формат учебного процесса по ГОСО-2006 требует полного обновления базы контрольно-измерительных средств, а именно разработки большой базы тестов в формате MSQ А-типа для проведения разных уровней контроля - текущего, рубежного, итогового. На основании анализа нескольких баз тестовых заданий общим объемом 3376 тестов выявлены основные ошибки при их составлении. Освящены ошибки по содержанию тестовых заданий, ошибки по структуре и форме, а также ошибки формулирования тестовых заданий.
В текущем учебном году кафедры интернатуры КазНМУ готовят первый выпуск интернов, занимающихся по ГОСО-2006. Новый формат учебного процесса и новые Типовые учебные программы (ТУП) требует полного обновления базы контрольно-измерительных средств, а именно тестовых заданий для рубежного контроля и для Итоговой аттестации.
Следует отметить, что для проведения независимой оценки знаний интернов в форме тестирования Республиканский центр оценки знаний и навыков (РЦОЗН) рекомендует и использует тесты в формате MSQ А-типа. База тестовых заданий формируется из тестов, подготовленных кафедрами всех 7 медицинских вузов РК, занимающихся подготовкой интернов.
Тест MSQ А-типа для клинических дисциплин - это тест, основанный на клинической ситуации, требующей принятия решения с одним наилучшим правильным ответом (выбор 1 ответа из 5 предложенных).
Первый опыт совместной работы кафедр, обучающих интернов 6-7 курса, при создании базы тестовых заданий для рубежных контролей и для итоговой аттестации выявил многочисленные ошибки при составлении тестовых заданий MSQ А-типа.
Был проведен анализ ошибок при составлении тестовых заданий по нескольким базам тестов по направлению подготовки «Внутренние болезни» (тесты кафедр КазНМУ по дисциплинам - терапия, клиническая лабораторная диагностика, клиническая фармакология, реанимация и анестезиология, неврология, психиатрия и наркология, фтизиатрия, инфекционные болезни), а также базы тестов по дисциплинам терапия и клиническая лабораторная диагностика, подготовленными соотвествующими кафедрами вузов РК (6 вузов).
Общий объем проанализированных тестов составил (по КазНМУ): терапия (включая нефрологию и ревматологию) - 1074, клиническая лабораторная диагностика - 180, клиническая фармакология - 180, реанимация и анестезиология - 60, неврология - 180, психиатрия и наркология -130, фтизиатрия - 180, инфекционные болезни - 180. Итого 2164. Общий объем пронализированных тестов по 6 вузам РК - 1212 тестов. Весь объем тестов, включенных в анализ – 3376.
Среди выявленных можно выделить три группы ошибок:
Ошибки содержания условий тестового задания Ошибки в содержании тестового задания по форме и структуре
Ошибки в формулировке вопроса и вариантов ответа (дистракторы и правильный ответ).
Ошибки по содержанию условий тестовых заданий.
Первое требование к тесту для клинических дисциплин, что содержание тестовых заданий должно быть направлено на оценку знаний по содержанию дисциплины: другими словами тематика тестов должна соотвествовать темам и содержанию ТУП. При составлении тестовых заданий часто не соблюдалась процентное соотношение тестов темам ТУП и их содержанию (слишком много тестов по одним темам, слишком мало или вообще нет тестов по другим).
Например: по циклу гастроэнтерология удельный вес тестов по таким темам как вирусные гепатиты (особенно диагностика, противовирусная терапия, системные проявления), цирроз печени и осложнения цирроза печени, неотложные состояния у больных циррозом печени, гестационная патология печени был очень мал. В отдельных базах тестов (не КазНМУ) эти вопросы оказались не освящены вообще. По циклу гематология – следует отметить преобладание тестов по приобретенным анемиям в ущерб вопросам по врожденным анемиям, лейкозам, ДВС-синдрому и другим коагулопатиям. По циклу пульмонологии – недостаточное количество тестов по диссеминированным заболеваниям легких, практически отсутствовали тесты по пневмомикозам. По дисциплине клиническая лабораторная диагностика – ничтожно число тестов по ИФА диагностике терапевтических и инфекционных заболеваний (не только на определение антител к инфекционным агентам, но и аутоантител), практически нет тестов, позволяющих оценить знания экзаменуемого по выбору наиболее достоверного метода лабораторного обследования (сравнения диагностической ценности разных методов), очень мало тестов на ошибки лабораторной диагностики (например, ошибки при заборе материала, правила хранения и транспортировки и т.п.), практически отсутствуют тесты на алгоритм обследования пациента.
Несоотвествие уровня сложности теста и уровня компетентности по теме ТУП (простые вопросы первого уровня по часто встречающейся патологии с уровнем компетентности «диагностировать и лечить», сложные вопросы третьего уровня по теме с уровнем компетентности «иметь представление»).
Рассмотрим на примере цикла гастроэнтерология: очевидно, что по наиболее распространенной патологии в практике врача-терапевта H.pylory- ассоциированной патологии тесты должны быть преимущественно 3 уровня (применение). Напротив, по такой теме как аутоиммунные заболевания печени достаточно теста первого-второго уровня.
Тем более, что тест 3 по такой теме очень сложно сделать коротким (чтобы экзаменуемый уложился в отведенные 1,5 мин на ответ). Такая патология как аутоиммунный гепатит является диагнозом исключения, для подозрения на АИГ необходимо исключить вирусную, токсическую и наследственную патологию печени. Для ясной и однозначной формулировки условия необходимо будет отразить не менее 7-8 клинических критериев, чтобы можно было ответить на вводный вопрос «какой наиболее вероятный диагноз?» или «какая лечебная тактика наиболее предпочтительна?». Чтобы соблюсти правило хорошего теста – «тест составлен так, что можно ответить на поставленный вопрос не видя вариантов ответа» - условие теста придется делать слишком длинным.
Соблюдение пропорции тестов по смежным профилирующим дисциплинам, входящим в модуль (превалирование тестов по внутренним болезням в ущерб частным вопросам клинической фармакологии, визуальной диагностики, клинической лабораторной диагностики в рамках модуля).
На самом деле эта проблема связана с тем, что в проанализированных базах тестов превалировали тесты 1 уровня (от 24% до 58% от всех тестов в базе по отдельной дисциплине или модулю). Действительно, тест, основанных на клинической ситуации (2 и 3 уровня), непременно будет отвечать требованию накопительный (т.е. позволяет оценить применение знаний по нескольким связанным темам) и интегрированный – позволяет оценить применение знаний по нескольким дисциплинам одновременно. Применительно к терапии в таком тесте можно оценить знания экзаменуемого одновременно по терапии, клинической лабораторной и/или визуальной диагностике и/или клинической фармакологии. Если тест основан на клинической ситуации, требующей неотложных мероприятий – то он позволит оценить и знания по неотложной помощи.
Практически, банк тестовых заданий 2-3 уровня можно лишь условно разделить по отдельным дисциплинам, входящим в модуль. В реальности в рамках одного модуля нецелесообразно выделять тесты по одной дисциплине – хорошо составленных тест на понимание и применение непременно будет междисциплинарным.
Междисциплинарная интерграция (смежные непрофилирующие дисциплины) – при составлении тестов мало внимания уделяется проблемам дифференциальной диагностики. Например, суставной синдром у пациента может оказаться проявлением инфекционной, аутоиммунной, гематологической, хирургической патологии, являющейся предметом терапии, инфекцтологии, хирургии. Синдром боли в груди – кардиологичекой, неврологической, гастроэнтерологической, хирургической проблемой.
Междисциплинарная интеграция при составлении тестов может быть направлена не только на дифференциальную диагностику, но и тактику ведения пациента с сочетанной патологией, на первичную и вторичную профалактику. Например, знания о мероприятиях, направленных на предупреждение туберкулеза у пациента с ревматоидным артритом, получающего иммуносупрессивную терапию; или особенности введения пациента с туберкулезом и сахарным диабетом или ХОБЛ.
Устаревшее содержание тестов. Число тестов, в содержании которых используются устаревшие классификации, понятия, методы диагностики, методы лечения, устаревшая тактика ведения пациента, препараты, не имеющие доказательной базы по их эффективности, невелико (около 1-5% в некоторых базах тестов), но само наличие таких тестов способно сильно скомпрометировать отвественных за формирование банков тестовых заданий. Наличие таких тестов говорит о недобросовествном отношении как преподавателя, составившего такой тест, так и заведующего кафедрой, отвечающего за качество контрольноизмерительных средств. Одним из самых вопиющих примеров является использование в условиях тестов классификации хронических гепатитов от 1978 года, в то время как действующая классификация принята в 1994 году - отставание на 20 лет. Или использование критериев диагностики
аутоиммунных заболеваний, потерявших свою актуальность в 1989 и 2010 году (аутоиммунный гепатит, первичный билиартный цирроз, системная красная волчанка).
Ошибки в содержании тестового задания по форме и структуре
Правильность определения тестов по уровню сложности. Несмотря на то, что в инструкциях и методических материалах достаточно четко определено, что такое тест на запоминание, на понимание, на применение, зачастую такого единого толкования сложности теста нет даже в рамках одной кафедры, в рамках одного вуза. Наиболее распространенным является обозначение тестов 1 уровня как соответствующих 2 и даже 3 уровню. В результате тесты 1 уровня достигают в некоторых базах тестов 58%, в то время как для оценки знаний интернов рекомендуется иметь в базе тестов на запоминание не более 10%.
Кроме того тест на запоминание может применяться для оценки знаний только по редкой патологии, включенной в Типовую учебную программу, но по которой интерн должен только иметь представление (то есть уровень компетенции -1). Превалирование тестов 1 уровня делает такую базу тестовых заданий непригодной для оценки уровня знаний интернов. Нереалистичное описание клинической ситуации. Тест содержит условие, в котором описана ситуация, которая не может быть в реальной клинической практике, то есть совершенно умозрительная. Наиболее часто имеется несоответствие между отдельными фактами. Например: в тесте, описывающий ревматоидный артрит, продолжительность такого симптома как утренняя скованность не соотвествует указанным в условии лабораторным данным, поэтому определение активности становиться невозможным, следовательно, невозможно ответить на поставленный вопрос о тактике лечения.
Неструктуированная информация, неясная формулировка. Условие теста должно включать в себя все существенные факты, поданные структуировано (возраст, пол, место, жалобы, динамика, анамнез, объективные данные, результаты обследования и т.п.). Тесты могут быть перегружены несущественной информацией, существенная информация подана безсистемно. Такой тест сложен для восприятия.
Ошибки в формулировке вопроса и вариантов ответа. Наиболее частая ошибка в формулировке вводного вопроса - это вопросы открытого типа (например: «Мальдигестия может быть обусловлена: …»). Вводный вопрос должен быть сформулирован ясно и четко, желательно с использованием слова «наиболее», поскольку экзаменуемому надо выбрать 1 наиболее правильный ответ из 4-5 вариантов правильных ответов.
Короткие вопросы с длинными вариантами ответов. Зачастую варианты ответов представлют собой предложение из 5-8 слов или представляют собой комбинацию из нескольких (повторяющихся в дистракторах) названий. Например: «Четырехкомпонентная терапия гломерулонефрита - это:
- Цитостатики + антибиотики + нестероидные противоспалительные средства + антиагреганты
- Цитостатики + нестероидные противоспалительные средства + антиагреганты + антикоагулянты
- Цитостатики + кортикостероиды + антиагреганты + антикоагулянты
- Нестероидные противовоспалительные средства + кортикоиды + антиагреганты + антикоагулянты
- Цитостатики + антикоагулянты + антибиотики + антиагреганты»
Неоднородные дистракторы. В большинстве случаев под неоднородными дистракторами понимается, такая ситуация: например, вопрос стоит о выборе метода диагностики - однородность дистракторов выражается в том что все дистракторы должны быть про лабораторные методы или все - про инструментальные. Это действительно так. Но кроме того следует следить за тем, чтобы дистракторы были однородно сформулированы.
Выделяющийся правильный ответ (правильный ответ намного длиннее дистракторов или более полный).
Использование торговых названий препаратов вместо международных непатентованных. Зачастую используются торговые названия препаратов, при этом есть тесты, в которых другое торговое название препарата используется как дистрактор (например, правильный ответ - «вольтарен», дистрактор - ортофен, оба препарата - торговое название диклофенака).
Проанализированные базы тестовых заданий сильно различались по общему числу и пропорции перечисленных выше ошибок, но все перечисленные ошибки были представлены во всех базах тестов. Число некорректных тестов составляет от 5-10% (в базах КазНМУ по терапии, инфекционным болезням, неврологии, клинической лабораторной диагностике) до 40-50% (в базах других мед. вузов, клинической фармакологии).
- Ошибки по структуре, форме тестовых заданий (условия, вводного вопроса и вариантов ответов) объясняются несколькими факторами:
- составители тестов либо не прошли обучения по тестологии, либо не овладели в полной мере техникой составления тестовых заданий;
- на кафедрах нет внутреннего контроля качества тестов, взаимопроверки, взаимообучения.
Несоответствие тематики тестов и содержания ТУП, наличие устаревших тестов можно объяснить тем, что составители тестов не делают тесты de novo, а используют тесты (заимствованные без ведома настоящих авторов, тесты прошлых лет, скаченные из интернета), часто без какой-либо критического отношения, как к источнику тестов, так и к собственному плагиату, набирая необходимое общее количество без соблюдения пропорции тестов по тематике ТУП и их качества.
Такое отношение свидетельствует о более глубоких проблемах в организации учебно-методической работы: ведь тесты для проведения итогового контроля и независимой экзаменации должны были бы быть отобраны из баз тестовых заданий, уже подготовленных в рамках УМКД каждой дисциплины в том числе и для проведения текущего и рубежного контроля - наиболее качественные из имеющихся тестов. Если тесты были отобраны без учета их соответствия действующей ТУП, и при этом тесты не соответствуют требованиям составлению тестов, то какой же уровень тестов для текущего, рубежного контроля, годовой аттестации?
СПИСОК ЛИТЕРАТУРЫ
- С.Кейс, Д.Свэнсон. Создание письменных тестовых вопросов по базисными клиническим дисциплинам. /под редакцией Булах И., Сироткина А., Мруги М. - Филадельфия, США, Национальный совет медицинских экзаменаторов, 1996.- 119 с.