Другие статьи

Цель нашей работы - изучение аминокислотного и минерального состава травы чертополоха поникшего
2010

Слово «этика» произошло от греческого «ethos», что в переводе означает обычай, нрав. Нравы и обычаи наших предков и составляли их нравственность, общепринятые нормы поведения.
2010

Артериальная гипертензия (АГ) является важнейшей медико-социальной проблемой. У 30% взрослого населения развитых стран мира определяется повышенный уровень артериального давления (АД) и у 12-15 % - наблюдается стойкая артериальная гипертензия
2010

Целью нашего исследования явилось определение эффективности применения препарата «Гинолакт» для лечения ВД у беременных.
2010

Целью нашего исследования явилось изучение эффективности и безопасности препарата лазолван 30мг у амбулаторных больных с ХОБЛ.
2010

Деформирующий остеоартроз (ДОА) в настоящее время является наиболее распространенным дегенеративно-дистрофическим заболеванием суставов, которым страдают не менее 20% населения земного шара.
2010

Целью работы явилась оценка анальгетической эффективности препарата Кетанов (кеторолак трометамин), у хирургических больных в послеоперационном периоде и возможности уменьшения использования наркотических анальгетиков.
2010

Для более объективного подтверждения мембранно-стабилизирующего влияния карбамезапина и ламиктала нами оценивались перекисная и механическая стойкости эритроцитов у больных эпилепсией
2010

Нами было проведено клинико-нейропсихологическое обследование 250 больных с ХИСФ (работающих в фосфорном производстве Каратау-Жамбылской биогеохимической провинции)
2010


C использованием разработанных алгоритмов и моделей был произведен анализ ситуации в системе здравоохранения биогеохимической провинции. Рассчитаны интегрированные показатели здоровья
2010

Специфические особенности Каратау-Жамбылской биогеохимической провинции связаны с производством фосфорных минеральных удобрений.
2010

Многокритериальный анализ принятия решений (mcda) в области госпитальной оценки медицинских технологий

В данной статье предложена собственная модель принятия управленческих решений о целесообразности внедрения новых медицинских технологий в практику медицинской организации с включением стандартизированных критериев оценки.

Использование данной модели позволит проводить прямое сравнение внедряемых медицинских технологий между собой, определять приоритетность внедрения оцениваемых медицинских технологий, снизить степень влияния субъективных факторов на принятие управленческих решений в медицинской организации.

Введение. Медицинские организации в большинстве случаев являются основной точкой применения новых (инновационных) технологий в здравоохранении. Внедрение новых технологий в практику, как правило, приводит к замене или модернизации уже использующихся, что создает потребность в наличии достоверной и обоснованной информации о ценности и преимуществах новых технологий в сравнении с существующей стандартной практикой.

Больница Медицинского центра Управления делами Президента Республики Казахстан (далее - Больница МЦ УДП РК) является первой медицинской организацией Республики Казахстан, осуществившей внедрение системы госпитальной оценки медицинских технологий. Медицинские технологии включают в себя медицинское оборудование и приборы, лекарственные средства и биологически активные соединения, клинические процедуры, а также организационные и связанные с электронной медициной технологии.

Одним из основных инструментов госпитальной оценки медицинских технологий (далее - ОМТ) является подготовка мини-отчета ОМТ [1, 2]. Мини-отчет ОМТ представляет собой короткую и структурированную оценку необходимых условий и последствий использования конкретной медицинской технологии в практике медицинской организации для определенной группы пациентов. Результаты данного отчета часто представляются в виде типового списка (чек-листа), содержащего ряд ключевых вопросов, включающих результаты оценки клинической эффективности, безопасности, экономической эффективности и организационные аспекты рассматриваемой медицинской технологии. Результаты данного отчета являются основой для принятия управленческих решений о целесообразности внедрения в практику медицинской организации новой технологии. Как правило, мини-отчет ОМТ является ретроспективным и основывается на данных обзора соответствующей литературы и мнения экспертов [3]. Мини-отчет ОМТ также включает элементы экономического анализа, в большинстве случаев моделирование и анализ влияния на бюджет, для возможности оценки экономических последствий от внедрения новой технологии.

В Больнице МЦ УДП РК с момента создания отдела инновационного менеджмента (март 2015 года) было разработано Руководство по внедрению новых (инновационных) технологий (далее - Руководство), что явилось методологической основой для регулирования отношений, связанных с внедрением и использованием медицинских технологий в практике, включая этапы подачи и рассмотрения заявки на применение новых технологий, проведения клинико-экономической оценки целесообразности внедрения технологий посредством создания мини-отчетов ОМТ и принятия управленческих решений на основе результатов мини-отчетов ОМТ.

Несмотря на высокую ценность результатов мини-отчета ОМТ для лиц, принимающих управленческие решения в медицинской организации, классический мини-отчет ОМТ не позволяет провести прямое сравнение нескольких медицинских технологий между собой. В связи с этим интеграция принципов Многокритериального анализа принятия решений (англ. - Multiple Criteria Decision Analysis, MCDA) в структуру мини-отчета ОМТ даст возможность проведения сравнительной оценки внедряемых медицинских технологий на основе стандартизированных критериев и позволит избежать влияния субъективных факторов на принятие управленческих решений. В исследованиях ряда авторов подтверждается практическая значимость использования принципов MCDA при оценке медицинских технологий и предполагается их дальнейшее развитие [4-8].

MCDA позволяет находить оптимальное решение в условиях избыточного количества неупорядоченных аргументов для принятия решений; обеспечивает последовательный и воспроизводимый процесс принятия решений путем использования единого подхода; обеспечивает более прозрачный процесс принятия решений, т.к. на любом из уровней принятия решения внешним наблюдателям доступен набор используемых критериев и их значений [9, 10].

Целью настоящего исследования явилось создание собственной модели принятия управленческих решений о целесообразности внедрения новых медицинских технологий в практику медицинской организации с использованием принципов Многокритериального анализа принятия решений (MCDA).

Материалы и методы исследования. Для возможности анализа эффективности использования принципов Многокритериального анализа принятия решений (MCDA) в рамках госпитальной оценки медицинских технологий был проведен систематический поиск литературы в международных базах данных опубликованных исследований MEDLINE (PubMed), Cochrane Database of Systematic Reviews, Health Technology Assessment Database, Tripdatabase.

На основе проведенного поиска и анализа международного опыта использования принципов MCDA нами была создана собственная модель принятия управленческих решений с включением 5-ти стандартизированных критериев:

  1. Новизна/инновационность;
  2. Сравнительная клиническая эффективность и безопасность;
  3. Востребованность;
  4. Экономическая эффективность;
  5. Срок окупаемости инвестиций.

Ценность (вес) каждого критерия была определена как средняя арифметическая величина, полученная в результате опроса лиц, принимающих управленческие решения, и экспертов в области оценки медицинских технологий Больницы МЦ УДП РК в общем количестве 10 респондентов.

Во избежание разночтений ниже представлено описание стандартизированных критериев, которые были использованы в данной модели принятия решений.

Критерий 1: Новизна/инновационность. Данный критерий характеризует насколько оцениваемая медицинская технология является новой (инновационной) для медицинской организации и имеются ли прямые или опосредованные аналоги или альтернативные методы, которые уже применяются в практике. Выбор критериев оценки эффективности медицинской технологии всегда определяется индивидуально и зависит от вида оцениваемой технологии.

Критерий 2: Сравнительная клиническая эффективность и безопасность. Оценка клинической эффективности и безопасности предлагаемой к внедрению медицинской технологии должна проводиться только в сравнении с уже использующимися в практике медицинской организации технологиями. Клиническая эффективность должна иметь количественную оценку, характеризующуюся конечными точками (например, частота неблагоприятных событий, частота послеоперационных осложнений или смертности, количество полученных лет качественно прожитой жизни (QALY) – для лечебных технологий; чувствительность и специфичность для диагностических технологий и т.п.). Если клинические эффекты выражены промежуточными конечными точками (например, изменение систолического или диастолического кровяного давления), необходимо определить как они связаны с конечными результатами.

Критерий 3: Востребованность. Определяет насколько оцениваемая медицинская технология будет востребована в медицинской организации. Рекомендуется наиболее точно определить количество пациентов, которым будет проведена технология в первый и последующие годы использования.

Критерий 4: Экономическая эффективность. Рассчитывается на основе учета всех предполагаемых затрат медицинской организации на проведение технологии (оплата труда причастному персоналу, стоимость проведенных койкодней, в т.ч. стоимость пребывания в ОАРИТ, затраты на лекарственные средства и изделия медицинского назначения, затраты на диагностические и лечебные услуги и процедуры, амортизация используемого медицинского оборудования, и т.д.) и стоимости возмещения за 1 пролеченный случай в рамках государственного заказа Министерства здравоохранения или как платной услуги.

Критерий 5: Срок окупаемости инвестиций.

Рассчитывается исходя из чистого дохода медицинской организации от 1 пролеченного случая и общей суммы расходов на внедрение технологии (например, обучение персонала, закуп медицинского оборудования, изделий медицинского назначения, дорогостоящих лекарственных средств, проведение работ по перепланировке, расширение штата и т.п.).

Результаты. До разработки и внедрения модели принятия управленческих решений на основе стандартизированных критериев указанные критерии при подготовке мини- отчетов ОМТ рассматривались по отдельности и не включали инструмента их количественного измерения, что создавало сложности в интерпретации полученных результатов и расстановки приоритетов во внедрении новых технологий в практику.

С целью стандартизации, открытости (прозрачности) и непредвзятости процесса принятия управленческих решений в структуру мини-отчета ОМТ было включено 5 стандартизированных критериев, которые отражают основные результаты проведенной клинико-экономической оценки (таблица 1).

Таблица 1 – Перечень стандартизированных критериев для принятия управленческих решений о целесообразности внедрения новой медицинской технологии

Наименование критерия

Характеристика критерия

Баллы критерия

1.

Новизна/ инновационность

1. Технология является новой для медицинской организации и не имеет аналогов и альтернативных методов

100

2. Существующие аналоги и альтернативные методы не достаточно эффективны

75

3. Технология является одной из альтернатив существующей практике

50

4. Существующие технологии достаточны

0

2.

Сравнительная клиническая эффективность и безопасность

1. Технология обладает несколькими преимуществами по сравнению с существующей практикой или технология является общепринятым золотым стандартом

100

2. Технология обладает одним преимуществом по сравнению с существующей практикой

75

3. Технология обладает сопоставимой клинической эффективностью и безопасностью или доказательства преимуществ малоубедительны

50

4. Клиническая эффективность и безопасность технологии ниже в сравнении с аналогами

0

3.

Востребован

ность

1. Технология будет использована более чем у 100 пациентов в год

100

2. Технология будет использована у 50-100 пациентов в год

75

3. Технология будет использована у менее чем 50 пациентов в год

50

4. Технология будет использоваться в единичных случаях

0

4.

Экономическая эффективность

1. Использование технологии позволит существенно сократить затраты медицинской организации или будет являться новым источником дохода

100

2. Использование технологии позволит сократить некоторые затраты медицинской организации

75

3. Использование технологии не повлияет на величину затрат медицинской организации

50

4. Использование технологии увеличит затраты медицинской организации

0

5.

Срок окупаемости инвестиций

1. Менее 3-х лет или для внедрения технологий не требуется дополнительных инвестиций

100

2. 3-5 лет

75

3. 5-10 лет

50

4. Более 10 лет

0

Каждый критерий имеет 4 варианта ответа и может быть оценен в промежутке от 0 до 100 баллов. После определения балла для каждого критерия (оценка критерия), данный балл умножается на весовое значение критерия для получения итогового балла (результат оценки критерия). каждому критерию и имеет максимальное значение в 100

Общий результат считается как сумма итоговых баллов по баллов (таблица 2).

Таблица 2 - Методика расчета согласно стандартизированным критериям

Наименование критерия

Оценка критерия в баллах (S)

Вес критерия (W)

Результат (S*W)

1.

Новизна/ инновационность

0-100

0,2 (СО 0,06)

0-20

2.

Сравнительная клиническая эффективность и безопасность

0-100

0,3 (СО 0,10)

0-30

3.

Востребованность

0-100

0,2 (СО 0,06)

0-20

4.

Экономическая эффективность

0-100

0,2 (СО 0,06)

0-20

5.

Срок окупаемости инвестиций

0-100

0,1 (СО 0,06)

0-10

ОБЩИЙ РЕЗУЛЬТАТ

0-500

1

0-100

СО - стандартное отклонение, n=10 респондентов

На основании полученных данных было проведено моделирование различных вариантов оценки медицинских технологий согласно стандартизированным критериям, что позволило определить пороговые значения оцениваемых медицинских технологий, соответствующие их приоритету к внедрению (таблица 3).

Таблица 3 - Приоритизация медицинских технологий согласно стандартизированным критериям

Приоритет внедряемой медицинской технологии

Общий балл согласно критериям

Рекомендации

1.

Высокий приоритет

75 баллов и выше

МТ рекомендуются к внедрению в практику

2.

Средний приоритет

60-73 баллов

МТ могут быть рекомендованы к внедрению только при наличии достаточных финансовых возможностей медицинской организации

3.

Низкий приоритет

40-58 баллов

МТ могут быть рекомендованы к внедрению только при наличии веских обоснований их необходимости

МТ - медицинские технологии

Медицинские технологии, набравшие 35 баллов и менее (критерии №№ 1, 2, 4 по 50 баллов; критерии №№ 3, 5 по 0 баллов) не рекомендуются к внедрению и использованию в практике.

Медицинские технологии, попадающие в промежуток от 40 до 58 баллов (критерий № 2 - 75 баллов; критерии №№ 1, 3, 4, 5 по 50 баллов) являются низкоприоритетными и могут быть рекомендованы к использованию только при наличии веских обоснований их необходимости.

Медицинские технологии, попадающие в промежуток от 60 до 73 баллов (критерий №№ 1, 2, 3, 4 по 75 баллов; критерий № 5 - 50 баллов), являются технологиями среднего приоритета и могут быть рекомендованы к внедрению только при наличии достаточных финансовых возможностей медицинской организации и зависят, в первую очередь, от суммы необходимых инвестиций, требующихся для внедрения технологии (необходимость закупа дополнительного медицинского оборудования и изделий медицинского назначения, обучения специалистов, увеличение штата медицинской организации и т.д.).

Технологии, набравшие 75 баллов и выше, являются приоритетными и рекомендуются к внедрению в практику. Следует отметить, что даже после определения приоритетных медицинских технологий, имеют место риски, связанные с ограниченностью бюджета медицинской организации. В данном случае вопрос о целесообразности внедрения медицинских технологий рассматривается отдельно для каждой технологии и зависит, в первую очередь, от основных стратегических направлений развития медицинской организации на момент принятия решения. Обсуждение. Согласно международному руководству по использованию принципов Многокритериального анализа принятия решений (MCDA) в здравоохранении, представленном Международным обществом исследований в области фармакоэкономики и клинических исходов (англ. - International Society for Pharmacoeconomics and Outcomes Research, ISPOR), внедрение принципов MCDA как помощника в принятии обоснованных управленческих решений в медицинской организации можно представить следующими основными этапами [11, 12]:

  1. Анализ основных проблем и слабых сторон в процессе принятия управленческих решений в медицинской организации;
  2. Определение значимых критериев для возможности принятия обоснованных управленческих решений о целесообразности внедрения и использования различных медицинских технологий в практике;
  3. Оценка качества (эффективности) критериев MCDA лицами, принимающими решения и экспертной группой медицинской организации;
  4. Определение веса (значимости) каждого критерия MCDA в совокупности, проверка их согласованности и преемственности для всех участников процесса использования медицинской технологии в практике;
  5. Представление результатов MCDA всем заинтересованным сторонам и включение критериев MCDA в процесс принятия решений в медицинской организации.

Следует отметить, что каждая медицинская организация должна сама проводить отбор значимых критериев с учетом влияния внешних и внутренних факторов, её возможностей, миссии, видения и направления стратегического развития. Медицинские организации могут воспользоваться предложенной моделью без внесения каких-либо изменений или адаптировать в соответствии со своими нуждами (добавить или исключить какие-либо критерии, внести коррективы в характеристики критериев, изменить баллы критериев и т.п.).

Крайне важно отметить, что весовое значение критериев должно быть определено для каждой медицинской организации отдельно. При определении весового значения критериев необходимо задействовать только тех лиц в медицинской организации, кто непосредственно участвует в принятии управленческих решений (в большинстве случаев это главный врач медицинской организации и его заместители).

Весовые значения критериев могут быть определены путем проведения анкетирования, где респонденты должны указать вес каждого критерия в долях (например, 0,1, 0,15, 0,2, 0,35 и т.п.). Весовые значения критериев могут быть различны и зависят от того, какой из предложенных критериев является более значимым для респондента при принятии управленческих решений. Итоговая сумма весов всех критериев должна составлять ровно 1,0 (единица).

Интересен тот факт, что при проведении анкетирования была выявлена взаимосвязь между вариантами оценки весовых значений критериев и спецификой занимаемой должности в медицинской организации. Респонденты, курирующие финансово-экономические вопросы, отдавали предпочтения экономическим аспектам оценки технологии, востребованности и сроку окупаемости инвестиций, в то время как респонденты, отвечающие за вопросы научной и клинической деятельности, отдавали предпочтение клинической эффективности и безопасности технологии и её новизне (инновационности).

Выводы и рекомендации. Использование принципов Многокритериального анализа принятия решений (MCDA) в медицинской организации и включение в структуру мини- отчета по оценке медицинских технологий (ОМТ) стандартизированных критериев даст возможность 1) проводить сравнительную оценку внедряемых новых медицинских технологий; 2) определять приоритетность внедрения оцениваемых медицинских технологий; 3) обеспечить последовательный и воспроизводимый процесс принятия решений; 4) избежать влияния субъективных факторов на принятие управленческих решений.

Следует отметить, что данный инструмент оценки целесообразности внедрения и использования в практике различных медицинских технологий, помимо социального эффекта, связанного с повышением качества оказания медицинской помощи, имеет значимый экономический эффект, позволяющий создать основу для финансовой стабильности медицинской организации.

 

СПИСОК ЛИТЕРАТУРЫ

  1. Kidholm K., Ehlers L., Korsbek L., Kjaerby R., Beck M. Assessment of the quality of mini-HTA // Int. J. Technol. Assess. Health Care. - 2009. - №25(1). - Р. 42-48.
  2. Sampietro-Colom L., Morilla-Bachs I., Gutierrez-Moreno S., Gallo P. Development and test of a decision support tool for hospital health technology assessment // Int. J. Technol. Assess. Health Care. - 2012. - №28(4). - Р. 460-465
  3. Sampietro-Colom L., Lach K., Cicchetti A., Kidholm K., Pasternack I., Fure B., Rosenmöller M., Wild C., Kahveci R., Wasserfallen J.B., Kiivet R.A., et al. The AdHopHTA handbook: a handbook of hospital based Health Technology Assessment (HB -HTA); Public deliverable // The AdHopHTA Project. - 2015. -Р. 88-96.
  4. Thokala P., Duenas A. Multiple criteria decision analysis for health technology assessment // Value Health. - 2012. - №15(8). - Р. 11721181.
  5. Goetghebeur M.M., Wagner M., Khoury H., Rindress D., Grégoire J.-P., Deal C. Combining multicriteria decision analysis, ethics and health technology assessment: applying the EVIDEM decisionmaking framework to growth hormone for Turner syndrome patients // Cost Eff. Resour. Alloc. - 2010. - №8(1). - Р. 267-275.
  6. Gurtner S. Making the right decisions about new technologies: a perspective on criteria and preferences in hospitals // Health Care Manage. Rev. - 2014. - №39(3). - Р. 245-254.
  7. Diaby V., Goeree R. How to use multi-criteria decision analysis methods for reimbursement decision-making in healthcare: a step-by-step guide // Exp. Rev. Pharmacoeconom. Outcomes Res. - 2014. - №14(1). - Р. 81-99.
  8. Ivlev I., Kneppo P., Bartak M. Multicriteria decision analysis: a multifaceted approach to medical equipment management // Technol. Econ. Develop. Econ. - 2014. - №20(3). - Р. 576-589.
  9. Федяева В.К., Омельяновский В.В., Реброва О.Ю. Многокритериальный анализ как инструмент поддержки принятия решений: обзор методов и возможностей их применения в оценке технологий здравоохранения // Медицинские технологии: оценка и выбор. - 2014. - №2. - С. 88-96.
  10. Sussex J., Rollet P., Garau M., Schmitt C., Kent A., Hutchings A. A pilot study of multicriteria decision analysis for valuing orphan medicines. // Value Health. - 2013. - №16(8). - Р. 1163-1169.
  11. Thokala P., Devlin N., Marsh K., Baltussen R., Boysen M., Kalo Z., Longrenn T., Mussen F., Peacock S., Watkins J., Ijzerman M. Multiple Criteria Decision Analysis for Health Care Decision Making--An Introduction: Report 1 of the ISPOR MCDA Emerging Good Practices Task Force // Value Health. - 2016. - №19(1). - Р. 1-13.
  12. Marsh K., Ijzerman M., Thokala P., Baltussen R., Boysen M., Kaló Z., Lönngren T., Mussen F., Peacock S., Watkins J., Devlin N.; ISPOR Task Force. Multiple Criteria Decision Analysis for Health Care Decision Making--Emerging Good Practices: Report 2 of the ISPOR MCDA Emerging Good Practices Task Force // Value Health. - 2016. - №19(2). - Р. 125-137.

Разделы знаний

Архитектура

Научные статьи по Архитектуре

Биология

Научные статьи по биологии 

Военное дело

Научные статьи по военному делу

Востоковедение

Научные статьи по востоковедению

География

Научные статьи по географии

Журналистика

Научные статьи по журналистике

Инженерное дело

Научные статьи по инженерному делу

Информатика

Научные статьи по информатике

История

Научные статьи по истории, историографии, источниковедению, международным отношениям и пр.

Культурология

Научные статьи по культурологии

Литература

Литература. Литературоведение. Анализ произведений русской, казахской и зарубежной литературы. В данном разделе вы можете найти анализ рассказов Мухтара Ауэзова, описание творческой деятельности Уильяма Шекспира, анализ взглядов исследователей детского фольклора.  

Математика

Научные статьи о математике

Медицина

Научные статьи о медицине Казахстана

Международные отношения

Научные статьи посвященные международным отношениям

Педагогика

Научные статьи по педагогике, воспитанию, образованию

Политика

Научные статьи посвященные политике

Политология

Научные статьи по дисциплине Политология опубликованные в Казахстанских научных журналах

Психология

В разделе "Психология" вы найдете публикации, статьи и доклады по научной и практической психологии, опубликованные в научных журналах и сборниках статей Казахстана. В своих работах авторы делают обзоры теорий различных психологических направлений и школ, описывают результаты исследований, приводят примеры методик и техник диагностики, а также дают свои рекомендации в различных вопросах психологии человека. Этот раздел подойдет для тех, кто интересуется последними исследованиями в области научной психологии. Здесь вы найдете материалы по психологии личности, психологии разивития, социальной и возрастной психологии и другим отраслям психологии.  

Религиоведение

Научные статьи по дисциплине Религиоведение опубликованные в Казахстанских научных журналах

Сельское хозяйство

Научные статьи по дисциплине Сельское хозяйство опубликованные в Казахстанских научных журналах

Социология

Научные статьи по дисциплине Социология опубликованные в Казахстанских научных журналах

Технические науки

Научные статьи по техническим наукам опубликованные в Казахстанских научных журналах

Физика

Научные статьи по дисциплине Физика опубликованные в Казахстанских научных журналах

Физическая культура

Научные статьи по дисциплине Физическая культура опубликованные в Казахстанских научных журналах

Филология

Научные статьи по дисциплине Филология опубликованные в Казахстанских научных журналах

Философия

Научные статьи по дисциплине Философия опубликованные в Казахстанских научных журналах

Химия

Научные статьи по дисциплине Химия опубликованные в Казахстанских научных журналах

Экология

Данный раздел посвящен экологии человека. Здесь вы найдете статьи и доклады об экологических проблемах в Казахстане, охране природы и защите окружающей среды, опубликованные в научных журналах и сборниках статей Казахстана. Авторы рассматривают такие вопросы экологии, как последствия испытаний на Чернобыльском и Семипалатинском полигонах, "зеленая экономика", экологическая безопасность продуктов питания, питьевая вода и природные ресурсы Казахстана. Раздел будет полезен тем, кто интересуется современным состоянием экологии Казахстана, а также последними разработками ученых в данном направлении науки.  

Экономика

Научные статьи по экономике, менеджменту, маркетингу, бухгалтерскому учету, аудиту, оценке недвижимости и пр.

Этнология

Научные статьи по Этнологии опубликованные в Казахстане

Юриспруденция

Раздел посвящен государству и праву, юридической науке, современным проблемам международного права, обзору действующих законов Республики Казахстан Здесь опубликованы статьи из научных журналов и сборников по следующим темам: международное право, государственное право, уголовное право, гражданское право, а также основные тенденции развития национальной правовой системы.