ОНТОЛОГИЯ БАЗОВЫХ ПОНЯТИЙ О СРЕДСТВАХ БОРЬБЫ С ИНФЕКЦИЕЙ ОБЛАСТИ ХИРУРГИЧЕСКОГО ВМЕШАТЕЛЬСТВА И ЗАДАЧА ИХ РАЗВИТИЯ

Опубликовано в журнале: Научный журнал «Интернаука» № 25(295)
Рубрика журнала: 8. Медицина и фармакология
DOI статьи: 10.32743/26870142.2023.25.295.361404
Библиографическое описание
Cтепин А.В., Гольдштейн С.Л., Кулрявцев А.Г., Гунбин С.В. ОНТОЛОГИЯ БАЗОВЫХ ПОНЯТИЙ О СРЕДСТВАХ БОРЬБЫ С ИНФЕКЦИЕЙ ОБЛАСТИ ХИРУРГИЧЕСКОГО ВМЕШАТЕЛЬСТВА И ЗАДАЧА ИХ РАЗВИТИЯ // Интернаука: электрон. научн. журн. 2023. № 25(295). URL: https://internauka.org/journal/science/internauka/295 (дата обращения: 06.05.2024). DOI:10.32743/26870142.2023.25.295.361404

ОНТОЛОГИЯ БАЗОВЫХ ПОНЯТИЙ О СРЕДСТВАХ БОРЬБЫ С ИНФЕКЦИЕЙ ОБЛАСТИ ХИРУРГИЧЕСКОГО ВМЕШАТЕЛЬСТВА И ЗАДАЧА ИХ РАЗВИТИЯ

Степин Артем Вячеславович

канд. мед. наук, доц., ГБУЗ СО «Уральский Институт Кардиологии»,

РФ, г. Екатеринбург

Гольдштейн Сергей Людвигович

д-р тех. наук, проф., ФГАОУ «Уральский Федеральный Университет»,

РФ, г. Екатеринбург

Кудрявцев Александр Генрихович

канд. техн. наук, доц., ФГАОУ «Уральский Федеральный Университет»,

РФ, г. Екатеринбург

Гунбин Сергей Викторович

студент, ФГАОУ «Уральский Федеральный Университет»,

РФ, г. Екатеринбург

 

ONTOLOGY OF BASIC CONCEPTS FOR MEANS OF FIGHTING INFECTIONS IN THE FIELD OF SURGICAL INTERVENTION (AS A BASIS FOR DEVELOPMENT)

Artem Stepin

candidate of medical sciences, associate Professor, Ural Institute of Cardiology,

Russia, Yekaterinburg

Sergey Goldshtein

doctor of technical sciences, Professor, FGAOU «Ural State University»,

Russia, Yekaterinburg

Alexandr Kudryavtsev

candidate of technical sciences, Professor, FGAOU «Ural State University»,

Russia, Yekaterinburg

Sergey Gunbin

student, FGAOU «Ural State University»,

Russia, Yekaterinburg

 

АННОТАЦИЯ

Для поиска и развития средств борьбы с инфекцией области хирургического вмешательства (ИОХВ) предложена, в качестве первого шага, онтология базовых понятий, проверенная по комплексу критериев и позволяющая выделять когнитивные маршруты для выхода на актуальные задачи развития.

ABSTRACT

For the search and development of means of combating surgical site infection (SSI), an ontology of basic concepts is proposed as a first step, tested by a set of criteria and allowing to identify cognitive routes for reaching actual development tasks.

 

Ключевые слова: борьба с ИОХВ, онтология базовых понятий, критерии оценки онтологии, эмерджентность, когнитивные маршруты.

Keywords: fight against SSI, ontology of basic concepts, ontology evaluation criteria, emergence, cognitive routes.

 

Введение

Онтология базовых понятий – надёжная основа для разрешения проблемных ситуаций, позволяющая выйти на корректную формулировку связанных с ними задач [1]. Онтологии для средств борьбы (СБ) с инфекцией области хирургического вмешательства (ИОХВ) нет, что сдерживает постановку задач на развитие СБ с ИОХВ. Причём развития не только арсенала медицинских средств, но и информационно-интеллектуальных компьютерных систем поддержки принятий решений с учётом системного подхода вплоть до системной интеграции [2]. Первый шаг на этом пути - учёт логики по цепочке: фиксация события – проблемная ситуация с ИОХВ ® формирование запросов по ключевым словам к средствам информации ® отбор релеватно-перспективных ответов ® построение онтологии ® работа на её основе с когнитивными картами и маршрутами ® постановка актуальных задач для разрешения проблемных ситуаций. В статье поставлены и решены задачи: создания онтологии базовых понятий для СБ с ИОХВ, проверки качества онтологии по известным критериям, оценки системности по показателю эмерджетности, выбора когнитивных маршрутов и формулирования на их основе пакета актуальных задач.

1. Об онтологическом пространстве системной интеграции

В [1], во–первых, представлены определения (развернутые до концептуальных моделей) понятия «пространство» и его частных случаев: информационного, когнитивного, онтологического и контентного, что дает ответы на основные вопросы о функциях, путях их реализации, структурной основе, направленности, цели и свойствах рассматриваемых онтологических пространств. Во-вторых, на основе модели трехмерного онтологического пространства знаний о системной мыследеятельности, как аналога, представлено ее развитие до системно-технического и системно-интеграционного уровней и предложена модель трехмерного онтологического пространства знаний о сложном объекте с координатами: классификация знаний, их теоретичность, масштаб объекта. В-третьих, рассмотрены варианты адресации частных онтологий в предложенных пространствах знаний. В-четвертых, приведены графические образы позиционирования, а также плоские и объемные представления частных онтологий/гранул. В-пятых, дан подход к интеграции онтологических пространств сложного объекта и системной деятельности на основе динамических моделей поведения и управления с оценками готовности хранилищ знаний и эффективности их совместной работы.

2. О логике выхода на первичную информацию для создаваемой онтологии

Задача составления целевой онтологии базовых понятий требует нахождения полной и актуальной информации об исследуемой области. При этом наиболее эффективен современный информационный поиск [3]. Для нахождения релевантного материала нужны ключевые запросы - сочетания из 3-5 слов, сужающие поисковую выдачу от источников: экспертов смежных областей, интернет ресурсов, патентных баз и библиотек специальной литературы. Первичная информация, выявляемая таким образом должна подтвердить актуальность этой сложной темы и недостаточную её исследованность, прежде всего, с системной точки зрения. Для противодействия ИОХВ известен ряд медицинских и организационно-управленческих мер [4], но использованы не все возможности, в частности, связанные с интеллектуальными компьютерными системами.

3. Предлагаемая онтология как иерархия базовых понятий по теме

В качестве источника терминов и связей между ними выбраны федеральные клинические рекомендации [5,6], национальная концепция по профилактике [7], приказ о критериях качества оценки медицинской помощи [8] и др. Каждый из приведённых документов даёт лишь фрагментарное представление о предметной области, но в совокупности картина близка к цельной. Для закрытия “белых пятен” потребовалось обращение к внешним источникам. Так, в медицинских статьях часто используют термин “медицинские протоколы”. Однако эти документы не подходят для прямой конвертации в онтологию, т.к. понятия разных уровней перемешены в тексте, иерархические связи представлены фрагментарно, некоторые понятия в тексте подразумеваются, но не представлены явно, нет проверки по критериям. При отсутствии термина в приведённых документах естественно его заимствование из внешних источников.

Предлагаемая онтология в виде иерархии базовых понятий представлена на рис. 1-7 по фрагментам.

 

Рисунок 1. Фрагмент 1 иерархии понятий к термину (0) - медпомощь при риске ИОХВ (1 – объекты, 1.1 – взрослый кардиохирургический пациент по периодам, 1.2 – ИОХВ, 2 – средства борьбы с ИОХВ, 2.1 – медицинские способы профилактики, 2.2 – медицинские устройства, 2.3 – интеллектуально-информационные компьютерные (ИИК) поддержки, 2.4 – информационно-управленческие (ИУ) поддержки, 2.5 – системная и системно-интеграционная поддержки, 3 – критерии качества, 3.1 – эпидемиологические показатели, 3.2 - качество жизни, 3.3 – затраты, 3.4 – свойства)

 

Рисунок 2. Фрагмент 2 иерархии понятий к термину 1.1 - взрослый кардиохирургический пациент по периодам (1.1.1 - предоперационный период, 1.1.2 - интраоперационный период, 1.1.2.1 - экстренность операции, 1.1.2.1.1 – плановая, 1.1.2.1.2 - 0ургентная, 1.1.2.1.3 – неотложная, 1.1.2.1.4 – экстренная, 1.1.2.2 - объем операции, 1.1.2.2.1 - операция в условиях искусственного кровообращения, 1.1.2.2.2 - операция на работающем сердце, 1.1.2.2.3 - коронарное шунтирование, 1.1.2.2.4 - изолированная операция, 1.1.2.2.5 - сочетанная (симультаная) операция, 1.1.3 - послеоперационный период, 1.1.3.1 - неосложненный послеоперационный период, 1.1.3.2 - возникновение ИОХВ, 1.1.3.3 - послеоперационные осложнения, 1.1.3.3.1 - хирургическое кровотечение, 1.1.3.3.2 - острая сердечная недостаточность, 1.1.3.3.3 - острый периоперационный инфаркт миокарда, 1.1.3.3.4 - острый периоперационный инсульт, 1.1.3.3.5 - острая почечная недостаточность, 1.1.3.3.6 - острая дыхательная недостаточность, 1.1.3.3.7 - продленная вентиляция легких, 1.1.3.3.8 - продленное нахождение в отделении реанимации, 1.1.3.4 - смерть)

 

Рисунок 3. Фрагмент 3 иерархии понятий к термину 1.1.1 - предоперационный период (1.1.1.1 - характеристики пациента, 1.1.1.1.1 – пол, 1.1.1.1.2 – возраст, 1.1.1.1.3 – рост, 1.1.1.1.4 – вес, 1.1.1.2 - основное заболевание, 1.1.1.2.1 – Ишемическая болезнь сердца (ИБС), 1.1.1.2.2 - врожденные и приобретенные пороки сердца, опухоли сердца, 1.1.1.2.3 - сердечная недостаточность, 1.1.1.3 - сопутствующие заболевания, 1.1.1.3.1 - сахарный диабет, 1.1.1.3.2 – хронические обструктивные болезни легких (ХОБЛ), 1.1.1.3.3 - хронический периферический атеросклероз (ПА), 1.1.1.3.4 - цереброваскулярные болезни (ЦВБ), 1.1.1.3.5 - хронические болезни почек (ХБП), 1.1.1.4 - лабораторные данные, 1.1.1.4.1 - сахар крови, 1.1.1.4.2 - гликированный гемоглобин, 1.1.1.4.3 – гемоглобин, 1.1.1.4.4 – альбумин)

 

Рисунок 4. Фрагмент 4 иерархии понятий к термину 1.2 - ИОХВ (1.2.1 - степень тяжести, 1.2.1.1 - поверхностные формы, 1.2.1.2 - глубокие формы, 1.2.1.3 - поражение полости/органа, 1.2.2 - время возникновения, 1.2.2.1 - госпитальный период, 1.2.2.2 - после выписки из стационара, 1.2.3 - время выявления, 1.2.3.1 – своевременное, 1.2.3.2 – несвоевременное, 1.2.4 – этиология, 1.2.4.1 - грамположительные микроорганизмы, 1.2.4.2 - грамотрицательные микроорганизмы, 1.2.4.3 – грибы, 1.2.4.4 - микст инфекция)

 

Рисунок 5. Фрагмент 5 иерархии понятий к терминам: 2.1 - кардиохирургические способы профилактики и 2.2 – устройства (2.1.1 - модификация факторов риска, 2.1.2 - антимикробная профилактика, 2.1.3 - асептика и антисептика, 2.1.4 - коррекция нарушений гомеостаза, 2.1.5 - профилактика и лечение осложнений, 2.1.6 - прецизионная работа с тканями, 2.2 - медицинские устройства, 2.2.1 – анализаторы, 2.2.1.1 – гематологические, 2.2.1.2 – биохимические, 2.2.1.3 – бактериологические, 2.2.2 – операционная, 2.2.2.1 - операционный стол, 2.2.2.2 – светильники, 2.2.2.3 – электротехника, 2.2.2.4 - аппарат искусственного кровообращения, 2.2.2.5 - наркозный аппарат, 2.2.2.6 - хирургические инструменты, 2.2.2.7 - климатическая установка, 2.2.3 - система вакуумной экстракции, 2.2.4 – средства мониторинга, 2.2.4.1 – микродигрометр, 2.2.4.2 - микроспектрометр)

 

Рисунок 6. Фрагмент 6 иерархии понятий к терминам: 2.3 - ИИК-поддержка, 2.4 - информационно-управленческая (ИУ) поддержка и 2.5 - системная и системно-интеграционная поддержки (2.3.1 – ИИК1 - системы анализа данных, 2.3.1.1 – системы анализа данных, 2.3.1.2 – системы анализа ситуаций, 2.3.2 – ИИК2 - системы поддержки принятия решений, 2.3.2.1 – экспертные системы, 2.3.2.2 – диагностирующие системы, 2.3.2.3 – обучающие системы, 2.3.2.4 – системы нейросетевых вычислений, 2.3.2.5 – системы эволюционного моделирования, 2.3.2.6 – системы обработки естественно-языковых запросов, 2.3.2.7 – интегрированные системы, 2.4.1 - системы мониторинга, 2.4.2 - системы оповещения, 2.4.3 - системы статистики, 2.5.1 - система учёта, 2.5.2 - электронные истории болезни (ЭИС), 2.5.3 - чек-листы, 2.5.4 - банки информации, 2.5.5 - автоматизированные рабочие места (АРМ))

 

Рисунок 7. Фрагмент 7 иерархии понятий к терминам: 3.1 - эпидемиологические показатели, 3.2 - качество жизни, 3.3 – затраты, 3.4 - свойства (3.1.1 – частота ИОХВ, 3.1.2 – госпитальная летальность, 3.2.1 – физическое здоровье, 3.2.1 – ментальное здоровье, 3.3.1 – продолжительность лечения, 3.3.2 – стоимость лечения, 3.4.1 – оперативность, 3.4.2 – точность прогноза, 3.4.3 – точность диагноза)

 

4. Анализ качества онтологии

Таблица 1.

Детальная оценка онтологии

Название

метрики

Формулы и

оценки

Значение

фактическое

рекомендуемое

Отношение количества вершин графа с нормальной степенью ко всем вершинам (**)

𝑁𝑣∈𝐺𝐷 — количество вершин с нормальной степенью

𝐺𝐷 — множество вершин с нормальной степенью

ng – количество вершин графа

1

1

Средняя степень вершины

deg(𝑣) —степень вершины графа

2

≤(7±2)

Медиана степени вершины

 - медианная степень вершины графа

4

≤(7±2)

Дисперсия вершины

1,5

0

Количество различных типов связей в графе (***)

𝑇𝐸 — множество типов связей графа

𝑁𝑣∈𝑇𝐸 — количество различных типов связей

1

 

1

Нормированное количество различных типов связей

𝑇𝐸 — множество типов связей графа

𝑁𝑣∈𝑇𝐸 — количество различных типов связей

0,008

 

0

Количество вершин с разными типами исходящих связей по отношению ко всем вершинам графа

𝑉𝐷 — множество всех вершин графа, с разными типами исходящих связей

𝑁𝑣∈𝑉𝐷 — количество вершин с разными типами исходящих связей

0

 

0

Абсолютная глубина онтологии

 — длина каждого пути j из множества путей P графа g

362

-

Средняя глубина

онтологии

— количество путей j из множества путей P графа g

3,9

-

Максимальная глубина

5

5

Минимальная глубина

3

3

Медиана

глубины

4

4

Дисперсия глубины

0,7

0

Дисперсия вершины по отношению к средней глубине

0,2

0

Количество вершин с множественным наследованием по отношению ко множеству всех вершин

𝑀𝐼 — множество всех вершин графа, с более, чем одной входящей дугой,

 𝑁vMI — количество вершин графа, с более, чем одной входящей дугой

0

0

Среднее количество родительских вершин у вершины графа

 

 

𝑆v — множество всех родителей вершины v,

𝑁𝑆v∈𝐺 — количество всех родительских вершин вершины v

1

1

Количество вершин, у которых есть и листья и нелистовые ноды в качестве детей, по отношению ко всем кол-ву вершин, у которых есть листья среди детей

(****)

𝑆𝐿𝐸𝐴&𝑆𝐼𝐵 —вершины, которые одновременно и родители листьев графа, и родители внутренних вершин,

𝑁𝑣∈𝑆𝐿𝐸𝐴&𝑆𝐼𝐵 — количество таких вершин,

𝑆𝐿𝐸𝐴 — множество вершин, у которых среди детей есть листья графа,

𝑁𝑣∈𝑆𝐿𝐸𝐴 — количество таких вершин

 

 

 

0,08

0

Минимальное количество детей-листьев у предпоследних вершин в графе

— количество листьев набора j, имеющих общую родительскую вершину, 𝑁𝑖∈𝑆𝐼𝐵 — количество листьев набора i, имеющих общую родительскую вершину

2

2

Дисперсия детей-листьев у предпоследних вершин в графе

𝑛𝑆𝐼𝐵𝐿𝐸𝐴 — количество всех наборов листьев, имеющих общего родителя

3,0

0

**) - нормальная степень – количество связей вершины, которое не должно превышать 7±2 (правило Ингве-Миллера),

***) - граф – математическая форма представления некоторой системы (в частности онтологии) в виде совокупности вершин и связей между ними,

****) – листья графа –вершины соединенные с другими элементами графа только одним ребром. Нелистовые ноды – вершины не листья.

 

Существует приблизительно два десятка критериев оценки онтологий [9-11]. Первичная оценка и результат предложенной онтологии представлена в таблице 1, 2. Анализ иерархии выявил несоответствие метрикам “количество вершин с листьями и нелистовыми нодами” и “дисперсии”: листьев у предпоследних вершин в графе: глубины; вершины по отношению к средней глубине и вершины.

Таблица 2.

Первичная оценка онтологии

Уровни

Кол-во вершин

Наличие гомогенности, равномерности(*)

всего

122

-

0

1

+

1

3

+

2

11

+

3

36

+

4

38

-

5

33

-

 *) - наличие дочерних вершин от вершин верхнего уровня иерархии.

 

Анализ иерархии выявил несоответствие метрикам “количество вершин с листьями и нелистовыми нодами” и “дисперсии”: листьев у предпоследних вершин в графе: глубины; вершины по отношению к средней глубине и вершины. Остальные метрики входят в оптимальные значения, что говорит в пользу предложенной онтологии. Эргономичность обеспечена оптимальным количеством дочерних сущностей; отсутствием циклов и перекрёстных связей; использованием единого вида связи - вертикаль.

5. Об эмерджетности онтологии

Приведённые критерии рассматривают онтологию с топологической стороны, слабо затрагивая семантику терминов, но онтология – это система терминов, обеспечивающая системный эффект, появляющийся за счёт взаимодействия элементов и связей между ними, и в обретении системой свойства, которого нет ни у одного элемента отдельно. Эмерджентность - мера системного эффекта. Для ее оценивания нужно указать цель создания системы; системное свойство, способствующее её достижению, и виды связей, обеспечивающих данное свойство. Цель создания иерархической онтологии - синтез информации из различных источников. При этом иерархические связи обеспечивают возможность синтеза. Оценивают эмерджетность как всей онтологии, так и по её фрагментам, получаемым при последовательном наращивании количества уровней снизу. Задача - найти уровни, не обеспечивающие системного эффекта.

Для оценивания эмерджентности систем может быть применена, например, обобщённая формула Хартли (1) [12]:

,

(1)

где Ψ – коэффициент эмерджентности для текущего фрагмента, P - количество всех элементов, W - количество неделимых элементов системы (в нашем случае концевых вершин иерархии).

Значения Ψ представлены в таблице 3, зависимость от ранга онтологии - на рисунке 8.

Таблица 3.

Расчёт эмерджетности по уровням

Уровень (r)

Количество вершин на уровне r

Количество концевых уровней

Ψr

0

1

0

1,065

1

3

0

1,063

2

11

0

1,058

3

36

24

1,036

4

38

34

1,014

5

33

33

1,000

 

Рисунок 8. Зависимость коэффициента эмерджетности Ψ от ранга r онтологии

 

Приведенный расчет показывает снижение Ψ при движении по иерархии сверху вниз. При этом не наблюдается досрочного выхода коэффициента эмерджетности к 1, следовательно, системный эффект обеспечивается всеми уровнями. Виден резкий спад Ψ к r ≥ 2. Семантика Ψ выражается в степени взаимодействия различных аспектов борьбы с ИОХВ. Чем выше уровень упорядоченности базовых понятий, тем сильнее выражается системный эффект.

Повышение упорядочения ведёт к меньшему убыванию Ψ и понятия второго уровня предпочтительны для рассмотрения взаимодействия элементов.

6. Построение когнитивных маршрутов и выход на задание развития

Когнитивные маршруты служат для наведения “боковых” связей с целью выявления причинно-следственных зависимостей типа y = f(x) – рисунок 9.

 

Рисунок 9. Вариант когнитивной карты с когнитивным маршрутом КМ (3.2 – качество жизни, 1.2.3.2 – несвоевременное выявление ИОХВ)

 

При этом фактически ставится актуальная задача конкретизации зависимости y=f(x). Требуемую оперативность (1.2.3.2), которую не всегда обеспечивает медперсонал, с определённой вероятностью может дать специальная подсистема, размещаемая над пациентом в отделении реанимации, основанная, например, на микродатчиках влажности, спектра и т.п. с оптической и позиционирующей поддержками. Данные могут обрабатываться компьютерной интеллектуальной системой, принимающей решение о тревожности ситуации и о подсказках медперсоналу.

Заключение

Результаты:

  1. поставлена задача создания онтологии базовых понятий о СБ с ИОХВ;
  2. представлено онтологическое пространство системной интеграции;
  3. произведён поиск первичной информации;
  4. создана онтология в виде иерархии базовых понятий о СБ с ИОХВ;
  5. онтология оценена с помощью известных критериев;
  6. оценка онтологии дополнена критерием эмерджетности;
  7. приведён пример когнитивного маршрута между двумя понятиями иерархии как причинно-следственной связи c выходом на развитие.

Вывод – создана терминологическая основа для построения базы знаний о СБ с ИОХВ на основе формулирования задач, необходимых и достаточных для развития этих средств.

 

Список литературы:

  1. Гольдштейн С.Л. Об онтологическом пространстве системной интеграции. / С.Л. Гольдштейн, А.Г. Кудрявцев, С.С. Печеркин // Вестник РАЕН – 2014. - №1. – С.138-144.
  2. Печеркин С.С. Старт в технологию системности при разрешении проблемных ситуаций в здравоохранении. / С.С. Печеркин, С.Л. Гольдштейн // Системная интеграция в здравохранении – 2022. - №42. – С. 69-76.
  3. Ландэ Д. В. Интернетика. Навигация в сложных сетях: модели и алгоритмы/ Д.В. Ландэ, А.А. Снарский, И.В. Безсуднов //М.: Либроком. – 2009, - 264 с. Крупник А.Б. Поиск в интернете: Самоучитель / А.Б. Крупник // СПБ.: Питер, 2003. – 272c.
  4. Степин А.В. Инфекция области хирургического вмешательства в кардиохирургии этиология, эпидемиология, факторы риска, факторы риска, профилактика и экономические аспекты: LAP Lambert Academic Publishing RU; 2022. Surg. 2001;20:1168-1175. DOI: 10.1016/s1010- 7940(01)00991-5
  5. Брико Н. И. Профилактика инфекций области хирургического вмеша-тельства. Клинические рекомендации. Н.И. Брико, С.А. Божкова, Е.Б. Брусина– Н. Новгород: 2018. – 72 с.
  6. Асланов Б.И. Эпидемиологическое наблюдение за инфекциями, связанными с оказанием медицинской помощи. Федеральные клинические рекомендации. Б.И. Асланов, Л.П., Зуева, А.В. Любимова и др. – М., 2014. – 58с.
  7. Покровский В.И. Национальная концепция профилактики инфекций, связанных с оказанием медицинской помощи, и информационный материал по ее положениям / В.И. Покровский, В.Г. Акимкин, Н.И. Брико и др. – Н. Новгород: Издательство «Ремедиум Приволжье», – 2012. – 84 с.
  8. Об утверждении критериев оценки качества медицинской помощи: приказ Министерства здравоохранения РФ от 10 мая 2017 г. № 203н // Минюст России 17 мая 2017 г. N 46740.
  9. Гаврилова, Т.А. Субъективные метрики оценки онтологий. / Т.А. Гаврилова, В.А. Горовой, E.C. Болотникова и др. Материалы Всероссийской конф. с межд. Участием «Знания-Онтологии-Теории» (ЗОНТ-2009). Издательство СО РАН, 2009. стр. 178-186.
  10. Brank J. A survey of ontology evaluation techniques. J. Brank, M. Grobelnik, D. Mladenic In In Proceedings of the Conference on Data Mining and Data Warehouses [Electronic resource]. – URL:http://kt.ijs.si/dunja/sikdd2005/Papers/BrankEvaluationSiKDD2005.pdf
  11. Hartmann J. Et al. Methods for ontology evaluation. J. Hartmann. Knowledge Web Deliverable [Electronic resource]. – URL:http://www.starlab.vub.ac.be/ research/projects/knowledgeweb/KWeb-Del-1.2.3- Revised-v1.3.1.pdf
  12. Луценко Е.В. Обобщенный коэффициент эмерджентности Хартли как количественная мера синергетического эффекта объединения булеанов в системном обобщении теории множеств / Е.В. Луценко // научный журнал КуГАУ – 2011. - №66 .– С.28-39
  13. Лагутина Н.С. Методические аспекты выделения семантических отношений для автоматической генерации специализированных тезаурусов и их оценки / Н.С. Лагутина, К.В. Лагутина, Э.И. Мамедов, И.В. Парамонов // Моделирование и анализ информационных систем -2016. – т.23 №6. – С.826-840.