3.3.4. Методы экспертного анализа


В отношении ряда задач существует множество аспектов, по  отношению к которым использование других методов достаточно трудно. Данные методы используются в условиях полной неопределенности. Они получили название методов экспертного анализа. 

Экспертные методы используются, когда количество информации недостаточно или когда математически сложное моделирование чрезмерно дорогое. 

Экспертные методы сводятся к сбору, обработке и анализу мнений и оценок нескольких экспертов. Качество принятия решений зависит от выбранной методики сбора и обработки экспертных суждений.

Отбор экспертов. Отбор экспертов для осуществления экспертного анализа  осуществляется на основе ряда требований. Их можно свести к следующим положениям:  компетентность в области принятия решений в предметной области; креативность (способность к творчеству); отсутствие личной заинтересованности; нонконформизм (неспособность поддаваться влиянию других людей); способность работать в команде единомышленников. 

Количество экспертов в экспертной группе зависит от множества факторов и условий, в частности, от важности решаемой проблемы, располагаемых возможностей и т.п. В большинстве случаев определяется минимально необходимое количество экспертов, что часто становится важнейшим условием установления числа приглашаемых специалистов.

Подбор конкретных экспертов проводится на основе анализа качества каждого из предлагаемых экспертов. Используются для этой цели разнообразные способы:

  • оценка кандидатов в эксперты на основе статистического анализа результатов прошлой деятельности в качестве экспертов по проблемам оргпроектирования;
  • коллективная оценка кандидата в эксперты как специалиста в данной области;
  • самооценка кандидата в эксперты;
  • аналитическое определение компетентности кандидатов в эксперты.

Очень часто применяют одновременно несколько способов. Например, способы самооценки и коллективной оценки качеств предлагаемого эксперта. Такой подход позволяет достаточно обоснованно подобрать экспертов с необходимыми качествами. Однако, следует признать, что способ оценок прошлой деятельности представляется более объективным, чем способы самооценок и коллективной оценки.

Независимо от избранного способа оценки качеств кандидатов эксперты должны удовлетворять во всех случаях таким требованиям как:

  • профессиональной компетентности в области проектирования организационных систем;
  • креативности (умению решать творческие задачи);
  • научной интуицией;
  • заинтересованности в объективных результатах экспертной работы;
  • деловитости (собранности, умению переключаться с одного вида деятельности на другой, коммуникативности, независимости суждений, мотивированности действий);
  • объективности;
  • нонконформизма.

Методы экспертного анализа.  Индивидуальные (анкетирование, интервьюирование, аналитическая экспертная оценка – заочная или очная)–дается описание проблемы и предлагается обозначить сценарий развития, выявить ключевые факторы и т.п.). 

Метод индивидуальных аналитических оценок – самостоятельная работа эксперта над анализом тенденций, оценкой состояния и путей развития объекта. Эксперт использует всю имеющуюся информацию об объекте, тщательно анализирует ее и оформляет свое заключение в виде аналитической записки.

Коллективные  (оптимальное количество группы экспертов 8-12 человек). Метод коллективных экспертных оценок применяется для определения перспектив развития объекта, оценки значения проблем, выбора наиболее вероятной и желаемой альтернативы при складывающихся условиях. Результат: сужение диапазона оценок, выбор преобладающего мнения. Метод используется для анализа социальных объектов и проблем, развитие которых не поддается математической формализации.

1. Метод комиссии (совещания) – заранее объявленное собрание экспертов для проведения групповой дискуссии по обсуждаемой проблеме и выработки решений; в качестве положительных моментов можно отметить  удобство и скорость, отрицательных – недостаточная активность и компетентность.

2. Круглые столы для формирование мнения.

3. Методы суда: адвокаты и прокуроры. Заранее должны быть известны объект принятия решения, может быть конформизм и личная  заинтересованность.

4. Метод инверсии при решении сложных ситуаций, если она безысходная или решение не удовлетворяет стороны, тогда эксперты формулируют новые решения в совершенно противоположном направлении заданному поиску.

5. Метод эмпатии (личной аналогии). Метод эмпатии лежит посередине между логическим мышлением и интуитивным мышлением. Эксперты ищут способ решения проблемы в других областях деятельности (природа, техника) на основе аналогии законов (закон конкуренции среди животных и среди фирм, ряд чисел Фибоначи, золотое сечение в моде, искусстве).

6. Метод синектики (подбор экспертов разных специальностей, квалификации и обучение их механизмам творчества). Экспертов подводят к проблеме, они проходят все стадии обучения, на этой стадии требуется хорошая организация творческого поиска.

7. Метод критических вопросов. Он применяется в основном не для принятия решений, а для сбора информации. Позволяет четко упорядочить информацию по различным обсуждаемым вопросам.  Сами эксперты могут быть из разных сфер деятельности. Им предлагается ответить на семь классических вопросов: кто? что? где? зачем? чем? как? когда? За счет этих вопросов происходит дробление информации и проблема представляется в другом виде (как следствие) – можно увидеть альтернативы, выявить причинно-следственные связи. 

Могут быть еще 4 группы вопросов:

  1. причины понимания проблемы – что известно, что неизвестно о проблеме, чего недостаточно, что  избыточно и противоречиво, в чем состоит условие решения проблемы, как связаны аспекты и проблемы между собой;
  2. составление плана решения – существуют ли похожие задачи, похожие условия, методы ранее        использованные; можно ли сформулировать задачу как-либо иначе, что можно использовать по аналогии, можно ли помочь введением дополнительной информации или элемента, что еще полезного можно извлечь из данных условий;
  3. перечень вопросов на осуществление плана решения: какие последствия могут быть, как можно изменить сами вопросы, связанные с анализом и контролем каждого шага;
  4. контроль полученного решения: проверка возможных результатов решения, оценка правильности способов решения.

8. Метод мозгового штурма (метод поиска оригинальной идеи). Прямая мозговая атака в заранее оговоренное время по заранее сформулированной проблеме; заранее отобранные люди высказывают различные бредовые идеи. В этой ситуации важным является отсутствие критики. Это может быть 7-15 человек экспертов с различным опытом, образованием, которые от 15 мин. до 1 часа в творческой, раскрепощенной атмосфере высказывают различные мысли по заранее оговоренной проблеме. Фиксируется все, что высказывается. Успех зависит от людей, которые организуют, создают атмосферу этих экспертиз. Очень важно разбудить творческую мысль. Здесь может быть задействовано огромное количество людей, это может быть заочный мозговой штурм.

9. Метод Дельфи - групповой метод, обобщает индивидуальные методы в согласованной групповой оценке. В подобранной группе экспертов анонимно предлагается оценить или ответить на вопросы, касающиеся рассматриваемой проблемы. Участники экспертизы не знакомы друг с другом. Спрос осуществляется в несколько туров. После проведения первого  тура результаты обобщаются, выявляется разброс мнений, итоги объявляются каждому эксперту. 

10. Метод сценариев - написания экспертами своеобразных сценариев развития анализируемой ситуации.

Наиболее часто в практике проектирования оргсистем используется метод анкетирования, который позволяет с меньшими трудозатратами экспертов собрать их мнение. Процесс разработки анкеты включает: определение формы и содержания обращения (к эксперту); выбор типа вопросов; формулировку вопросов; изложение необходимой для эксперта информации и разработку самой формы анкеты.

Представляет интерес выбор типов вопросов, среди которых наиболее употребляемыми в последние годы стали, так называемые, веерный, закрытый и открытый типы (веерный - предполагает один ответ из числа заранее представленных ответов;  закрытый - "да", "нет", "не знаю"; открытый - ответ на который может быть дан в произвольной форме).

Очень важно при анкетировании экспертов правильно, просто и однозначно, кратко и в то же время с необходимой полнотой сформулировать вопросы в анкетах, а в тексте пояснительной записки указать, что конкретно требуется от эксперта.

Для ответов на вопросы, то есть для принятия решения каждым экспертом, проводятся объективные и субъективные измерения рассматриваемого объекта в явном или неявном виде. При субъективном измерении эксперты, как правило, применяют один из указанных ранее наиболее употребляемых при этом методов (рангов, непосредственного оценивания, сопоставлений).

По методу рангов эксперт осуществляет ранжирование (упорядочение) исследуемых объектов организационной системы в зависимости от их относительной значимости (предпочтительности). При этом обычно наиболее предпочтительному объекту присваивается ранг 1, а наименее предпочтительному - последний ранг, равный по абсолютной величине числу упорядочиваемых объектов. Более точным такое упорядочение становится при меньшем количестве объектов исследования и наоборот.

Таким образом, этот метод позволяет определить место исследуемого объекта среди других объектов СУ. Достоинством метода рангов является его простота. Недостатками являются: невозможность с достаточной точностью ранжировать количество объектов, число которых превышает 15-20; не отвечает на вопрос как далеко по значимости находятся исследуемые объекты друг от друга. Несмотря на свою относительную простоту  метод рангов используется на практике крайне редко.

Метод непосредственного оценивания представляет собой упорядочение исследуемых объектов (например, при отборе параметров для составления параметрической модели) в зависимости от их важности путем приписывания каждому из них соответствующих баллов. При этом наиболее важному объекту приписывается  наибольшее количество баллов по принятой шкале. Диапазон шкалы оценок может быть разным – от 0 до 1, от 0 до 5,  от 0 до 10,  от 0 до 100. В простейшем случае оценка может быть 0 или 1. Иногда оценивание осуществляется в словесной форме. Например, "очень важный", "важный", "маловажный"  и т.п., что также  иногда (для удобства обработки данных) переводится в балльную последовательность (соответственно, например,  3, 2, 1).

Использование указанного метода допускается лишь при полной уверенности экспертов на предмет их информированности об исследуемых свойствах объекта.

Метод сопоставления осуществляется, как уже указывалось ранее, парным сравнением и последовательным сопоставлением.

При парном сравнении эксперт сопоставляет исследуемые объекты по степени их  важности попарно, устанавливая в каждой анализируемой паре наиболее важную. Возможные пары представляются  в виде отдельной записи полученной  комбинации.

 В результате сравнения объектов в каждой паре эксперт высказывает мнение о важности того или иного объекта, отдавая предпочтение одному из них. Иногда эксперты приходят к выводу об эквивалентности каждого из объектов, образующих пары. Упорядочение объектов (в каждой паре), безусловно, не дает сразу упорядочения всех рассматриваемых свойств, поэтому необходима последующая обработка результатов сравнения. Наиболее удобным способом осуществления парных сравнений  и их обработки являются матрицы. 

 В отдельных случаях при большом числе исследуемых объектов на результаты парного сравнения оказывают влияние психологические факторы (предпочтение порой получает не тот объект, который действительно предпочтителен перед другими, а тот, который в перечне пар записан первым или находится по расположению в матрице выше сравниваемого). Поэтому иногда для исключения психологического влияния проводят двойное парное сравнение, то есть еще раз осуществляют парное сравнение, но только при обратном расположении объектов и соответственно обратном расположении их в каждой паре.

Метод парных сравнений очень прост и позволяет эффективно исследовать большое количество объектов (по сравнению, например, с методом рангов).  При этом достигается и более высокая точность  экспертного анализа. 

 Сущность метода последовательного сопоставления состоит в следующем. Эксперт располагает все исследуемые объекты в порядке их важности (как в методе рангов). Предварительно каждому из них приписывается определенное количество баллов, например, по шкале от 0 до I (как в методе оценивания). Самому важному объекту дается балл равный I, а всем остальным – в порядке уменьшения их значимости, то есть от I до 0. Далее эксперт решает вопрос будет ли важность объекта, имеющего ранг I, больше суммы балльных оценок всех остальных объектов. Если будет, то величина балльной оценки первого объекта увеличивается до соблюдения этого условия, а если нет, то эксперт уменьшает эту величину до такого числового значения, чтобы она стала меньше суммы оценок всех остальных объектов.

Величины оценок второго, третьего и последующих объектов по важности определяются последовательно аналогично оценке первого наиболее важного из них.

Для экспертов метод последовательного сопоставления наиболее трудоемок,  особенно это ощущается при количестве исследуемых объектов свыше  шести-семи.

Обработка собранных мнений экспертов проводится по двум направлениям – как количественная (если получены численные данные)  и как  качественная (если получена содержательная информация). При этом используются различные способы. Необходимо отметить, что при наличии численных данных для решения вопросов, имеющих достаточный информационный материал, в основном, применяются методы усреднения экспертных суждений. Однако даже для численных результатов (но при недостаточности информации по решаемому вопросу) часто используются методы качественного анализа и синтеза (совместно с количественными методами обработки данных).

 При использовании рассмотренных выше экспертных методов мнения самих экспертов часто совпадают не полностью. В связи с этим требуется количественная оценка меры согласованности и определение причин несовпадения суждений. Мера согласованности, естественно, определяется на основе статистических данных для всей группы экспертов. Как правило, используются коэффициенты конкордации - дисперсионный и энтропийный.

Дисперсионный коэффициент конкордации принимает значения от 0 до 1 (значение 0 соответствует отсутствию  согласованности между мнениями экспертов, а значение 1–их полному совпадению). При значениях коэффициента конкордации, превышающих уровень 0,5, согласованность экспертов считается достаточной.

Энтропийный коэффициент конкордации (по-другому  его называют коэффициентом согласия) также изменяется в пределах от 0 до 1. При этом большая мера согласованности достигается при большем значении коэффициента. 

В случаях, когда мнения экспертов различаются незначительно, оба коэффициенты дают примерно одинаковую меру согласованности. Однако при наличии существенных различий в мнениях экспертов значения коэффициентов будут различаться и притом весьма значительно. 

Таким образом, совместный анализ коэффициентов конкордации позволяет объективно определить меру согласованности мнений различных экспертов.

Применение всех рассмотренных экспертных методов, несмотря на их недостатки, позволяет достичь весомой  эффективности при осуществлении экспертных оценок различных объектов. Причем наибольший эффект достигается при одновременном использовании нескольких методов.