Постановка экспертного опроса - shikardos.ru o_O
Главная
Поиск по ключевым словам:
страница 1
Похожие работы
Постановка экспертного опроса - страница №1/1

Постановка экспертного опроса.

 

1.Введение



Цель постановки экспертного опроса состоит в формализованном описании процедуры получения экспертных оценок. Так как экспертный анализ может объединить несколько разнородных экспертиз, в ходе которых исследуются разные способы оценивания, постановка должна выполняться как для всего экспертного анализа в целом, так и для каждой экспертизы в отдельности.

Постановка экспертизы включает:


- идентификацию объектов экспертизы, подлежащих оцениванию;
- выбор критерия оценки объектов экспертизы и формулирование предложения (вопроса), раскрывающего этот критерий эксперту и позволяющего ему выявить смысл своих оценок;
- разработку и описание шкалы оценок;
- выбор способа оценивания.

После того, как все экспертизы сформированы, выполняется постановка экспертного анализа, состоящая в разработке, изготовлении и тиражировании анкет экспертного опроса.


2.Объекты экспертизы

В качестве объектов экспертизы могут выступать:


1) исследуемые объекты или явления предметной области (предметом такой экспертизы является оценивание интенсивности проявления одного из факторов в иерархии факторов для каждого из этих объектов);
2) факторы одного семейства иерархии (предметы экспертизы - оценивание их относительной важности).

Формулирование вопроса является одним из наиболее тонких и важных моментов подготовки экспертизы. Эксперт, как правило, не посвящен в тонкости моделирования, методов обработки, шкал измерения и других специальных разделов экспертного анализа. Для него вопрос является воплощением всех стараний поставщика экспертизы сделать ее как можно более эффективной. Даже при адекватных модели, шкале и способе оценивания неправильно сформулированный вопрос может испортить все дело. Рассмотрим основные формы и принципы формулирования вопросов.

По форме различают следующие виды вопросов:
- открытые и закрытые;
- прямые и косвенные.

Вопрос называется открытым (свободным), если ответ на него ничем не регламентирован и может быть дан в любой форме. Вопрос называется закрытым, если в его формулировке содержаться варианты возможных альтернативных ответов и эксперт должен выбрать один из них. Разновидностью закрытого вопроса является дихотомический, предполагающий ответ "да-нет".

Косвенные вопросы используются, чтобы замаскировать цель экспертизы в тех случаях, когда нет твердой уверенности, что эксперт не заинтересован в объектном освещении проблемы или что он сумеет дать определенную информацию. Необходимо отметить, что косвенным вопрос - не единственный способ маскировки цели. Аналогичного, даже более эффективного результата можно добиться введением группы дополнительных факторов, косвенно характеризующих исследуемое явление.
3.Шкалы

Проектирование шкал относится к одному из разделов теории измерений. Измерение - это алгоритмическая операция, которая данному объекту (процессу, явлению, состоянию, фактору и т.д.) ставит в соответствие определенное обозначение: число, номер или символ.

Перечислим основные классификационные признаки шкал:
начало отсчета;
единица масштаба;
тип отношения, определенного на шкале;
вид эквивалентного преобразования и допустимые операции над оценками.
3.1 Качественные шкалы

Номинальная шкала (шкала наименований, классификационная шкала). Шкала, в которой значения определяются с точностью до взаимо-однозначных преобразований.

Суть оценки объектов в номинальной шкале - разбиение их на классы эквивалентности. Каждому классу ставится в соответствие определенное обозначение. Оценка объекта состоит в определении его принадлежности к тому или иному классу и присвоение соответствующего обозначения.

Номинальные шкалы обычно используются для классификации дискретных явлений. Для обозначения классов могут использоваться слова - названия (географические названия, имена, диагнозы), символы (гербы, флаги, эмблемы), номера (разряды, сорта, автомобильные и телефонные номера, номера на майке спортсмена) и др.

Нечеткая шкала (лингвистическая). Шкала, в которой значения определяются с точностью до эквивалентных лингвистических преобразований.

Степень принадлежности объекта нечеткому множеству выражается числом. Величина, рассматриваемая как функция аргумента, называется функцией принадлежности. На рисунке приведены примеры функций принадлежности к четырем нечетким понятиям (множествам), образующим лингвистическую переменную "возраст".





Рис. Нечетка шкала для определения.

Операции с нечеткими оценками аналогичны операциям с оценками в номинальной шкале.



Порядковая шкала (ранговая шкала). Шкала, в которой численные значения определяются с точностью до монотонных преобразований.
Шкалы порядка используются при сравнительной оценке объектов, когда определяется лишь порядок их предпочтения (ранжирование). Различаются три разновидности порядковых шкал:
- шкалы простого порядка, если не каждую пару оцениваемых объектов можно упорядочить по предпочтению (очередность, призовые места);
- шкалы слабого порядка , если не каждую пару можно упорядочить по предпочтению - некоторые объекты считаются равными (конкурсные премии - одна первая, две вторых, две третьих);
- шкалы частичного порядка, если имеются пары объектов, несравнимых между собой (что лучше - вкусная еда, плавание или слушание музыки).

Известны также так называемые модифицированные порядковые шкалы:


- шкала твердости минералов по Моосу - введена в 1822г. немецким минералогом Ф.Моосом, постулировавшим 10 градаций твердости (из двух минералов тверже тот, который оставляет на другом след -царапины вмятины - при соприкосновении);
- шкала силы ветра по Бофорту - 12-бальная шкала, предложена в 1805г.английским гидрографом и картографом адмиралом Ф.Бофортом и определяет силу ветра по характеру волнения моря: 0-штиль, 4-умеренный ветер, 6-сильный ветер, 10-шторм, 12-ураган;
- шкала магнитуд землетрясений по Рихтеру - 12-балльная шкала, предложена в 1935г. американским сейсмологом Ч. Рихтером и позволяет оценить энергию сейсмических волн в зависимости от их последствий.

В порядковых шкалах отношение порядка ничего не говорит о величине предпочтения.



Шкала гиперпорядка. В таких шкалах сохраняется упорядочение разностей численных оценок объектов. Оценка объектов при гиперупорядочении состоит не только в определении порядка предпочтения, но и указании, насколько это предпочтение велико для каждой пары объектов.
3.2 Количественные шкалы

Шкала интервалов. Шкала, в которой численные значения определяются с точностью до линейных преобразований. В шкалах интервалов сохраняются отношения разностей численных оценок объектов. Интервальные шкалы могут иметь произвольные начала отсчета и единицы масштаба.

Примерами величин, измеряемых в интервальных шкалах, являются температура (по Цельсию, Фаренгейту, Кельвину ) и высота местности (метры, футы).Известно, что связь между шкалами Фаренгейта и Цельсия выражается формулой F=5C/9+32. Высоту принято отсчитывать от уровня моря.

В интервальной шкале единственной допустимой операцией над оценками является определение интервала между ними. Интервалы при этом имеют смысл настоящих чисел, над которыми можно выполнить любые арифметические операции.

Шкала разностей. Шкала, в которой численные значения определяются с точностью до преобразований сдвига. В шкалах разности численных оценок объектов и меняется начало отсчета. Более общим случаем шкалы разностей является периодическая (циклическая) шкала, численные значения которой определяются до преобразований сдвига.

Примером величины, измеряемой в шкале разностей, является летоисчисление. В связи с отсутствием абсолютного нуля операции над оценками в шкале разностей идентичны операциям в шкале интервалов.



Шкала отношений. Шкала, в которой численные значения определяются с точностью до преобразований подобия (растяжения).

В шкалах отношений остаются неизменными отношения численных оценок объектов. Шкалы отношений имеют абсолютный нуль, хотя свобода в выборе единицы масштаба остается.

Примерами величин, природа которых соответствует шкале отношений, являются длина (километр, миля), электрическое сопротивление, деньги, вес (килограмм, фунт).

Над оценками в шкале отношений можно выполнять любые арифметические операции.



Абсолютная шкала. Шкала, в которой численные значения определяются с точностью до тождественных преобразований.

Вообще говоря, абсолютная шкала единственна. Число, являющееся результатом измерений в абсолютной шкале, определяется однозначно. Важной особенностью абсолютной шкалы по сравнению с остальными является ее отвлеченность (безразмерность) и абсолютность нуля и единицы масштаба. Такими свойствами обладает числовая ось, используемая для измерения количества, вероятности.

Над оценками в абсолютной шкале можно производить все операции (включая их использование в качестве показателя степени и аргумента логарифма).

Нелинейные шкалы. Шкалы, в которых численные значения определяются с точностью до нелинейных преобразований. Нелинейные шкалы имеют абсолютный нуль, вследствие чего с их оценками можно производить любые арифметические действия.
4.Способы оценивания

4.1 Способы качественного оценивания



Методы классификации. Эксперту предъявляется весь набор объектов и предлагается указать разбиение их на классы. При большом числе объектов эксперту можно предъявить лишь часть объектов, которые он должен разбить на классы. После того как эксперт справится с предложенной задачей, предъявляется новый объект, который он должен либо отнести к одному из выделенных классов, либо образовать новый класс. Процесс заканчивается, когда классифицируется последний объект.

Метод парных сравнений. Эксперту последовательно предъявляются пары объектов, для каждой пары из которых предлагается указать, какой из объектов более предпочтителен или может ли данная пара объектов принадлежать одному классу.
Результаты оценки предпочтительности представляются в виде квадратной матрицы парных сравнений или графа предпочтений, дуги которого направлены от более предпочтительного объекта к менее предпочтительному.

Методы ранжирования. Эксперту предъявляется весь набор объектов, подлежащих оцениванию, и предлагается упорядочить их по предпочтениям. Наиболее известны два способа ранжирования.
При первом способе эксперту предъявляется весь набор объектов и предлагается указать наиболее предпочтительный. Указанный объект исключается из дальнейшего рассмотрения - его ранг определен, после чего выбирается наиболее предпочтительный объект из оставшихся. Процесс продолжается до тех пор, пока останется последний объект.
При втором способе эксперту предъявляется часть объектов и предлагается упорядочить их по предпочтениям. Затем добавляется один новый объект и эксперту предлагается указать его место среди уже проранжированных. Процесс заканчивается, когда проранжируется последний объект.
Оба способа позволяют выполнить простое упорядочение. При частичном упорядочении используется только второй способ.

Метод множественных сравнений. Отличается от парных сревнений тем, что эксперту последовательно предъявляются не пары, а тройки, четверки и т.д. объектов. Эксперт их упорядочивает по важности или разбивает на классы. Множественные сравнения занимают промежуточное положение между парными сравнениями и ранжированием. С одной стороны, они позволяют использовать больший, чем при парных сравнениях объем информации одновременно, а с другой, - уменьшить до разумных пределов объем информации, одновременно перерабатываемой экспертом при ранжировании.

Метод векторов предпочтения. Эксперту предъявляется весь набор объектов, для каждого из которых он должен указать число объектов, превосходящих данный, не указывая при этом, какие именно объекты являются более предпочтительными.
Результатом оценки является вектор предпочтений характеризующий относительную предпочтительность (вес, важность, значимость и т.д.) объектов. Если значения элементов вектора предпочтений различны, получаем простое упорядочение (ранжирование). Однако в общем случае векторы предпочтений не всегда соответствуют ранжированиям.
В вектор предпочтений может быть преобразована информация, получаемая от эксперта в методах парных и множественных сравнений.

Метод гиперупорядочения. Эксперту предлагается не только проранжировать объекты, но и упорядочить разности их оценок. Способы ранжирования разностей оценок объектов аналогичны способам ранжирования самих объектов.
4.2 Способы количественного оценивания

Метод непосредственной численной оценки. Эксперту предъявляется весь набор объектов. Если цель экспертизы - количественная оценка или их сравнительной предпочтительности, то эксперт ставит в соответствие каждому объекту число, характеризующее его предпочтительность или интенсивность проявления анализируемого свойства. Если цель экспертизы - разбиение объектов на классы, то для каждого объекта эксперт указывает численную оценку степени его принадлежности к определенному классу (нечеткому множеству).

Известны два особых способа численной оценки.


В первом способе применяется оценивание объектов в баллах. При этом диапазон изменения оцениваемого свойства объекта разбивается на несколько интервалов, каждому из которых присваивается определенная оценка (балл). Задача эксперта заключается в помещении каждого из рассматриваемых объектов в определенный оценочный интервал. Иногда экспертам разрешается уточнять оценки, указывая числа, расположенные между балльными значениями.
Второй способ - метод средней точки - применим при достаточно большом наборе объектов. Пусть экспертом указаны наиболее и наименее предпочтительные объекты а1 и а2. Далее эксперту предлагается указать объект а3, по предпочтительности расположенный точно между а1 и а2. Затем эксперту предлагается указать объекты, расположенные по предпочтительности точно между а1 и а3, между а3 и а2 и т.д. Процесс заканчивается, когда оценок объектов оказывается достаточно для получения кривой.

Метод Черчмена - Акофа (метод последовательных сравнений). В этом методе предлагается последовательная корректировка оценок, указанных экспертом. Объекты ранжируются по предпочтительности.

Метод Терстоуна. Основой метода являются парные сравнения, используемые для оценки предпочтительности объектов. Предполагается, что парные сравнения выполняются относительно большим числом экспертов (m 25). Метод Терстоуна относится больше к методам статической обработки оценок, полученных в результате парных сравнений.
4.3 Выбор способа оценивания

Очевидно, что выбор метода получения экспертных оценок определяется, в первую очередь, характером анализируемой информации и типом шкалы, в которой производится измерение.

Если оправданы лишь качественные оценки предпочтительности объектов или разбиение их на классы по тем или иным качественным признакам, то необходимо использовать парные и множественные сравнения, классификацию, ранжирование и т.д.
Отметим, что ранжирование применяется в следующих ситуациях:

 когда необходимо упорядочить какие-либо объекты во времени или в пространстве (при этом интересна степень выраженности какого-либо их свойства);

 когда нужно упорядочить объекты в соответствии с каким-либо свойством, но при этом не требуется производить его точное измерение;

 когда какое-либо свойство в принципе не может быть измерено по причинам практического или теоретического характера.

Если характер анализируемой информации таков, что целесообразно получать численные оценки сравнительной предпочтительности объектов, то используется тот или иной метод количественной оценки, начиная от непосредственных численных оценок и кончая более тонкими методами Чермена-Акофа и фон Неймана-Моргенштерна.

Другим важным критерием выбора способа оценивания является число объектов экспертизы. Известно, что для лучшей согласованности и точности эксперту не следует одновременно сравнивать более 7±2 объектов. В реальных ситуациях объектов зачастую бывает намного больше.

Наилучшим способом декомпозиции процедуры экспертного оценивания являются парные сравнения, структурирующие процесс до минимально возможного уровня - сравнение двух объектов. Однако это может обернуться огромным объемом рутинной работы для эксперта, т.к. рост числа объектов сопровождается нелинейным (квадратичным) ростом количества сравнимых пар. При оценке 20-30-ти объектов могут использоваться описанные выше способы ранжирования. Как отмечалось ранее, при большом числе объектов весьма эффективными могут оказаться множественные сравнения, позволяющие разделить весь набор объектов на группы разумных размеров, подлежащие самостоятельному анализу.

Среди количественных методов только непосредственная численная оценка никак не ограничена количеством объектов, т.к. эксперт работает с каждым из них в отдельности, независимо от остальных. Остальные же количественные методы при работе с большим числом объектов (превышающим 7) становятся крайне сложными, запутанными и малоэффективными.



5.Анкета

АНКЕТА - это средство, с помощью которого осуществляется сбор и кодирование экспертной информации. Разработка анкеты является последним подготовительным этапом в организации экспертного анализа. Специфика анкеты состоит прежде всего в том, что работать с ней предстоит самым разным категориям людей (экспертам, специалистам по обработке, аналитикам) и об удобстве и эффективности работы каждого из них необходимо позаботиться заранее. Кроме того, анкета является документом, подлежащим пересылке, включению в отчет и хранению, что также определяет некоторые требования к ее форме и качеству. Рассмотрим основные рекомендации по разработке и изготовлению анкеты.

Прежде всего анкета должна быть структурно организована. Как правило, выделяются три структурных компонента анкеты: общая информация, объяснение и область заполнения.

Общая информация включает:
- идентификатор анкеты, присваиваемый поставщиком экспертизы и используемый в дальнейшем в процедурах поиска, обработки и хранения (идентификатором может служить порядковый номер или более сложный буквенно-цифровой код с зашифрованной информацией об экспертизе, статусе анкеты, эксперте и т.д.);
- идентификацию организации или коллектива, проводящего экспертный анализ (включая полное название, фирменную атрибутику и способы контакта - адрес, телефон, e-mail и д.р.);
- сведения об эксперте, предназначенные для персонификации анкеты (если спрос анонимный) и последующей классификации результатов.

Необходимость получения тех или иных сведений об эксперте определяется используемыми методами обработки оценок и предназначением этих сведений. Так, например, они могут использоваться для формирований рейтинговых показателей экспертов (в этом случае важна профессиональная специализация эксперта, его исследовательские интересы, образование и другая информация, относящая эксперта к той или иной профессиональной или социальной группе).

Объяснение, выполняемое обычно в форме обращения к эксперту, должно раскрывать:
- смысл решаемой проблемы, цели и задачи экспертизы (назначение этого раздела - показать эксперту роль и место его работы в решении стоящей проблемы, а также указать на важность получаемой от него информации);
- применяемые в данной анкете способы оценивания (особенно нуждается в комментариях метод парных сравнений - его следует описывать максимально подробно и наглядно);
- порядок и последовательность заполнения анкеты, инструкции и советы, облегчающие работу;
- полное описание и интерпретацию шкал, используемых в анкете.

Желательно, чтобы обращение к эксперту было подписано руководителем экспертного анализа. Эксперт должен видеть за анкетой конкретных специалистов, а не только безликую организацию.

Область заполнения представляет собой совокупность таблиц, которые должен заполнить эксперт, отвечая на поставленные вопросы. Помимо запланированных и структурированных оценок эксперт может также высказать в свободной неформализованной манере свое мнение, пояснения или комментарии по поводу проводимого экспертного анализа, используемой в нем модели или проблемы в целом. Для фиксации этой информации в анкете необходимо предусмотреть специальное "поле для заметок".

В процессе изготовления и тиражирования анкеты необходимо учитывать следующее:



  • анкета должна иметь удобный для пересылки, хранения и работы с ней формат (обычно это форматы А3-А5), поля для переплета или подшивки;

  • информация в анкете должна размещаться с учетом порядка ее использования, особенно важно продумать размещение одновременно используемой информации - по крайней мере, она не должна быть помещена на разных оборотах листа;

  • анкета должна быть по возможности компактной и содержать как можно меньше второстепенной информации - эксперта может раздражать пространное изложение несущественных деталей;

  • необходимо эффективно управлять вниманием эксперта; средствами такого управления являются выделение областей, которые должен и которые не должен заполнять эксперт, использование цвета, специальных шрифтов и начертаний, композиционные приемы и др.;

  • анкета должна быть достаточно привлекательной, качественно выполненной (для изготовления макета лучше использовать издательскую систему и принтер с высоким разрешением); нельзя жалеть усилий для создания красивой формы.

Заметим, что анкетирование может проводиться с помощью компьютера. Анкета при этом реализуется в виде совокупности панелей и последовательности вопросов, выводимых на экран. Заполнение такой анкеты может выполняться с помощью клавиатуры или манипулятора "мышь". Электронное анкетирование имеет ряд частности:

- получаемая в результате экспертная информация уже закодирована, ведена в компьютер, синтаксически корректна и подготовлена к дальнейшей автоматизированной обработке;

- использование современных компьютерных сетей передачи информации позволяет быстро и эффективно контактировать с территориально удаленными экспертами.

Однако использование компьютера имеет и свои особенности;

- далеко не все люди психологически приспособлены к интеллектуальной работе с компьютером - некоторые предпочитают спокойный мыслительный процесс за столом с карандашом и бумагой;

- в ряде случаев эксперту требуется параллельное представление большого количества информации, не умещающейся одновременно на мониторе;



- разработка хорошей электронной анкеты с контекстно-ориентированной поддержкой эксперта требует значительных программистских усилий, что далеко не всегда оправдано экономически.
6.Выводы

  1. Постановка экспертного опроса включает идентификацию объектов экспертизы, выбор критериев оценки, формулирование вопросов, разработку шкал, выбор способов оценивания, разработку и тиражирование анкеты.

  2. В качестве объектов экспертизы выступают либо объекты предметной области, либо факторы одного семейства иерархии.

  3. Различают следующие виды вопросов: открытые и закрытые; прямые и косвенные. Необходимо учитывать ряд правил при формулировании вопроса.

  4. Из теории измерений известны две категории шкал: качественные (номинальная, нечеткая, порядковая, гиперпорядковая шкалы) и количественные (шкалы интервалов, разностей, отношений, абсолютная, нелинейная). Выбор шкалы зависит от типа отношений, определенного на объектах экспертизы, и характера информации, которую может предоставить эксперт.

  5. Оценивание может выполняться способами двух видов: качественного оценивания (методы классификации, парных сравнений, ранжирования, множественных сравнений, векторов предпочтения, гиперупорядочения) и количественного оценивания (методы непосредственной численной оценки, Черчмена-Акофа, Терстоуна, фон Неймана-Моргенштерна). Выбор способа определяется используемой шкалой и числом объектов экспертизы.

  6. Структурная организация анкеты включает общую информацию, объяснение, область заполнения. Необходимо придерживаться ряда рекомендаций при изготовлении анкеты.