Метод Дельфи. Второй раунд экспертной оценки не гарантирует точности

Метод Дельфи часто считают способом получить от специалистов верный прогноз: анкету рассылают снова и снова, пока мнения не сойдутся. Ошибки при этом будто бы отсеиваются сами. Но исследователи ВШЭ обнаружили, что повторный раунд не всегда сближает мнения: в большинстве изученных национальных опросов разброс оценок во втором раунде оказался шире, чем в первом. Зато метод показывает руководителю, в чем специалисты сошлись и где их мнения расходятся, если правила процедуры записали до первой рассылки анкеты. Разбираем, как сформулировать вопросы и собрать экспертную группу, какой порог согласия задать и что включить в итоговый отчет.

Что метод Дельфи дает руководителю и чего от него ждать не стоит

Метод Дельфи собирает мнение экспертов через анонимный заочный опрос в несколько раундов. После каждого раунда координатор передает группе статистику ответов, чтобы эксперты могли пересмотреть свои оценки. От мозгового штурма классический метод Дельфи отличается тем, что эксперты не встречаются и не знают, кто поставил ту или иную оценку. При таком порядке должность и напористость отдельных экспертов меньше влияют на оценки остальных, чем при очном обсуждении.

Компании применяют метод там, где данных для расчета нет и решение зависит от суждения специалистов:

• прогноз спроса или продаж, если данные за прошлые периоды не позволяют надежно оценить будущие показатели;
• приоритеты проектов при ограниченном бюджете;
• оценка рисков запуска нового продукта или процесса;
• срок, к которому изменения технологий или регулирования затронут бизнес компании.

Для прогнозирования метод годится с оговоркой: точность он не гарантирует. В ВШЭ проверили, какая доля научных прогнозов о транспорте из японского технологического форсайта сбылась за 50 лет. Средняя сбываемость не превысила 25%: три из четырех прогнозов не реализовались. Исследователи предполагают, что такой результат связан со сложностью транспортного сектора и недостатками метода Дельфи. Эти данные относятся только к прогнозам для транспортной отрасли и не показывают, насколько точен метод в других сферах. Для бизнеса метод полезен и без гарантии точного прогноза: он показывает, где специалисты согласны друг с другом, а где их оценки расходятся.

Классическую процедуру Дельфи адаптируют под задачи конкретного опроса. Обзор 2025 года, охвативший работы за 2018–2021 годы, показал: в 43% исследований использовали модифицированный метод Дельфи. Компания тоже может упростить схему под свою задачу: сократить число раундов, проводить опрос через онлайн-форму. При этом сохраняют три основных элемента метода: анонимность, обратную связь между раундами и заранее заданный порог согласия.

Шаг 1. Формулировка вопроса для экспертной оценки

Подготовку к опросу начинают с выбора вопроса, на который эксперты смогут дать обоснованный ответ. Удачный вопрос для метода Дельфи касается одной проблемы: эксперту предлагают оценить по шкале вероятность, срок, приоритет или риск. Неудачный предлагает угадать, какой из похожих вариантов окажется лучше, хотя оснований для такого суждения у специалистов нет. Дополнительные раунды не помогут: эксперты лишь повторят свою догадку.

«Частые ошибки участников дельфи-опросов в среднесрочных предсказаниях могут быть связаны с тем, что экспертам трудно решить, какое именно из нескольких похожих технически готовых решений выстрелит на рынке».

Алексей Сухарев, эксперт Форсайт-центра НИУ ВШЭ.

Примеры формулировок:

• Годится, оценка риска по шкале: «Как вы оцениваете вероятность срыва срока запуска по шкале от 1 до 10?»
• Годится, срок: «К какому году новые требования регулятора затронут основной продукт?»
• Годится, приоритет: «Какие проекты из списка сильнее всего приблизят компанию к годовой цели?»
• Не годится, выбор между похожими решениями: «Какой из почти одинаковых продуктов выстрелит на рынке?»
• Не годится, два вопроса в одном: «Насколько вырастет спрос и хватит ли мощностей?» Эксперт отвечает только на один из вопросов — координатор не знает, на какой именно.

Допустим, компании нужно определить, какие проекты из длинного списка финансировать первыми. Вопрос «какой проект лучше» участники понимают по-разному: один думает о выручке, другой о сроках, третий о риске. Если отдельно оценить вклад проекта в годовую цель, риск срыва и потребность в ресурсах, ответы становятся сопоставимыми. Координатор видит, по какому критерию мнения группы расходятся.

До начала опроса анкету дают на проверку одному-двум коллегам вне будущей экспертной группы. Их просят пересказать вопросы своими словами. Если они поняли вопрос иначе, формулировку меняют. К каждому вопросу прикладывают шкалу и короткую инструкцию, в которой указывают единицу оценки и срок прогноза.

12 ноября 15:00 МСК Онлайн Бесплатно Открытый разбор: КП отправили, а дальше тишина Для руководителей продаж: как узнать, что происходит со сделкой, пока клиент молчит, и как вернуть разговор. Зарегистрироваться

Шаг 2. Экспертная панель: кого приглашать и почему отбор важнее числа

Качество экспертной оценки зависит от компетенций участников. Поэтому сначала определяют критерии отбора и только после этого составляют список экспертов. Большая группа людей без нужных знаний даст много ответов, но на их основе будет трудно сделать обоснованные выводы.

При выборе экспертов и формировании группы учитывают пять условий:

• Опыт в области вопроса: человек сталкивался с задачей на практике и видел, чем заканчивались похожие решения.
• Доступ к данным: у эксперта есть цифры или наблюдения, на которые опирается его оценка.
• Разные подразделения: в панель входят представители продаж, производства, финансов и поддержки, потому что каждая служба видит задачу по-своему.
• Несколько уровней управления: если в группе только руководители одного звена, их оценки могут оказаться схожими. Анонимность не устранит этот недостаток состава группы.
• Учет конфликта интересов: участника, чей бюджет зависит от исхода опроса, либо не включают, либо отмечают его ответы в сводке отдельно.

На строгом отборе настаивают и в разборе корпоративных проектов. Так, в технологическом форсайте «Ростелекома» профильные специалисты по дельфийскому методу проверили большой список перспективных технологий. На этой основе компания разработала несколько сценариев развития ИКТ-отрасли до 2040 года. Результаты обсуждали на экспертной сессии Форсайт-центра ВШЭ. Участники отметили, что для такого форсайта нужно тщательно организовать работу с экспертами. Среди требований они назвали «строгое соблюдение критериев отбора респондентов».

Набирают панель с запасом: часть приглашенных откажется, часть выйдет между раундами. Координатор собирает ответы, готовит обратную связь и следит за анонимностью, но сам оценок не ставит, чтобы не влиять на результат своими ожиданиями.

Шаг 3. Анонимный опрос против давления авторитетного мнения

На очном совещании участники часто подстраивают свои оценки под цифру, которую назвал старший по должности коллега. Анонимный опрос в методе Дельфи ослабляет этот эффект. Эксперты отвечают заочно и не знают, кто поставил другие оценки. Координатор не раскрывает имена даже заказчику опроса.

Анонимность обеспечивают несколькими правилами:

• анкету рассылают с общего почтового ящика или предлагают заполнить через форму, где не нужно входить под своим именем;
• в обратной связи ответы приводят без подписей, комментарии пересказывают без характерных оборотов автора;
• заказчик видит только сводные данные;
• в маленькой команде, где автора комментария можно узнать по стилю, вместо свободного ответа предлагают выбрать готовый вариант.

Анонимность не устраняет всех искажений экспертной оценки. Исследователи ВШЭ разобрали крупные национальные Дельфи-опросы, в том числе российский. В большинстве случаев во втором раунде разброс оценок вокруг среднего оказался больше, чем в первом. Ученые связывают этот результат с когнитивными, процедурными и социальными искажениями. К социальным искажениям относятся давление авторитетного мнения и групповая солидарность. Эти факторы могут сохраняться даже при анонимном опросе.

В анкете эксперт указывает, насколько уверен в каждой оценке. Авторы исследования предлагают использовать этот прием вместе со строгой анонимностью для защиты от искажений. Если в следующем раунде эксперт поставил оценку ближе к оценкам большинства, но по-прежнему сомневается, координатор увидит это в сводке.

Шаг 4. Критерий согласия задают до первого раунда

Если заранее не установить порог согласия, нельзя проверить, на каком основании оценки признали согласованными. Координатор может завершить опрос в тот момент, когда ответы совпадут с его ожиданиями или ожиданиями заказчика.

Положение анкеты — отдельное утверждение, которое эксперты оценивают по шкале. Порог согласия выражают долей экспертов, которые поддержали положение. Обычно его устанавливают на уровне 70%, 75% или 80%. Помимо доли согласных, координатор учитывает медиану и разброс оценок. Медиана показывает центральное значение оценок группы, а разброс — насколько сильно от него отличаются крайние оценки. Высокой медианы недостаточно, чтобы признать положение согласованным: нужно учитывать долю согласных и разброс оценок.

Порядок работы с порогом выглядит так:

1. До рассылки анкеты записывают шкалу, порог согласия, число раундов и правило остановки.
2. После каждого раунда для каждого положения считают долю согласных и сравнивают ее с порогом.
3. Положения, не прошедшие порог, отправляют на переработку или в следующий раунд. Согласованными их не считают.

Так, в Федерации анестезиологов и реаниматологов перед обновлением методических рекомендаций по седации пациентов в интенсивной терапии применили похожий порядок, но с другим способом расчета порога. Анонимный опрос по модифицированному методу Дельфи провели в два раунда. Эксперты оценивали положения по шкале от 1 до 10. Порог рассчитывали по средневзвешенной оценке положения, а не по доле согласных экспертов. Если она была ниже 70%, положение отправляли на переработку по заранее заданному правилу. Анкету разослали 25 специалистам, из которых 18 согласились участвовать. По итогам опроса согласовали 16 из 21 положения и 5 из 6 критериев качества. Остальное отправили на доработку.

Шаг 5. Раунды и обратная связь: что возвращать экспертам

Основной этап метода Дельфи состоит из раундов. Три раунда проводили в 54% исследований, два раунда в 36%. Каждый дополнительный раунд требует времени экспертов, и часть участников может выйти из опроса до его завершения.

Между раундами экспертам почти всегда показывают ответы всей группы: так поступали в 93% исследований. Если сообщить участникам только медиану, эксперт с оценкой, далекой от нее, может приблизить свой ответ к центру без новых доводов. Чтобы эксперты могли оценить позиции остальных, в материалы между раундами включают:

• Распределение ответов: сколько экспертов выбрали каждое значение шкалы.
• Доводы авторов крайних оценок: короткие пояснения тех, кто поставил максимальный и минимальный балл, без имен.
• Уточнения формулировок: что осталось непонятным в вопросах и как их исправили.
• Положения, прошедшие порог: их отмечают и на повторную оценку не выносят.

Если эксперт не меняет оценку, он кратко объясняет свою позицию. Координатор включает этот довод в следующую сводку. Авторы исследования ВШЭ советуют разбирать контраргументы и мнения экспертов, несогласных с большинством, вместо того чтобы просто усреднять оценки.

«Традиционно Дельфи позиционируется как наиболее выверенный экспертный метод, что формирует завышенные ожидания от точности его прогнозов. Обнаруженное снижение точности во втором раунде (23,4% против 26,4% в первом) ставит под сомнение одно из его ключевых преимуществ — предположение, что итерация автоматически улучшает качество суждений».

Олеся Майбах, заведующий отделом методологии и организации форсайт-исследований Форсайт-центра ИСИЭЗ НИУ ВШЭ.

Если после второго раунда эксперты так и не пришли к согласию по положению, вместо новой рассылки их приглашают обсудить доводы очно. Итоговые оценки эксперты после этого снова выставляют анонимно, чтобы избежать давления со стороны других участников.

Когда остановить опрос по методу Дельфи и что включить в отчет для решения

До первого раунда устанавливают порог согласия и определяют, при каких условиях завершат опрос. Примерно в половине исследований было неясно, при каких условиях завершали опрос. Без этих сведений нельзя судить, насколько устойчивым было достигнутое согласие. Опрос завершают, когда выполнено одно из заранее заданных условий:

• все положения анкеты прошли порог согласия;
• ответы экспертов между раундами перестали меняться;
• закончилось отведенное число раундов.

На последнем этапе координатор сводит ответы, чтобы руководитель увидел согласованные и спорные положения вместо одной итоговой цифры. В отчет включают:

• Согласованные положения: формулировка, процент согласных и статистика ответов.
• Положения, не прошедшие порог: аргументы участников и пометка, какая часть формулировки вызвала спор.
• Особые мнения: доводы экспертов, не сменивших оценку, без имен.
• Уровень уверенности: по каким положениям эксперты уверены в оценках, а по каким сомневаются, несмотря на достигнутое согласие.
• Ход процедуры: сколько раундов провели, сколько участников выбыло и при каком условии завершили опрос.

В отчете выделяют три ситуации:

• Если положение прошло порог согласия, оценки экспертов близки и они уверены в своих ответах, руководитель берет его за основу решения.
• Если положение прошло порог согласия, но уверенность экспертов в своих оценках низкая, требуется дополнительная проверка.
• Если положение не прошло порог согласия, но обе стороны приводят веские доводы, спорный вопрос решают на основе данных, а не повторного голосования.

Решение по итогам опроса принимает руководитель. Метод Дельфи дает ему аргументы экспертов, но не определяет выбор за него. Согласие группы, даже достигнутое за несколько раундов, точности прогноза не гарантирует. Разногласия в отчете помогают определить, какие вопросы требуют дополнительной проверки перед запуском, в том числе в пилотном проекте.