«Специалист подобен флюсу: полнота его одностороння…»
© К.Прутков
В продолжение темы экспертов. Увы, и меня занесло в их число. Практически, засосало. Речь идёт о государственной грантовой программе Красноярского края. Есть такая. Совершенно не собираюсь обсуждать здесь ни её содержание, ни номинации, ни способы выделения грантов, сосредоточусь только на одной стороне этого сладостного процесса — на экспертизе проектов. Чтобы показать, что не всё так плохо в области этой самой экспертизы, как это случилось с ферросплавным заводом.
Решение о выделении гранта принимает высокое начальство и делает это в соответствии со своими представлениями о прекрасном и насущном для края; важно, однако, что оно опирается (до определённой степени) в своих действиях на оценку проектов, которую им выдают эксперты. Вот про них-то и речь. Меня, к слову, тоже зачем-то туда поверстали, в эти самые эксперты… Собственно, рассказ будет про то, как выглядит это самое сообщество экспертов с точки зрения оценок, выдаваемых различным проектам.
Итак, каждый проект оценивается по 10 показателям; все эти подробности можно найти на сайте этой самой грантовой программы. Экспертиза устроена так, что каждый проект оценивается тремя и ровно тремя экспертами. При этом сам по себе эксперт анализирует от 5 (минимум в 2012 г.) до 180 (максимум в 2012 г.) проектов. Работа, кстати, не самая лёгкая: надо всё же прочесть заявку, разобраться в ней, оценить, прокомментировать свои оценки (это обязательное условие). Считается (и правильно считается!), что достаточно большое число «эксперто-проектов» приведёт к тому, что индивидуальные пристрастия и различия у экспертов нивелируются и в целом оценка будет взвешенной и разумной.
Тем не менее, вполне научный и одновременно прикладной интерес представляет вопрос о том, каково же типичное поведение сообщества экспертов, все ли из них одинаково ровно и беспристрастно оценивают проекты, нельзя ли ещё повысить точность экспертизы? Ответы на все эти вопросы скорее положительны.
В общем и целом, картина складывается такая. Всего было 3081 эксперто-проект; то есть столько всего было вынесено экспертами решений по проектам. Анализ деятельности экспертов показал, что среди них выделяются две (сравнительно малочисленные) группы: волки и лани. Первые склонны сильно — по сравнению с большинством — занижать оценки, вторые — напротив, завышать. Выделяются группы жёстких и подвижных экспертов: первые всегда оценивают одинаково — их оценки не очень различаются для разных проектов, вторые — дают слишком разные оценки, которые превышают типичный разброс мнений экспертов.
Ещё интереснее картина того, насколько системно эксперто-проекты распределены в девятимерном пространстве (один показатель был исключён из анализа). Оказалось, что весьма системно. Линейная кластеризация выявила характерные группы эксперто-проектов, в рамках которых эксперты действовали согласованно, а проекты (точнее, номинации) тоже распределялись весьма неслучайным образом. Вот так выглядит кластеризация эксперто-проектов по трём кластерам, а вот так — по четырём. Чётко видна вложенность кластеров из второго случая в первый. Что не может не радовать: это означает, что среди всех этих эксперто-проектов есть иерархия.
Мой любимый метод упругих карт даёт такую картину кластеризации. Примечательно, что очень ярко выраженный кластер, выделенный жёлтым цветом, собрал в себе как «выделяющихся» экспертов (волков, в основном), так и сильно выделяющиеся проекты.
Каков же сухой остаток всей этой истории? А он прост и прозрачен, как слеза помощника депутата Государственной Думы… Анализ однозначно показывает, что система экспертизы проектов по краевым грантовым программам работает честно и надёжно. Экспертизы, повторюсь; решение о поддержке того или иного конкретного проекта принимают отнюдь не эксперты. Более того, этот материал явным образом помогает улучшить работу — можно выявить характерные особенности экспертного поведения и исправить имеющиеся недостатки.
Ладно, с системой оценивания заявок на краевые гранты мы разобрались; тут всё как минимум разумно и объяснимо. Вот интересно было бы теперь посмотреть, как работает аналогичная система в городе Красноярске…
Ну, и парочка задач…
- Какие есть основания для исключения показателя из анализа поведения экспертов?
- Какой именно показатель — Соответствие номинации, Опыт заявителей, Актуальность проекта, Инновационный характер проекта, Степень проработанности заявки, Риски проекта, Партнеры проекта, Ожидаемый результат и мультипликативный эффект, Экономическая эффективность проекта и Возможности дальнейшего развития проекта — был исключён из анализа?
Михаил Садовский
