14.02.2008 | Колонка

Мера научной неожиданности

Как один американец нашел способ оценить научные работы

Сотрудник Массачусетсского технологического института Брюс Кнутсон предложил методику строгого количественного определения ценности научного эксперимента. Суть ее проста:

что является продуктом научного эксперимента? Конечно же, новое знание. То есть информация. А как измерить количество информации, известно еще со времен классических работ Клода Шеннона:

оно равно двоичному логарифму вероятности данного события, взятому с обратным знаком. Скажем, в русском алфавите 32 буквы. Вероятность появления каждой конкретной буквы – 1/32, и значит, количество заключенной в ней информации равно -log2(1/32) = log232 = 5 бит. Точнее, это было бы так, если бы частота употребления всех букв была одинаковой. Но мы знаем, что, скажем, буква А встречается в любых текстах гораздо чаще буквы Ъ. Значит, информационная ценность А будет меньше 5 бит, а Ъ – больше.

Вот эти соотношения Кнутсон и положил в основу своего критерия. Эксперимент тем ценнее, чем неожиданнее его результат.

В качестве меры неожиданности выступает все тот же минус-логарифм вероятности (разумеется, рассчитанной заранее) этого результата. Кнутсон назвал эту величину surprisal, что можно перевести как «удивительность» (а можно и как «преведность» – если вспомнить, что фирменная реплика Медведа в оригинале гласила surprise!). Если же эксперимент еще только планируется, то его ценность равна сумме удивительностей всех его возможных исходов, умноженных на их вероятности. И при распределении ресурсов – грантов или рабочего времени уникальных установок (таких, как Большой адронный коллайдер LHC или космический телескоп «Хаббл») – надо выстроить поступившие заявки по их ценности и удовлетворить те, у которых она выше.

Разумеется, Кнутсон понимает, что определить вероятность того или иного исхода эксперимента непросто. Но по его мнению, если строгое вычисление невыполнимо, можно ограничиться примерной оценкой, основанной, например, на опросе экспертов – это в любом случае будет точнее и справедливее интуитивных решений. В конце концов, у букмекеров нет математического аппарата, позволяющего рассчитать вероятность победы той или иной лошади, но назначаемые ими условия ставки довольно точно отражают шансы каждого участника.

Будучи специалистом по физике элементарных частиц, Кнутсон приводит в обсуждении расчеты ценности некоторых открытий в этой науке – как уже состоявшихся, так и ожидаемых.

Так, по его мнению, ценность обнаружения бозона Хиггса (которого все ждут от LHC) – всего 0,02. А вот если в соответствующих экспериментах эта частица не появится, ценность этого отрицательного результата составит целых 1,3.

Можно, конечно, возразить энтузиасту количественной методологии, что самыми ценными в истории науки оказываются эксперименты, результаты которых никто вообще не считал возможными. Когда Альберт Майкельсон пытался измерить скорость эфирного ветра, он мог бы, наверное, оценить вероятности разных исходов своего опыта. Но ему в голову бы не пришел исход, в котором скорость света не зависит от скорости наблюдателя: с таким же успехом можно было бы, бросая монетку, учитывать вероятность того, что она зависнет в воздухе. Однако, как мы теперь знаем, именно этот «невозможный» результат был получен Майкельсоном и прославил его.

Но на это возражение есть простой ответ:

никто и никогда не предоставляет (и не просит) никаких ресурсов на абсолютно неожиданные открытия – именно потому, что они абсолютно неожиданы. Так что в этом отношении просто ничего не изменится.

Зато в менее экзотических ситуациях метод Кнутсона, отдающий приоритет «неудобным», не предсказанным результатам, выглядит явно предпочтительнее принятой практики, когда и финансирование, и доступ в журналы легче всего получить работе с заранее известным итогом. Можно даже сказать, что предложение американского физика – одна из первых попыток осмыслить противоречие между двумя ипостасями науки: поиском неведомого (который по определению не может гарантировать какой-либо определенный результат) и отраслью экономики (которая не может обходиться без оценки эффективности проектов).

Однако науку делают люди. И движет ими не только жажда знаний, но и простое желание получать свой кусок хлеба.

Любой администратор знает, что самый валидный и информативный показатель эффективности работы немедленно перестает быть таковым, как только от него начинает зависеть зарплата работников. Если платить шоферу за тонно-километры, он будет оптимизировать этот показатель: загружаться чем-нибудь потяжелее и возить по кольцевому маршруту до конца смены. Вряд ли ученые будут поступать по-другому:

как только распределение средств будет зависеть от «удивительности» экспериментов, заявки на грант заполнятся расчетами вероятностей чего-нибудь вроде самосборки золотых самородков из воздуха.

Так что при всей теоретической нетривиальности методики Кнутсона вряд ли стоит внедрять ее в практику. Исход этого эксперимента абсолютно предсказуем.

Источник: «Русский репортер», № 4 (034), 7 - 14 февраля 2008 г. (под загол,