Чарльз Уилан
Голая статистика. Самая интересная книга о самой скучной науке
Политик А (популист): «Наша экономика катится в пропасть! В прошлом году уровень доходов в тридцати штатах сократился».
Политик B (противник популизма): «Наша экономика демонстрирует заметный рост: в прошлом году доходы семидесяти процентов американцев выросли».
Из этих утверждений напрашивается вывод, что самой благополучной можно считать экономику крупнейших штатов: Нью-Йорка, Калифорнии, Техаса, Иллинойса и т. п. Тридцатью штатами со снижающимся средним доходом, по-видимому, будут те, которые гораздо меньше по площади: Вермонт, Северная Дакота, Род-Айленд и т. п. Учитывая диспропорцию в величине штатов, вполне возможно, что экономическая ситуация во многих из них ухудшилась, тогда как доходы большинства американцев выросли. Главное – обратить внимание на единицу анализа. Кого именно (или что именно) мы пытаемся описать, и отличается ли этот «кто-то» (или это «что-то») от того, что пытается описать кто-то другой?
Хотя приведенные выше примеры относятся к категории гипотетических, ключевым здесь является отнюдь не гипотетический статистический вопрос: как влияет глобализация на неравенство доходов в мире в целом – в лучшую или в худшую сторону? По одной теории, глобализация лишь усугубляет существующее неравенство доходов: более богатые страны (если богатство измерять величиной ВВП [валовой внутренний продукт] на душу населения) демонстрировали более высокие темпы роста в период с 1980 по 2000 год, чем более бедные страны[27]. Богатые страны становились еще богаче; из этого следовало, что торговля, аутсорсинг, зарубежные инвестиции и прочие компоненты глобализации – не что иное как инструменты, с помощью которых развитые страны укрепляют свою экономическую гегемонию. Короче говоря, долой глобализацию!
Но не будем торопиться с выводами. Те же данные можно (и нужно) интерпретировать совершенно по-другому, если изменить единицу анализа. Нас интересуют не бедные страны, а бедные люди. А самый высокий процент бедных людей в мире приходится на Китай и Индию. Китай и Индия – огромные страны (население каждой из них превышает миллиард человек); и обе были относительно бедными в 1980 году. В течение нескольких последних десятилетий они развивались ускоренными темпами, что в немалой степени обусловливалось их возрастающей экономической интеграцией с остальным миром. The Economist описывает их как «быстрых глобализаторов». С учетом того, что наша цель – искоренить человеческую бедность, при анализе влияния глобализации на бедность нет смысла присваивать Китаю (с населением 1,3 миллиарда человек) такой же вес, как Маврикию (с населением 1,3 миллиона человек).
Единицей анализа должны быть люди, а не страны. На самом деле то, что произошло в период с 1980 по 2000 год, во многом похоже на приведенный мною выше гипотетический пример со школами. Большая часть бедного населения планеты проживает в двух гигантских странах, которые в настоящее время бурно развиваются, все больше и больше интегрируясь в мировую экономику. Надлежащим образом выполненный анализ приводит нас к совершенно другому выводу относительно последствий глобализации для людей со скромными достатками. Как указывают авторы статьи в журнале The Economist, «если анализировать положение людей, а не стран, то глобальное неравенство стремительно сокращается».
Телекоммуникационные компании AT&T и Verizon недавно развязали «рекламную войну», в которой используется рассматриваемая нами двусмысленность в отношении того, что именно описывается. Обе компании предоставляют услуги сотовой связи. Одной из главных проблем для большинства пользователей мобильных телефонов является качество связи. Таким образом, кажется вполне логичным, чтобы в своих рекламных кампаниях оба мобильных оператора сравнивали масштаб и качество своих сетей связи. В то время как потребители просто заинтересованы в достойном качественном сервисе, AT&T и Verizon применяют разные показатели для оценивания этого несколько расплывчатого желания. Verizon запустила агрессивную рекламную кампанию, расхваливающую географическое покрытие, обеспечиваемое ее сетью связи: возможно, вы вспомнили географические карты Соединенных Штатов, показывающие, какую часть страны охватывает сеть связи этого оператора по сравнению с относительно скромным географическим покрытием, обеспечиваемым AT&T. Единицей анализа, выбранной Verizon, является площадь охватываемой ею территории, поскольку Verizon весьма преуспела именно в этом отношении.
AT&T ответила запуском рекламной кампании с другой единицей анализа. Билборды AT&T гласят, что «AT&T предоставляет услуги 97 % американцев». Обратите внимание на использование слова «американцы», а не «Америка». AT&T сосредоточила внимание на том обстоятельстве, что большинство людей не проживает в сельскохозяйственном штате Монтана или в пустыне Аризоны. Поскольку население неравномерно распределено по территории США, ключом к предоставлению качественных услуг сотовой связи (как подразумевалось в данной рекламной кампании) является ее наличие в местах, где фактически проживают и работают потенциальные пользователи, а вовсе не обязательно там, где они могут проводить пару недель во время отпуска. Однако как человек, часто бывающий в сельскохозяйственном штате Нью-Гэмпшир, я отдаю свои симпатии компании Verizon.
Наши старые знакомые, среднее значение и медиана, также могут использоваться для всевозможных неблаговидных целей. Как вы, наверное, помните из материала предыдущей главы, среднее значение и медиана – это показатели «середины» того или иного распределения, или его «центральная тенденция». Среднее значение – это просто арифметическое среднее: сумма наблюдений, поделенная на их количество (среднее значение чисел 3, 4, 5, 6 и 102 равняется 24). Медиана представляет собой среднюю точку распределения: половина наблюдений расположена над ней, а другая половина – под ней (медиана чисел 3, 4, 5, 6 и 102 составляет 5). Итак, умный читатель, наверное, обратил внимание на существенную разницу между 24 и 5. Если бы по какой-то причине я захотел описать эту группу чисел так, чтобы она показалась более внушительной, то отдал бы предпочтение среднему значению. Если же мне захотелось бы, чтобы она выглядела меньшей, то воспользовался бы медианой.
А теперь давайте посмотрим, как эти манипуляции осуществляются на практике. Рассмотрим снижение налогов, рекламируемое администрацией экс-президента Джорджа Буша как благо для большинства американских семей. Продвигая этот план, администрация Буша указывала, что для 92 миллионов американцев налоги в среднем уменьшатся на 1000 долларов (если быть более точным, то на 1083 доллара). Но является ли такая величина точной? Согласно The New York Times, «Эти данные не лгут, просто кое о чем умалчивают».
Снизилось бы налоговое бремя для 92 миллионов американцев? Да.
Уменьшились бы налоги для большинства из них примерно на 1000 долларов? Нет. Снижение налога, подсчитанное как медиана, оказалось бы меньше 100 долларов.
Сокращение налогов для относительно малого числа очень богатых людей оказалось бы очень существенным; именно эти большие числа искажают среднее значение, создавая иллюзию значительного снижения налогового бремени. В действительности величина такого снижения для большинства американцев оказалась бы гораздо меньшей. Медиана нечувствительна к наблюдениям-«отщепенцам» и в данном случае стала бы более точным описанием того, как планируемые налоговые послабления сказались бы на типичной американской семье.
Разумеется, медиана также способна вводить в заблуждение – именно потому, что нечувствительна к наблюдениям-«отщепенцам». Допустим, у вас обнаружили смертельную болезнь. Утешением для вас служит тот факт, что недавно появилось новое лекарство, излечивающее это заболевание. Плохо лишь то, что оно чрезвычайно дорогое и, кроме того, имеет множество опасных побочных эффектов. «Но поможет ли мне это лекарство?» – спрашиваете вы у врача. И он сообщает вам, что оно повышает медианную ожидаемую продолжительность жизни на… две недели. Подобная новость вряд ли добавит вам оптимизма (учитывая расходы на покупку лекарства и возможные побочные эффекты). К тому же ваша страховая компания отказывается оплачивать лечение по причине очень незначительного повышения медианной ожидаемой продолжительности жизни людей, страдающих вашим заболеванием.
Однако медиана вполне может оказаться весьма обманчивой статистикой в данном случае. Допустим, новое лекарство не помогает многим пациентам, однако немалое их число, скажем 30 или 40 %, излечивается полностью. Этот процент успеха никак не сказывается на медиане (хотя средняя ожидаемая продолжительность жизни людей, принимающих новое лекарство, выглядела бы весьма впечатляюще). В этом случае наблюдения-«отщепенцы» – те, кому помогло новое лекарство, – должны сыграть важную роль в принятии вами окончательного решения. И это не просто некая гипотетическая ситуация. У Стефена Гоулда – ученого-биолога, занимающегося проблемами эволюции – была диагностирована форма рака, при которой медианная ожидаемая продолжительность жизни составляла восемь месяцев; спустя двадцать лет он умер от другого вида ракового заболевания, никак не связанного с предыдущим[28]. Гоулд впоследствии написал знаменитую статью под названием The Median Isn’t the Message («Медиана – это не приговор»), в которой утверждал, что именно его научные познания в области статистики уберегли его от ошибочного заключения, будто он непременно умрет через восемь месяцев. Определение медианы говорит нам, что половина пациентов проживет по меньшей мере восемь месяцев – и, возможно, гораздо дольше этого срока. Распределение смертности «скошено вправо», а это – нечто гораздо большее, чем просто техническая подробность, когда речь идет о смертельной болезни[29].
В данном примере определяющая характеристика медианы – то есть то, что она не присваивает наблюдениям весовые коэффициенты исходя из того, насколько они отдалены от средней точки, а лишь оценивает их в зависимости от того, где (выше или ниже) они расположены, – оказывается ее слабым местом. В отличие от медианы среднее значение зависит от разброса наблюдений. С точки зрения точности, ответ на вопрос «медиана или среднее значение» будет обусловлен тем, какое влияние оказывают наблюдения-«отщепенцы» в рассматриваемом нами распределении на описываемое явление: искажают его или, напротив, играют важную роль в уяснении нами его сути. (И снова здравое суждение берет верх над «голой» математикой.) Разумеется, ничто не скажет вам наверняка, чему именно следует отдать предпочтение – медиане или среднему значению. В любом комплексном статистическом анализе, скорее всего, будут задействованы оба показателя. Когда вы встречаете ссылку лишь на медиану или среднее значение, это наверняка было сделано из соображений краткости, хотя может указывать и на то, что кому-то очень хочется с помощью статистики «убедить» вас в чем-то.
Те из вас, кто достиг определенного возраста, возможно, помнят приведенный ниже обмен репликами между персонажами фильма Caddyshack, в роли которых выступают Чеви Чейз и Тед Найт. Эти двое встречаются в раздевалке после игры в гольф.
Тед Найт: Сколько очков ты выбил?
Чеви Чейз: Я не подсчитывал.
Тед Найт: Как же ты в таком случае сравниваешь себя с другими гольфистами?
Чеви Чейз: По росту.
Я не буду объяснять, почему это должно быть смешно. Скажу лишь, что множество статистических манипуляций являются следствием сравнения «яблок и апельсинов». Допустим, вы пытаетесь сравнить цену гостиничного номера в Лондоне с ценой гостиничного номера в Париже и просите своего шестилетнего сынишку выполнить небольшое исследование в интернете, поскольку у него это получается гораздо быстрее, чем у вас. Спустя какое-то время сын докладывает, что гостиничные номера в Париже стоят дороже, примерно 180 за одну ночь; аналогичный номер в Лондоне обойдется приблизительно в 150 за одну ночь.
Скорее всего, вы объясните ребенку разницу между фунтами стерлингов и евро, а затем усадите его обратно за компьютер, чтобы выяснить обменные курсы этих валют и выполнить корректное сравнение цен. (Этот пример навеян моим собственным опытом: после того как я заплатил в Индии 100 рупий за чашку чая, моя дочь поинтересовалась, почему в Индии все настолько дорого.) Очевидно, сравнивать цены в разных странах, выраженные в соответствующих национальных валютах, бессмысленно, если не конвертировать их в сопоставимые денежные единицы. Каков обменный курс между фунтом стерлингов и евро или, в случае Индии, между долларом и рупией?
На первый взгляд это кажется совершенно очевидным, между тем попытки сопоставлять несопоставимое встречаются сплошь и рядом. Особенно это любят делать политики и студии Голливуда. Эти люди, конечно же, понимают разницу между фунтами стерлингов и евро, однако игнорируют менее очевидный пример «яблок и апельсинов» – инфляцию. Нынешний доллар и доллар, каким он был шестьдесят лет назад, – это далеко не одно и то же: покупательная способность нынешнего доллара гораздо ниже. Вследствие инфляции товар, который стоил 1 доллар в 1950 году, стоил бы 9,37 доллара в 2011-м. В результате любые монетарные сравнения ситуации в 1950 году и в 2011 году без учета поправки на изменение стоимости доллара оказались бы даже менее точными, чем сравнение цен в фунтах стерлингов и евро, поскольку фунты стерлингов и евро по своей стоимости сейчас гораздо ближе друг к другу, чем доллар 1950 и 2011 годов.
Это настолько важное явление, что экономисты придумали специальные термины, указывающие, была ли внесена поправка на инфляцию или нет. Номинальные величины не скорректированы с учетом поправки на инфляцию. Сравнивая номинальную стоимость какой-либо государственной программы в 1970 году с номинальной стоимостью такой же государственной программы в 2011 году, мы просто сопоставляем величины чеков, выписанных Казначейством США в эти два года – без учета того обстоятельства, что покупательная способность доллара в 1970 году была выше, чем в 2011-м. Если в 1970 году мы потратили 10 миллионов долларов на некую программу оказания помощи ветеранам войны, а в 2011-м на такую же программу израсходовано 40 миллионов долларов, то в действительности это означает, что федеральное правительство снизило выплаты по этой программе. Да, суммы помощи повысились в номинальном выражении, однако это не отражает изменения стоимости долларов, затрачиваемых на ее оказание. Один доллар в 1970 году эквивалентен 5,83 доллара в 2011-м. В 2011 году правительству нужно было бы потратить на реализацию программы помощи ветеранам войны 58,3 миллиона долларов, чтобы обеспечить им поддержку, сопоставимую с 1970 годом.
Реальные величины, в отличие от номинальных, учитывают поправку на инфляцию. Чаще величины приводят к какой-то одной единице, например долларам 2011 года, после чего становится возможным сравнение «яблок и апельсинов». На многих сайтах, включая сайт Бюро статистики труда (Министерства труда США), есть простые калькуляторы инфляции, которые позволяют сравнивать стоимость доллара в разные временные периоды[30]. Чтобы получить реальное представление о том, насколько может разниться статистика с поправкой и без поправки на инфляцию, рассмотрим приведенную ниже диаграмму изменения минимальной заработной платы на федеральном уровне США. На этой диаграмме представлены как номинальная величина минимальной заработной платы, так и ее реальная покупательная способность в долларах 2010 года.
Минимальная заработная плата на федеральном уровне – показатель, который доводится до вашего сведения с помощью доски объявлений, вывешенной в каком-нибудь дальнем углу вашего офиса, – устанавливается Конгрессом США. Эта величина (в настоящее время составляющая 7,25 доллара) является номинальной. Ваш начальник не обязан гарантировать, что за 7,25 доллара вы купите такие же товары, как два года тому назад; он лишь должен гарантировать, что за каждый час работы вы получите не меньше этой суммы. Это лишь число, изображенное на чеке, а вовсе не то, что вы сможете приобрести за 7,25 доллара.
С течением времени инфляция снижает покупательную способность минимальной заработной платы (как и любой другой номинальной заработной платы; именно поэтому профсоюзы выступают за «поправки на рост стоимости жизни»). Если цены растут быстрее, чем Конгресс повышает минимальную почасовую заработную плату, ее реальная стоимость будет снижаться. Тем, кто обязан поддерживать минимальную заработную плату на должном уровне, следует учитывать ее реальную стоимость (поскольку закон должен гарантировать низкооплачиваемым работникам некий минимальный уровень потребления за каждый час работы), а не давать работнику чек, на котором указано некое число, не обеспечивающее ему даже минимальный прожиточный уровень. (В таком случае мы могли бы оплачивать труд низкооплачиваемых работников в рупиях.)
На мой взгляд, голливудские киностудии отличаются самым вопиющим игнорированием искажений, вносимых инфляцией, при сравнении доходов от разных фильмов в различные периоды времени (возможно, они делают это намеренно). Как, например, выглядит пятерка самых кассовых (на внутреннем рынке США) фильмов всех времен по состоянию на 2011 год?[31]
1. «Аватар» (2009)
2. «Титаник» (1997)
3. «Темный рыцарь» (2008)
4. «Звездные войны. Эпизод IV» (1977)
5. «Шрек 2» (2004)
Этот список не кажется вам несколько подозрительным? Все это вполне достойные фильмы – но «Шрек 2»? Неужели «Шрек 2» имел больший коммерческий успех, чем «Унесенные ветром», или «Крестный отец», или «Челюсти»? Нет, нет и еще раз нет! Голливуд хотел бы создать у нас впечатление, что каждый его очередной блокбастер грандиознее и прибыльнее предыдущего. Один из способов сделать это – подсчитывать кассовые поступления в индийских рупиях, инспирируя таким образом газетные заголовки наподобие этого: «Недельный доход от проката Гарри Поттера составил 1,3 триллиона!» Но даже самые недалекие завсегдатаи кинотеатров с недоверием воспримут эти космические показатели дохода, потому что они выражаются в валюте с относительно низкой покупательной способностью (индийских рупиях). Несмотря на это, голливудские киностудии (и журналисты, освещающие их деятельность) просто используют номинальные величины, что создает впечатление необычайной коммерческой успешности последних кинолент Голливуда. Между тем впечатляющие показатели кассовых сборов, которыми так любит хвастаться Голливуд, в значительной мере объясняются тем, что нынешняя цена билета в кинотеатр существенно выше, чем, скажем, десять, двадцать или пятьдесят лет назад (когда в 1939 году «Унесенные ветром» впервые вышли на экраны страны, цена билета равнялась примерно 0,5 доллара). Наиболее точным способом сравнения коммерческого успеха фильмов, создававшихся в разные годы, было бы внесение в цену билета поправки на инфляцию. Добиться кассовых сборов порядка 100 миллионов долларов в 1939 году означает гораздо больший коммерческий успех, чем заработать 500 миллионов долларов в 2011-м. Как выглядела бы пятерка самых успешных с коммерческой точки зрения американских фильмов за всю историю существования кино в США с поправкой на инфляцию?[32]
1. «Унесенные ветром» (1939)
2. «Звездные войны. Эпизод IV» (1977)
3. «Звуки музыки» (1965)
4. «Инопланетянин» (1982)
5. «Десять заповедей» (1956)
В реальных величинах «Аватар» оказывается на 14-м месте, а «Шрек» опускается на 31-е.
Даже сравнение яблок с апельсинами оставляет значительный простор для манипуляций. Как отмечалось в предыдущей главе, одна из важных задач статистики – описание количественных изменений, происходящих с течением времени. Растут ли налоги? Сколько чизбургеров мы продаем по сравнению с прошлым годом? Насколько сократилось содержание мышьяка в питьевой воде? Чтобы отразить эти изменения, мы часто используем процентные показатели, поскольку они создают у нас ощущение масштаба и контекста. Мы понимаем, что значит снизить содержание мышьяка в питьевой воде на 22 %, тогда как лишь немногим из нас известно, можно ли считать существенным изменением уменьшение наличия мышьяка в воде на один микрограмм (абсолютное сокращение). Процентные показатели не лгут, но могут создавать излишне преувеличенную картину. Одним из способов сформировать у людей впечатление резкого роста чего-либо является использование процентного изменения, стартующего с очень низкой начальной точки. Я проживаю в округе Кук, штат Иллинойс. Однажды я испытал настоящее потрясение, узнав, что часть моих налогов, направляемую на борьбу с туберкулезом в нашем округе, планируется повысить на 527 %! Однако узнав, что это изменение будет стоить мне меньше одного сэндвича с индейкой, решил отказаться от участия в массовом митинге против повышения налогов (к тому времени окончательное решение о его проведении еще не было принято). Количество заболеваний туберкулезом в нашем округе очень невелико, и средства, направляемые на борьбу с этим заболеванием также незначительны. В газете Chicago Sun-Times указывалось, что для типичного домовладельца налоговая декларация (счет) увеличится с 1,15 до 6 долларов[33]. Исследователи иногда квалифицируют тот или иной показатель роста, указывая, что он отсчитывается «от низкой базы»; это означает, что любое повышение при этом будет выглядеть довольно значительным.
Очевидно, что справедливо и обратное. Даже небольшой процент от огромной суммы может выражаться большой абсолютной величиной. Допустим, министр обороны говорит, что расходы на его ведомство в этом году вырастут всего на 4 %. Замечательно! Но не стоит радоваться, если принять во внимание, что бюджет Министерства обороны составляет примерно 700 миллиардов долларов. Четыре процента от этой суммы равны 28 миллиардам долларов – на такие деньги можно купить очень много сэндвичей с индейкой. В действительности это скромное на первый взгляд четырехпроцентное повышение бюджета оборонного ведомства превышает бюджет НАСА и почти равняется совокупному бюджету Министерства труда и Казначейства США.
Аналогично, ваш добросердечный и справедливый босс может объявить о повышении всем сотрудникам в этом году заработной платы на 10 %. Какой великодушный жест! Правда, если вспомнить, что годовой доход вашего босса составляет 1 миллион долларов, а ваш – 50 000 долларов, то окажется, что его годовой доход повысится на 100 000 долларов, а ваш – на 5000 долларов. Между тем заявление «В этом году заработная плата всех сотрудников повысится на 10 %» звучит для вашего слуха гораздо приятнее, чем такие слова вашего босса: «Повышение моего годового дохода окажется в двадцать раз большим, чем вашего». Однако и то и другое не будет ложью.
Любое количественное изменение, происходящее в течение какого-то времени, всегда имеет начальную и конечную точки. И этими точками можно манипулировать так, как того требуют обстоятельства. Один из моих преподавателей любил повторять, что у него есть «республиканские» и «демократические» слайды. Он имел в виду данные о расходах на оборону, а под слайдами подразумевал то, что готовясь к выступлению перед сторонниками Республиканской или Демократической партии, он мог организовать одни и те же данные таким образом, чтобы его выступление понравилось соответствующей аудитории. Выступая перед сторонниками Республиканской партии, он показал бы им слайды с данными о повышении оборонных расходов в период правления Рональда Рейгана. Разумеется, Рейган показал нам, насколько важно уделять должное внимание вопросам обороны и безопасности, что, в свою очередь, помогло нам выиграть холодную войну. Глядя на эти числа, невозможно не оценить по достоинству непреклонную решимость Рональда Рейгана запугать Советы.
Для демократов мой бывший преподаватель использовал бы те же (номинальные) данные, но за более продолжительный отрезок времени. Выступая перед этой аудиторией, он бы отметил, что именно Джимми Картер заслуживает уважения за наращивание оборонной мощи страны. Как следует из приведенного ниже «демократического» слайда, рост оборонных расходов с 1977 по 1980 год демонстрирует ту же базовую тенденцию, что и их рост в период правления Рональда Рейгана. Таким образом, нам остается лишь порадоваться тому, что Джимми Картер – выпускник Военно-морской академии США в Аннаполисе и бывший офицер ВМС – инициировал процесс возрождения военной мощи Америки!
Источник: http://qoo.by/bz6.
Хотя основная задача статистики – представить содержательную картину интересующих нас явлений, во многих случаях мы также рассчитываем опираться на эти данные. Командам NFL требуется какой-либо простой показатель эффективности действий куортербека, с помощью которого можно было бы находить и включать в свои составы талантливых игроков из высших учебных заведений. Компании оценивают эффективность действий своих работников, чтобы продвигать по службе тех, кто приносит им наибольшую пользу, и увольнять тех, кто абсолютно бесполезен. В бизнесе популярен такой афоризм: «Вы не можете управлять тем, что не в состоянии измерить». И это действительно так. Однако вы должны быть твердо уверены в следующем: то, что вы измеряете, действительно является тем, чем вы пытаетесь управлять.
Рассмотрим вопрос качества школ, которое очень важно уметь измерять, поскольку, с одной стороны, это позволило бы поощрять и ставить в пример хорошие школы, а с другой – наказывать плохие и исправлять ситуацию в них. (А в рамках каждой школы перед нами стоит аналогичная цель – измерить качество преподавания.) Ключевым показателем качества школ и работы преподавателей являются результаты экзаменов. Если по итогам хорошо продуманного стандартизованного теста учащиеся демонстрируют впечатляющие баллы, то у нас есть все основания полагать, что учителя и школа отлично справляются со своей задачей. И наоборот, плохие результаты теста – это четкий сигнал о том, что многих преподавателей соответствующей школы нужно уволить, причем чем раньше, тем лучше. Такие статистические данные способны помочь улучшить государственную систему образования, не так ли?
Нет, не так. Любое оценивание школ и учителей, которое базируется исключительно на результатах экзаменов, представит очень неточную картину. У каждого учащегося свой жизненный опыт и способности, и они могут сильно разниться между собой. Нам известно, например, что уровень образования и величина дохода родителей ученика существенно влияют на его успеваемость, в какой бы школе он ни учился. Оказывается, только статистика, которой мы в данном случае не располагаем, а именно в какой мере успеваемость ученика (какой бы она ни была – хорошей или плохой) обусловливается происходящим в его школе (или классе, где он учится), имеет для нас значение.
Ученики из обеспеченных семей с высоким образовательным уровнем, как правило, демонстрируют хорошие результаты тестов буквально с первых и до последних дней учебы. Обратное также верно. Есть немало школ, где учатся исключительно дети из бедных семей и где преподаватели буквально творят чудеса, стремясь передать ученикам максимум знаний, но даже в этом случае трудно рассчитывать на хорошие баллы при сдаче тестов (хотя если бы в таких школах работали посредственные учителя, итоги экзаменов были бы еще плачевнее). Итак, нам необходим некий показатель «добавленной стоимости» на школьном уровне, или даже уровне класса. Нам не нужно знать абсолютный уровень успеваемости ученика – мы лишь хотим знать, в какой мере его успеваемость определяется образовательными факторами, которые мы пытаемся оценить.
На первый взгляд это кажется довольно легкой задачей, поскольку мы можем просто предложить ученику сдать сначала предварительный тест, а затем – заключительный. Если нам известен результат предварительного теста, который сдается при поступлении в определенную школу или класс, то мы можем оценить успеваемость ученика в момент окончания учебы в этой школе или классе, а разницу результатов «до» и «после» объяснить полученными им знаниями.
Увы, опять ничего не выйдет. Ученики с разными способностями, к тому же выходцы из семей с полярно разными уровнями дохода и образования, могут и знания усваивать с разной скоростью. Кто-то из учеников схватывает материал буквально на лету, а кому-то приходится объяснять по нескольку раз, причем все это не имеет никакого отношения к качеству преподавания. Таким образом, если ученики в Школе состоятельных родителей A и ученики в Школе бедных родителей B начинают изучать алгебру в одно и то же время и с одного и того же исходного уровня, то объяснить тот факт, что через год ученики школы A сдали экзамен по алгебре лучше, чем ученики школы B, можно либо тем, что в школе A преподают более квалифицированные учителя, либо тем, что в школе A учатся более способные ученики, быстрее усваивающие учебный материал, либо и тем и другим одновременно. Исследователи пытаются разработать статистические методы, которые при измерении качества преподавания учитывали бы способности учеников, а также материальное положение и образовательный уровень их родителей. А тем временем наши попытки выявить «наилучшие» школы могут оказаться до смешного несостоятельными.
Каждую осень несколько чикагских газет и журналов публикуют рейтинги лучших школ региона, основанные на результатах сдачи стандартизованного теста штата Иллинойс. Вот один из выводов, совершенно смехотворных с точки зрения статистики: поступление в несколько школ, постоянно занимающих высокие места в рейтинге, возможно лишь на конкурсной основе; для этого нужно предварительно подать соответствующие документы, причем в школу будет зачислена лишь малая часть из тех, кто их подал. Одним из важнейших критериев для поступления в такие школы являются результаты сдачи стандартизованных тестов. Итак, подведем итоги: 1) эти школы считаются «лучшими», потому что их ученики имеют высокие баллы на экзаменах; 2) чтобы попасть в такую школу, нужно иметь высокие баллы стандартизованных тестов. Это, по сути, то же самое, как если бы вы наградили баскетбольную команду за то, что в ее составе выступают очень рослые ребята.
Даже при наличии надежного индикатора того, что вы пытаетесь измерить и чем пытаетесь управлять, проблемы не заканчиваются. Хорошей новостью будет то, что «управление посредством статистики» способно изменить к лучшему поведение соответствующего человека или учреждения. Если вы можете определить долю бракованных изделий, сходящих с производственного конвейера, и эти дефекты обусловлены ситуацией на заводе, то выплата работникам премии за сокращение количества бракованных изделий должна, по-видимому, надлежащим образом изменить их поведение. Каждый из нас реагирует на стимулы, даже если это просто похвала или предоставление более удобного места для парковки автомобиля. Статистика измеряет важные для нас результаты; стимулы подталкивают нас к их улучшению.
