Поиск по сайту

В материалы нашего сайта не вошла информация, являющаяся конфиденциальной и не подлежащая разглашению по договоренности с заказчиками.

При цитировании, изложении материалов сайта центра "Пульс" на других сайтах просим ссылаться на источник   ( http://puls.od.ua ).

При использовании материалов в печатных СМИ просим указывать Социологический информационно-исследовательский центр "Пульс" как источник информации.

Тщательней надо, ребята.

Тщательней надо, ребята.  Общим видом овладели, теперь подробности не надо пропускать.

© М.  Жванецкий

 

Центр "Пульс" пережил уже восемь крупных избирательных кампаний. Идёт (де факто) девятая. Это не считая локальных (в Теплодаре, Южном, Ильичевске, Измаиле, Белгороде Днестровском, районных в Одессе и области и т. п.). И снова приходится, что называется, "выступать". Поводы, к сожалению, были, есть и, по-видимому, будут.

Не знаю, может быть, со стороны это выглядит придирками педанта. Понятно, что обычный читатель, радиослушатель, телезритель, человек, просматривающий информацию в Интернете совершенно не обязан знать, какие именно методики, техники и процедуры должны использоваться в тех или иных социологических исследованиях, чтобы на выходе была такая информация, которой можно доверять.

 

В принципе, помочь публике отделять зёрна от плевел, могут, да и должны, во первых, СМИ, в которых публикуются результаты или аналитические обзоры опросов.

Позволю себе напомнить, что в нашем законодательстве о выборах содержатся статьи, которые прямо обязывают СМИ в публикациях на предвыборную тематику соблюдать определенные нормы. Как оказывается, и уже не в первый раз, некоторые наши СМИ забывают или "забывают" о требованиях Законов Украины(1). Процитируем соответствующую норму законов (в переводе на русский язык).

«Средства массовой информации в случае публикации результатов опроса общественного мнения, связанного с […] выборами, обязаны указать организацию, которая проводила опрос, время его проведения, количество опрошенных, метод сбора информации, точную формулировку вопроса, статистическую оценку возможной погрешности».

Во-вторых, профессиональные социологи, которые согласно Кодексу профессиональной этики Социологической ассоциации Украины «…несут ответственность за поддержание авторитета социологии…». И далее. – «Социологи осознают ценность доверия общественности к выводам социологов, они заинтересованы в этичном поведении друг друга, их волнует то, что действия некоторых из них могут скомпрометировать это доверие» [см. раздел "Основные принципы" Кодекса: http://www.sau.kiev.ua/codex.html ]. Конечно, не меньше их должны волновать действия на их поле "варягов" (т. е. не социологов) и дилетантов, компрометирующих социологию, как таковую.

В нынешней избирательной кампании, как и в прежних, за исключением, пожалуй, кампаний 1990–1991 г., в Одессе порой публикуются результаты либо не вполне, либо совершенно неадекватных методически опросов. Естественно, к данным, приводимым в таких публикациях, следует относиться весьма критически. Помня, что они могут быть в совершенно непредсказуемой степени нерепрезентативны. Иначе говоря, они дают такую картину ситуации в городе, которая вполне может оказаться как слегка, так и совсем искаженной.

О некоторых из такого рода опросов, на результаты которых не стоит полагаться ни заказчикам, ни публике, и пойдет речь дальше. Цель простая – предостеречь одесситов и, особенно, наши СМИ (включая интернет-издания), от излишней доверчивости к результатам опросов. Особенно тех, при проведении которых используются "нетрадиционные" (т. е. не входящие в обойму доказавших на практике свою эффективность и надежность), методики формирования выборки и техники массовых опросов.

Начнем с опросов, в которых для формирования выборки используется метод "снежного кома". Их проводит в нашем городе независимая исследовательская компания "Мониторинг".

Если верить приведенной на ее сайте информации, она работает с 2000 г., занимаясь маркетинговыми, политическими и социологическими исследованиями, а также мониторингом СМИ. География их проектов – Украина. Однако эти утверждения о стаже и "ассортименте" работы фирмы на сайте [ http://www.monitoring.odessa.ua ] ничем не подтверждаются. Ни списка публикаций за эти годы, ни портфолио с перечнем и характеристикой выполненных работ, ни списка клиентов фирмы. Нет даже списка основных сотрудников – кто они, что они из себя представляют…

Есть только страничка "Блог" на сайте компании. Где приводятся транскрипты (расшифровки аудиозаписей) фрагментов интервью, проведенных сотрудниками фирмы. Из содержания транскриптов, впрочем, явствует, что до 2009 г. она выполняла, в основном (вероятнее всего – исключительно) маркетинговые исследования.

Нас заинтересовало, входит ли сама компания или ее сотрудники (все-таки вроде столько лет работают…) в какое-либо солидное профессиональное сообщество. Но, увы, её нет в числе коллективных членов Украинской Ассоциации Маркетинга. А их – в перечне членов международной организации маркетологов (ESOMAR).

Насколько мне известно, как члену бюро Южно-украинского отделения Социологической Ассоциации Украины (ЮУО САУ), сотрудники "Мониторинга" не зарегистрированы как индивидуальные члены САУ. Сама компания не является коллективным членом САУ.

Опыт социологических (в том числе электоральных) исследований у этой фирмы, скорее всего, невелик. На сайте и в Интернете мне не удалось найти каких-либо следов деятельности "Мониторинга" в области социологии до 2009 г.

А в нынешнем году эта фирма уже дважды (в июне и сентябре) провела в Одессе опросы в рамках периодического синдикативного проекта "Электоральные предпочтения".

И опубликовала их результаты в местных СМИ. Как традиционных (в газетах), так и в Интернет-изданиях – на местных информационно-аналитических сайтах и порталах. В пресс-релизе, излагающем результаты последнего исследования указано, что оно проходило (цитируем) «… в рамках очередной волны проекта «Одесский Омнибус», метод получения данных - интервью «face-to-face» по структурирован­ной анкете, структура выборки репрезентиру­ет электорат Одессы, формирование выборки – методом "снежного кома"» [см., например: Кому доверяют одесситы // Сегодня. Одесский выпуск. –2009.– 15 сентября. – С. 9; Соц. опрос: мэром Одессы будет Гончаренко?//Думская.net. –2009.– 6 июля ( http://dumskaya.net/news/Odessity_vyskazali_svoi_simpatii_otnositelno_pot )].

Но, во-первых, формирование выборки методом "снежного кома" применяется в социологических и маркетинговых исследованиях тогда и только тогда, когда объектом исследования выступают труднодоступные, сравнительно немногочисленные, редкие, рассеянные в среде других представители специфических групп. А не вполне доступные, как правило, обычные избиратели.

Во-вторых, используется этот метод с целью получить в конечном итоге т. наз. основу выборки(2), в которой должно быть представлено, по возможности, преобладающее большинство этой численно относительно небольшой группы. Объект, который называется "одесский электорат", ну никак нельзя отнести к "численно небольшим" общностям.

По данным переписи 2001 г. в Одессе было примерно 824 тыс. мужчин и женщин, имеющих по возрасту избирательные права.

На выборах 2006 г. «кількість виборців, включених до списків виборців – 723 050 (сімсот двадцять три тисячі п’ятдесят)(3)».

Самое забавное заключается в следующем. На сайте компании "Мониторинг" цитируется источник, прямо указывающий на то, что метод "снежного кома" применяется совсем не в тех случаях, когда нужно получить репрезентативную выборку из больших социальных совокупностей:«Метод снежного кома – проведя интервью с респондентом, интервьюер просит у него контактные данные его друзей, коллег, знакомых, которые подходили бы под условия отбора и могли бы принять участие в исследовании. Таким образом, за исключением первого шага, выборка формируется с участием самих объектов исследования. Метод часто применяется, когда необходимо найти и опросить труднодоступные группы респондентов (например, респондентов с очень высоким доходом; респондентов, принадлежащих к одной узкой профессиональной группе или имеющих общее хобби)» [ http://www.monitoring.odessa.ua/slovar/slovar13.html#sl2 ].

Это, между прочим, буквальная цитата из статьи "Выборка" в Википедии(4), но без "закавычивания" и указания на источник(5), которая, в свою очередь, цитирует статью: Клевцова А. А. Понятие выборки. Основные характеристики выборки. Типы выборки // http://www.statanalyse.org/articles/11-sample].

Следует заметить, что в Интернете имеется серьезный, написанный профессиональными социологами и легко доступный источник – Энциклопедия социологии, в которой четко фиксируется специфика и объекта и цели метода "снежного кома"(6). Там же вполне определенно указывается, что полученная этим методом выборка лишь тогда может считаться репрезентативной, когда в нее входит основная масса (а это не менее 65–70%) всей исследуемой совокупности.

Приведу полностью две статьи из указанной энциклопедии. Полностью, – чтобы не было даже тени сомнения в адекватности цитирования.

Цитата №1. –«ВЫБОРКА МЕТОДОМ СНЕЖНОГО КОМА - частный случай выборки методом основного массива(7). Применяется к относительно небольшим генеральным совокупностям, специфика которых состоит в том, что, во-первых, их члены знают друг друга и, во-вторых, для них трудно получить репрезентативную основу выборки. Такими являются, например, генеральные совокупности коллекционеров, экспертов по узкой проблеме, представителей редких высококвалифицированных профессий и т.п. В.М.С.К. заключается в том, что каждого вновь найденного члена генеральной совокупности спрашивают, кого еще из ее членов он знает. Основа выборки в виде списка формируется "по цепочке". Процедуру можно считать законченной, когда новые фамилии перестают появляться. Полученную В.М.С.К. можно считать репрезентативной в том смысле, что в нее включены все более или менее известные представители генеральной совокупности» [см. Терещенко О.В. Выборка методом снежного кома // Социология: Энциклопедия / Сост. А.А. Грицанов, В.Л. Абушенко, Г.М. Евелькин, Г.Н. Соколова, О.В. Терещенко., 2003 г.( http://voluntary.ru/dictionary/568/word/vyborka-metodom-snezhnogo-koma )].

И цитата №2.

«ВЫБОРКА МЕТОДОМ ОСНОВНОГО МАССИВА - частный случай сплошного обследования относительно небольшой генеральной совокупности. Такая выборка представляет собой доступную для исследования часть генеральной совокупности при условии, что оставшаяся часть относительно не велика по объему и не отличается от обследованной части по критериям, важным с точки зрения целей исследования. Если это условие выполняется, выборка считается репрезентативной, хотя статистическими методами ее репрезентативность подтвердить нельзя» [см.: Терещенко О.В. Выборка методом основного массива // Социология: Энциклопедия / Сост. А.А. Грицанов, В.Л. Абушенко, Г.М. Евелькин, Г.Н. Соколова, О.В. Терещенко., 2003 г. ( http://voluntary.ru/dictionary/568/word/vyborka-metodom-osnovnogo-masiva )]

Что компания "Мониторинг" и в самом деле использует метод "снежного кома" в проекте "Электоральные предпочтения" (он же проект "Одесский Омнибус"), мы удостоверились лично. Одесса, как оказывается, и не в первый раз, город маленький… Вышло так, что в ходе сентябрьского опроса "Мониторинга" к одному из нас (сотрудников Центра "Пульс") обратилась хорошая знакомая нашего работника и, как оказалось, интервьюер "Мониторинга", с просьбой поучаствовать в роли респондента в опросе этой компании. Наш сотрудник согласился. Но взамен расспросил о правилах, которыми должен руководствоваться интервьюер "Мониторинга" при подборе респондентов. Т. е., по существу, – при формировании выборки.

Оказалось, что должны соблюдаться только два условия:

  • интервьюер должен выбирать респондентов из своих знакомых;
  • респондент должен жить в том районе, в котором интервьюеру задано провести опрос.

Никаких других требований к интервьюеру при подборе респондентов не предъявлялось.

Так что выборка "Мониторинга", как можно предположить, все-таки формируется не чисто по методу "снежного кома". Она, будем надеяться, все-таки репрезентативна хотя бы по одному показателю – по району проживания респондентов. Однако в каждом районе Одессы проживает так много самых различных по своим социальным характеристикам и электоральным предпочтениям людей… Кстати, почему избрали в качестве квотной только эту характеристику, а не какую либо другую – пол, возраст, уровень образования, например, – можно только гадать.

Поскольку в пределах каждого района интервьюеры "Мониторинга" подбирают опрашиваемых (как минимум первых) из круга своих знакомых, а те рекомендуют своих, примерно таких же по социальным параметрам, то в итоге, все-таки, у компании "Мониторинг" получается выборка, сформированная методом "снежного кома". Ведь это сумма районных подвыборок, которая неизбежно нерепрезентативна по двум основным причинам:

  • потому, и это главное, что она не представляет собой ни по объему, ни по своим характеристикам основной массив одесских избирателей (т. е. "квалифицированное большинство" нашего электората);
  • ну и в результате того, что эта выборка преимущественно состоит из респондентов, социально-демографические и психологические характеристики которых похожи на характеристики выбравших их интервьюеров, в отличие от того, что получается при вероятностном или квотном подборе опрашиваемых(8). Основная масса интервьюеров "Мониторинга" –  «…женщины старше 35 лет, приятной внешности, с хорошей речью и мышлением, с высшим образованием …» [см.: http://www.monitoring.odessa.ua/metod/interver.htmll ].

Что характерно,  в публикациях о результатах и первого, и второго вопросов не соблюдены два из четырех требований, предъявляемых украинским законодательством к публикациям предвыборных рейтингов. Конкретно – о том, что организация, проводившая опрос должна указать в своем пресс-релизе, а СМИ привести в публикации:

  • точную формулировку вопросов, которые предъявлялись респондентам;
  • статистическую оценку возможной погрешности (9).

Только во втором пресс-релизе без всякой аргументации цифрами и фактами сообщается, что «структура выборки репрезентирует электорат Одессы».  По каким параметрам? Пока что компания "Мониторинг" не предъявила никаких  сведений, которые дали бы возможность доверять приведенному выше утверждению.

Напротив. Все заставляет считать, что данные, полученные компанией "Мониторинг" в результате опросов выборок респондентов, сформированных по методу "снежного кома" нерепрезентативны. – И явно небольшой опыт социологических исследований у компании, и отсутствие сведений о профессиональной квалификации руководящих сотрудников этой фирмы (особенно в сфере социологических исследований). Но, прежде всего, – что они избрали совершенно неподходящий метод формирования выборки для массовых опросов.

По каким вопросам и в какую сторону "скошены" данные такой выборки предсказать не может никто. Её погрешность, равно как и ошибка стихийной выборки может быть (и бывает, как мы покажем ниже) непредсказуемо велика – и 10 и 20 и 30 и 40 процентов. Показатели нерепрезентативной и репрезентативной выборки из одного и того же объекта исследования (например – одесского электората) совпадают очень редко.

Как указывает в наиболее авторитетном учебнике по методологии и методике социологических исследований В. А. Ядов, такие погрешности недопустимы в прикладных исследованиях:

«Если перед нами стоит задача выполнить дескриптивное обследование большой общественной значимости, в итоге которого должны быть сделаны заключения относительно генеральной совокупности в целом, следует, конечно, максимально реализовать все требования репрезентативной выборочной процедуры. Затраченные усилия будут не только оправданны, они просто необходимы, так как ошибки в выводах такого исследования недопустимы. Здесь ложная информация опаснее ее отсутствия (достаточно сослаться на ошибки прогнозов исхода выборов вследствие ошибок выборки опросов элек­тората или ошибки в исследованиях рынка)»(10).

Поэтому к заверениям о репрезентативности данных об электоральных предпочтениях, полученных в ходе реализации проекта "Электоральные предпочтения" (="Одесский Омнибус"), пока что следует относиться с большой осторожностью.

Точно так же следует подходить и к данным, полученным на базе стихийной выборки. Никто не может сказать – как именно и насколько нерепрезентативны данные любой стихийной выборки – в интерактивных опросах на телевидении, прессовые опросы, опросы в Интернете, опросы "первого встречного на улице", так популярные у тележурналистов.

Сразу оговоримся. Использование стихийных выборок вполне оправдано в разведывательных исследованиях. Они проводятся социологами, чтобы выявить – какие проблемы имеются у той или иной социальной общности, какие точки зрения существуют в общественном мнении. Без измерения степени масштабности проблем или меры распространенности разных точек зрения. В этих исследованиях вполне допустима пониженная надежность получаемых данных, при которой погрешность выборки может достигать 40% и даже более(11). Однако говорить в таких случаях о репрезентативности выборки можно лишь с непомерно большой натяжкой, оскорбляющей здравый смысл.

Все без исключения специалисты, занимающиеся проблемами формирования выборки, единогласно свидетельствуют: для стихийных выборок невозможно определить, какую генеральную совокупность (т. е. какой именно объект) они представляют. При этом достаточно часто допускаются неконтролируемые систематические ошибки. Причины известны. Стихийная выборка формируется самими опрашиваемыми. Именно они решают – соглашаться или не соглашаться участвовать в опросе. В стихийную выборку, как правило, попадают люди, наиболее заинтересованные в теме исследования, при этом имеющие время ответить на предлагаемые вопросы.

Все эти обстоятельства предопределяют нерепрезентативность выборки, а также невозможность априори оценить степень и характер этой нерепрезентативности(12).

А между тем в Одессе сравнительно недавно стали широко практиковаться опросы, выборки для которых формируются стихийно. Речь идет о еженедельных блиц- и экспресс-опросах на улицах и площадях нашего города, организуемых Одесским филиалом Института им. Горшенина.

К чести профессиональных социологов, работающих как в этом филиале, так и в столичном департаменте исследований, они ни в одной из известных мне 24-х публикаций по результатам блиц опросов благоразумно не говорят о репрезентативности данных. И, естественно, не указывают величину погрешности своей стихийной выборки(13).

И это правильно, поскольку при такой выборке её репрезентативность принципиально невозможно обеспечить с помощью каких-либо процедур в ходе исследования.

Определить степень репрезентативности или нерепрезентативности стихийной выборки можно лишь путем сравнения с данными безусловно репрезентативного опроса. При условии, что последний шел практически одновременно с нерепрезентативным, по одним и тем же анкетным вопросам.

Правильным представляется и то, что зачастую сотрудники Института Горшенина используют данные своих экспресс-опросов абсолютно соответственно их специфике – как разведывательных исследований. Т. е. как материал, сырье для размышлений, оценок, аргументации экспертов, участвующих в их пресс-конференциях и презентациях. Они дают информацию для выработки или уточнения какой-то позиции, определенных управленческих решений, конкретные доводы для обоснования каких-либо точек зрения либо для их опровержения.

Но социологи Института им. Горшенина при этом дают распределения ответов на вопросы с точностью до десятых процента! А это нецелесообразно по ряду причин.

Главная из них следующая. У публики, работников СМИ, и наконец, у сотрудников органов местного самоуправления может создаться впечатление, что полученная информация очень точно (до тысячных долей) отражает распределение точек зрения в общественном мнении. Но ведь дело обстоит совершенно иным образом!

Мне кажется, что нашим коллегам из Института им. Горшенина (и не только одесским) стоило бы впредь делать следующее.

Первое. Представляя в пресс-релизах результаты даже больших и репрезентативных опросов, округлять числа в распределениях до целых. Помимо изложенных выше соображений, не стоит забывать, что заявленная возможная погрешность их репрезентативных выборок заведомо больше ±1%.

Второе. Каким-то образом оговаривать в соответствующих публикациях разведочный характер блиц-опросов, приблизительность приводимых показателей. Это необходимо, если эти опросы проводятся на основе стихийных выборок.

Подчеркнем сразу, что и зарубежная, и отечественная прикладная социология выработала и успешно применяет на практике эффективные методики формирования репрезентативных выборок для опросов на улицах. А также адекватные, специфические техники и процедуры работы с респондентами в таких опросах.

Что существование эффективных технологий репрезентативных опросов не выдумка, можно судить хотя бы по результатам т. наз. экзит-поллов(14). Конечно, не заказных, фальсифицируемых, используемых для манипуляции избирателями.

О том же свидетельствует, в частности, опыт Центра "Пульс": при грамотной организации (по специальной технологии) и добросовестном проведении опроса на улицах разница между его результатами и показателями репрезентативного опроса по месту жительства или по телефону (проведенного практически в то же время по аналогичным вопросам) находится в пределах допустимой погрешности. При этом фактическая погрешность в таких опросах на улицах не превышает теоретически возможной (при заданном объеме выборки).

Разумеется, речь идет здесь не только о квотных характеристиках. Но и о тех контрольных параметрах, которые не задаются квотами, но могут быть проконтролированы.

Вернемся к проблемам стихийных нерепрезентативных выборок. Можно их назвать и по-другому – репрезентативными в недостаточной для прикладных исследований степени.

У центра "Пульс" есть эмпирические доказательства, что погрешность стихийных выборок(15) достигает десятков процентов даже в случае:

  • очень больших выборок – в тысячи респондентов;
  • расчета  распределений по "перевзвешенной" (в соответствии с  социально-демографическими и социально-профессиональными параметрами генеральной совокупности) выборке.


Приведем эти доказательства.

Сначала немного истории социологических исследований в Одессе.

Примерно за две недели до референдума по вопросу о сохранении СССР (он состоялся 17 марта 1991 г.), чтобы узнать, что думают наши земляки о будущем Союза и Украины, каковы их мнения по этим проблемам, социологи Центра "Пульс" организовали два опроса.

4–6 марта 1991 г. мы провели выборочный репрезентативный экспресс-опрос по месту жительства (раздаточный анкетный опрос в технике “лицом-к-лицу”). Было опрошено 993 избирателя Одесской области. Фактическая средняя погрешность по тем контрольным характеристикам, которые в наибольшей степени влияли на распределение ответов респондентов на вопросы анкеты (место жительства и возраст) не превышала ±3%.

Одновременно был начат прессовый опрос.

4 марта в "Вечерней Одессе" и 6 марта в "Знамени коммунизма" (тогда это была очень популярная областная газета) была опубликована анкета, совершенно идентичная той, которая использовалась в опросе по месту жительства. На её вопросы ответили более 4600 читателей "Вечерки" и почти 1000 читателей "Знамени коммунизма".

Анкеты заполнялись и индивидуально, и целыми семьями, и коллективами бригад, отделов, кооперативов. Многие дополнили и объяснили свои ответы в записках на полях газеты и в письмах, присланных с анкетами. Такие письма и заметки исчислялись сотнями(16).

К нам в "Пульс" эти письма с вложенными в них анкетами приносили мешками ежедневно на протяжении трех недель. Мы, сменяя друг друга, переносили информацию из анкет как опроса по месту жительства, так и прессового опроса в соответствующие массивы данных на ПЭВМ "Правец". Был тогда у нас такой персональный компьютер коллективного пользования, со смешными по сегодняшним меркам скоростью работы процессора (в тысячу раз меньше, чем у нынешних "камней"), жестким диском (21 Мb) и оперативной памятью (512 Kb). Информация отображалась на мониторе яркозелеными буквами и цифрами на черном фоне.

В результате были сформированы два массива данных. Оба сохранились в архиве "Пульса". Один по результатам репрезентативного опроса по месту жительства. Другой – это информация, перенесенная из анкет прессового опроса по стихийной выборке. Сейчас у меня под рукой нет точных цифр, но тогда суммарная численность подписчиков и читателей газет "Вечерняя Одесса" и "Знамя коммунизма" (ныне это "Юг") выражалась шестизначными числами. Анкеты заполнили и прислали нам немногим более 5,5 тыс. читателей, т. е. порядка 1-2 процентов от общей численности.

Сравнение распределения ответов на одни и те же вопросы в первом и втором опросе показало, что по всем без исключения параметрам стихийная выборка в прессовом опросе нерепрезентативна. Что, собственно, и следовало ожидать.

Среди респондентов этого опроса было непомерно много:

  • мужчин (67%, тогда как среди взрослого населения области их было 46%);
  • людей с высшим (52%) или средним специальным (24%) образованием;
  • пенсионеров (46%);
  • одесситов (81%);
  • русских (36%).

Сравнение мнений и ориентаций участников газетного опроса, с одной стороны, и областного электората в целом, с другой - показало, что читатели "Вечерней Одессы" и "Знамени коммунизма", заполнившие и отославшие анкеты, принадлежали к той части населения области, для которой была характерна:

  • наибольшая заинтересованность в будущем устройстве нашего государства;
  • больший критицизм и радикализм мнений об обществе, в котором мы жили;
  • было значительно больше ориентированных на участие в референдуме, чем в основной массе избирателей;
  • заметно меньше ответивших "да" на вопросы анкеты о необходимости сохранения Союза ССР и о вхождении Украины в Союз;
  • и существенно больше ориентированных на автономию или независимость Украины, её выход из Союза ССР.

Таким образом, и по объективным, и по субъективным характеристикам респондентов стихийная выборка оказалась нерепрезентативна.

Что важно, она не стала репрезентативной и после того, как ее подвергли процедуре т. наз. "взвешивания"(17).

Причем взвешивания по тем социально-демографическим характеристикам, которые в наибольшей степени влияли на политические ориентации взрослого населения области. А именно – по месту жительства (Одесса…райцентр…село) и возрасту респондентов. Небезинтересно то обстоятельство, что национальность (сама по себе) тогда влияла на политические ориентации избирателей Одесщины гораздо слабее.

Величина фактической погрешности стихийной выборки после взвешивания по разным вопросам колеблется от 11% до 39%. Причем самым непредсказуемым образом (см. далее табл. 1–6).

Не помогли стихийной выборке стать репрезентативной ни закон больших чисел (её объем), ни взвешивание…

Подчеркнем, что для демонстрации нерепрезентативности стихийной выборки я отобрал ключевые вопросы Анкеты 91.1.

И последнее – о журналистской отсебятине. Я вынужден заметить, в связи с затрагиваемой проблемой, что хорошо бы работникам СМИ соблюдать не только нормы законодательства касательно правил публикации результатов предвыборных опросов (см. начало данного текста).

Было бы, кроме того, правильным, соответствующим нормам профессиональной этики журналистов, чтобы последние аккуратнее обращались с той информацией, которую им дают социологи. Не работали по принципу "ради красного словца…". Да и согласовывали окончательный вариант текста с интервьюируемым.

К сожалению, бывает и так, что в передаче журналистов такая информация меняется, притом кардинально. А то и появляется нечто, мягко говоря, домысленное журналистом или, может быть и такое, редактором его текста. Либо диктором, озвучивающим его. В таких случаях социологи имеют полное право и, пожалуй, обязанность, попробовать отреагировать на ситуацию, попытаться как-то её подкорректировать.

Недавно произошел со мной как раз такой случай, когда приходится махать кулаками после драки. Обратился ко мне некий журналист из одной одесской телекомпании. Попросил, чтобы я откомментировал появившуюся в некоторых местных газетах и на местных сайтах информацию по результатам сентябрьского опроса компании "Мониторинг". Мне его, кстати, охарактеризовала моя хорошая знакомая как вполне вменяемого журналиста.

Поскольку я к тому времени уже вовсю погрузился в проблемы, касающиеся нерепрезентативных выборок, рыскал в Интернете, безуспешно разыскивая в нём следы деятельности указанной фирмы до 2009 г., перепроверял ещё раз (пересчитывал заново) свои старинные расчеты погрешности стихийной выборки, и начал писать тот материал, который сейчас перед вами, то я был, что называется, "в материале".

В общем, дал я этому журналисту интервью по телефону, поделившись с ним многим из того, что я выяснил о фирме "Мониторинг" и её опросах. Моё мнение о ней подробно изложено выше. В своих вопросах, репликах, он действительно был вменяемым, интеллигентным журналистом.

А потом на двух сайтах и в одной Интернет-газете появилось изложение интервью. Кое-что было сформулировано по содержанию адекватно. Кое-что – не вполне точно передавало то, что я говорил на самом деле. И были фразы, умозаключения, которые в моем интервью не было и быть просто не могло. Чистой воды "художественный" домысел.

Да и тон, стиль публикации был тот ещё…

Прочитавшие этот материал уже знают, что отклонения показателей стихийных выборок от их значений в репрезентативной выборке могут быть и в сторону увеличения, и в сторону уменьшения. Используя это обстоятельство, и учитывая, что данные об электоральных рейтингах местных политиков в наших последних опросах по требованию заказчиков не должны предаваться огласке, я в интервью педантично уходил от любой конкретики в ответах на вопросы типа «какой по вашим данным рейтинг кандидата Х, У, Z? ». Либо на вопросы «а кто, по-вашему, самый популярный?». Или «а насколько, на самом деле, ниже рейтинг такого-то кандидата?».

На такого рода вопросы были даны ответы следующего содержания. – Наши данные заметно отличаются от данных "Мониторинга". "Заметно" – это не синоним слова "намного" или "мало". Это означает, что в рядах рейтингов, опубликованных компанией "Мониторинг", с одной стороны, и полученных нами, с другой, есть различия, величина которых превышает погрешность выборки. Указать, насколько они велики, и в какую сторону – в плюс или в минус, я не соглашался.

Так что заявляю, что являются журналистской (редакторской?) отсебятиной следующие фразы в тех публикациях:«Так он взял, и первое место Гончаренко под сомнение поставил»;

«…результат Гончаренко кардинально отличается от того результата, который сейчас представила компания "Мониторинг", […] разница чрезвычайно значительна».

Короче – я зарекся на будущее давать интервью этой телекомпании…

 

ПРИЛОЖЕНИЕ

 

 


[вернуться к основному тексту]

Зам. директора, в. н. с. Центра «Пульс» М. Кунявский

____________________

1 Они, кстати, идентичны во всех трех Законах о выборах. См. ст. 53, п. 6 Закона Украины “О выборах депутатов Верховного Совета АвтономнойРеспублики Крым, местных советов и сельских, поселковых, городских голов”; ст. 68, п. 10 Закона Украины “О выборах народных депутатов Украины” и ст. 60, п.7 Закона Украины “О выборах Президента Украины”.

2 Т. е. список, перечень всех (или преобладающего большинства) элементов исследуемого объекта.

3 "ПРОТОКОЛ о результатах голосования по выборам Одесского городского головы  /от 29 марта 2006г./, размещенный на официальном сайте города Одессы 29.03.2006 в 14:19:53 ( http://www.odessa.ua/news/1225/ ).

Любопытно, кстати, было бы организовать очную ставку представителей Одесского областного управления статистики, с одной стороны, и нашего горизбиркома, с другой. Чтобы выяснить – чья цифра правильная, а какая ложная. Или обе правильные? А может обе неверные? Но эта тема – о "лукавых цифрах" заслуживает отдельного рассмотрения.

4 Что говорит, если очень мягко сформулировать, о несерьезном подходе к заполнению сайта контентом.

5 А это – об уровне профессиональной этики.

6 См. также, напр.:

  • Малхорта, Нэреш К. Маркетинговые исследования. Практическое руководство, 3-е издание.: Пер. с англ. — М.: Издательский дом "Вильямc", 2002. — С. 422;
  • Верецкая А. И. Выборочный метод в социологических исследованиях: Методические указания для студентов всех форм обучения, изучающих общий курс "Социология". - Воронеж: Изд-во ВГУ, 2002. - С. 9;
  • http://quans.ru/research/control/type-snow.

7 Здесь и далее, если иное особо не оговорено, подчеркивание в цитатах сделано мною. – М. Кунявский.

8 Малхорта, Нэреш К. Маркетинговые исследования. Практическое руководство, 3-е издание.: Пер. с англ. — М.: Издательский дом "Вильямc", 2002. — С. 422.

9 Замечу, что крайне желательно приводить в публикации о результатах опросов информацию не о теоретически возможной, а о фактической погрешности. Последняя может быть и меньше, и больше возможной ошибки выборки, зависящей только от объема выборки и характера распределения ответов на тот или иной вопрос.

10 Ядов В. А. Стратегия социологического исследования (гл.ІІ, §7). – М.: "Добросвет", 1998.– С. 121.

11 Ядов В. А. Стратегия социологического исследования (гл.ІІ, §§6, 7). – М.: "Добросвет", 1998.– С. 114.

12 Рабочая книга социолога (Гл.6, §6). – М.: Изд-во "Наука", 1983. – С. 229.

Батыгин Г. С. Лекции по методологии социологических исследований (Гл.5, §4).– М.: АспектПресс, 1995.– С. 171.

Луковицкая Е.Г. Социология журналистики: Рабочая программа дисциплины, методические указания и рекомендации по самостоятельной работе. - Великий Новгород: НовГУ им. Ярослава Мудрого, 2006. - C. 21 (http://window.edu.ru/window_catalog/redir?id=48155&file=novsu194.pdf).

13 Так же, как никогда не указывают величину фактической погрешности своих выборок по месту жительства. Только теоретически возможную.

14 С 1967 г., когда был проведен в США первый экзит-полл, оперативные опросы "на выходе" из избирательных участков сотни раз доказали, что опрос на улице по специально разработанной технологии может дать вполне надежную, достоверную и достаточно точную информацию. С 1993 г. они столь же удачно, как правило, проводятся в России и других постсоветских государствах.

15 Т. е. отклонение выборочных распределений в стихийной выборке от распределений в абсолютно репрезентативных выборках (с нулевой погрешностью) по одним и тем же вопросам, в исследованиях, проведенных в один и тот же период времени, в одной и той же генеральной совокупности.

16 К сожалению, почти все они пропали, когда "Пульс" в середине 1990-х скоропостижно выселяли из аудитории, которую он занимал до этого в аудиторном корпусе госуниверситета на Французском бульваре. Сохранилась лишь небольшая их часть.

17 Взвешивание выборки - математическая процедура, предназначенная для восстановления нарушенных пропорций в составе выборочной совокупности по сравнению с генеральной совокупностью. Взвешивание чаще всего производится по основным социально-демографическим показателям, таким как пол, возраст, образование, национальность и т. п. [см.: Терещенко О.В. Выборки взвешивание// Социология: Энциклопедия / Сост. А.А. Грицанов, В.Л. Абушенко, Г.М. Евелькин, Г.Н. Соколова, О.В. Терещенко., 2003 г. ( http://voluntary.ru/dictionary/568/word/vyborki-vzveshivanie )].