Поиск по сайту

В материалы нашего сайта не вошла информация, являющаяся конфиденциальной и не подлежащая разглашению по договоренности с заказчиками.

При цитировании, изложении материалов сайта центра "Пульс" на других сайтах просим ссылаться на источник   ( http://puls.od.ua ).

При использовании материалов в печатных СМИ просим указывать Социологический информационно-исследовательский центр "Пульс" как источник информации.

Не верь глазам своим

“Если на клетке слона прочтешь надпись "буйвол", не верь глазам своим”

Козьма Прутков. Плоды раздумья.Мысли и афоризмы

Прутков К. Сочинения. – М.: Правда, 1986. – С. 104.

 

Знаете, когда я писал предыдущую публикацию, у меня была надежда, что сотрудники Одесского филиала Института им. Горшенина, организующие проведение экспресс-опросов на улицах Одессы, хоть как-то отреагируют на деликатную критику в их адрес (см. "Тщательней надо, ребята.") на нашем сайте(1). Мы предлагали тогда нашим коллегам из Института им. Горшенина (и не только одесским):

  • каким-то образом оговаривать в соответствующих публикациях разведочный характер блиц-опросов, приблизительность приводимых показателей. Это необходимо, если эти опросы проводятся на основе стихийных выборок, погрешность которых  может самым непредсказуемым образом колебаться (по разным показателям от 0% до 40%);
  • представляя в пресс-релизах результаты даже больших и репрезентативных опросов, округлять числа в распределениях до целых. – Если же приводить данные с точностью до десятых процента (как это делалось и делается, к сожалению, по сей день), то это создает ложное  впечатление, что полученная информация очень точно (до тысячных долей) отражает распределение точек зрения в общественном мнении (это попросту невозможно в выборочных опросах, где погрешность составляет не менее 1-2%).

Прошло два месяца. Ни технология проведения блиц-опросов Институтом Горшенина, ни формат публикации результатов этих опросов не изменились ...

Мы понимаем, что  проведение опросов – не главное направление деятельности филиала. Что его основная цель в Одессе – завоевание нового рынка для информационного, консультационного и политтехнологического, а не социологического бизнеса Института Горшенина. По-видимому, для последнего отведена вспомогательная, служебная роль.

Можно было предположить, судя по тому, как использовались данные этих опросов, а также телефонных опросов, проводимых Институтом, что они предназначены:

  • служить исходным материалом для последующего обсуждения, своеобразной "печкой", от которой "танцуют" местные (и не только) эксперты по тем или иным проблемам, которые затрагиваются в этих опросах;
  • для политтехнологического воздействия(2) на общественное мнение – путем завоевания доверия и авторитета у наших земляков,  популяризируя как сами результаты опросов, так и комментарии экспертов по их поводу; причем не столько на сайте собственного информагентства "Мост-Одесса", сколько используя местные СМИ и Интернет-ресурсы (аудитория последних гораздо больше, чем посетителей этого сайта);
  • и, пожалуй, если получится – завоевания местного рынка социологических услуг.

В принципе, следовало бы только приветствовать укоренение в нашем городе фирмы, которая в состоянии проводить по три блиц-опроса за две недели по самым разнообразным, но, как правило, злободневным для наших земляков вопросам. Пусть по сравнительно небольшой выборке и по весьма ограниченному каждый раз  кругу вопросов (на улице много вопросов не задашь).

Но! Когда эта фирма с постоянством, достойным лучшего применения, пренебрегает общепринятыми и общепризнанными среди профессионалов стандартами проведения опросов общественного мнения и, напротив, приучает украинскую публику (в частности, одесскую) к  своим  "стандартам"  и называет то, что у нее получается, "социсследованиями", тогда  "сама себя раба бьёт, коли не чисто жнёт" (С) В. И. Даль. Пословицы и поговорки русского народа.

Не обессудьте, но приходится опять писать о том, как делается подавляющее большинство опросов  в Институте Горшенина и как его сотрудниками интерпретируются и публикуются их результаты. Все, что далее пишется, не относится к тем немногим презентативным опросам по месту жительства, которые осуществила эта фирма.

Прежде всего следует подчеркнуть следующий тезис. Сохраняют свою силу все аргументы и факты, уже приводившиеся в указанной выше публикации, которые доказывают,  что опросы на базе стихийной выборки дают результаты (социальные показатели), которые могут самым непредсказуемым образом отклоняться от истинных (репрезентативных).

Если я не ошибаюсь, 43 из 44 опросов Института Горшенина в Одессе проведены на стихийной выборке. Ни в одной из известных мне публикаций по результатам блиц-опросов сотрудники социологического департамента Одесского филиала Института благоразумно не говорят о репрезентативности данных этих опросов. И, естественно, не указывают величину погрешности своей стихийной выборки.

Как это согласовать с заявлением социологического департамента Института (см. http://kipu.com.ua/dep04.html): Все опросы, проводимые Институтом, подлежат обязательной процедуре контроля качества выборки”?

О недостаточной надёжности информации, получаемой в блиц-опросах Одесского филиала Института  можно судить по следующему примеру. Это октябрьский опрос, посвященный предвыборным настроениям и ожиданиям одесситов. Он представитель тех немногих опросов, данные которых можно сопоставить с фактическими данными об электоральных предпочтениях одесситов, а также с результатами репрезентативных исследований, проведенных примерно в то же время:

  • в Одессе;
  • на Юге Украины.

Цитируем (см. http://most-odessa.info/news/sociology/1166.html).

Сначала весьма неосторожный в силу своей безапеляционности заголовок пресс-релиза о результатах опроса, как оказалось, отражающий политические ориентации  одесситов с точностью до наоборот: “Большинство одесситов не будут голосовать за того же кандидата, за которого отдали голоса на прошлых выборах Президента Украины" - опрос”.

Затем шло стандартное описание стандартной же технологии очередного блиц-опроса. “11 октября 2009 года Одесский филиал Института Горшенина провел экспресс-опрос на тему "Выборы Президента: мнение избирателей Одессы". Опрос проводился в местах массового скопления людей. Всего, согласно стихийной выборке (квотировался возраст), было опрошено 600 жителей Одессы в возрасте от 18 лет”.

Главный вопрос этого экспресс-опроса, что важно, был задан сразу же после вопроса "Выполнила ли политическая сила, представленная кандидатом в Президенты, за которого Вы голосовали на прошлых выборах, свои предвыборные обещания?", на который большинство (61%) ответило, как и следовало ожидать, "не выполнило".

Вот как звучал ключевой вопрос: "Готовы ли Вы еще раз доверить свой голос этому же кандидату?". Ответы респондентов распределились следующим образом.

  • Нет, я готов голосовать за другого кандидата (51%)
  • Нет, я готов голосовать против всех (19%)
  • Да, я готов еще раз проголосовать за того же кандидата (17%)
  • Затрудняюсь ответить (13%).

Как видим, здесь имеет место недопустимый в нормальном социологическом или маркетинговом исследовании прием, – использование так наз. формирующего вопроса, т. е. вопроса, который настраивает на строго определенные последующие ответы. Невольно это получилось у сотрудников Института или нет – гадать не будем.

Но дело не только в этом. Общеизвестно, что на предыдущих выборах большинство одесских избирателей (51%) проголосовали за В. Януковича.

Так что центральный вопрос исследования для большинства опрошенных по существу означал, настроены они или нет голосовать за этого кандидата на выборах-2010. И заголовок, подытоживающий ответы респондентов, отвечал – нет, большинство одесситов не думает голосовать за лидера Партии регионов, не выполнившей свои предвыборные обещания.

Как на самом деле голосовал одесский электорат в І туре выборов? И как он, скорее всего, будет голосовать во ІІ туре? С точностью до наоборот тому, что показал описываемый опрос.

А теперь напомним данные репрезентативного опроса одесских избирателей, который был проведен  незадолго (примерно за полмесяца) до опроса Института Горшенина (см. Политическая ситуация в Одессе: сентябрь 2009 г.). По величине выборки оба опроса были практически одинаковыми.

Эти данные свидетельствовали прежде всего о том, что относительное большинство одесского электората (40-45%) предпочитало избрать на пост Президента Украины В. Януковича (см. на указанной выше странице нашего сайта табл. 2 и рис. 1).

Кроме того, если мы сравним рейтинговые показатели в материалах тогдашнего нашего опроса с известными ныне результатами І тура выборов, то увидим, что за три с половиной месяца (с конца сентября 2009 г. по середину января 2010 г.) как лидер симпатий наших земляков, так и его основная конкурентка – Ю. Тимошенко, не смогли сколько-нибудь существенно увеличить количество своих сторонников. Как это удалось сделать С. Тигипко.

Для полноты картины посмотрим ещё и данные опроса, проведенного c 20 сентября по 1 октября 2009 г. компанией Socis. Сравнение данных, полученных в сентябрьском 2009 г. опросе избирателей нашей области, проведенном "Пульсом" с данными, полученными компанией Socis показывает, что рейтинг В. Януковича в Одесской области был несколько выше, а его основных конкурентов (Ю. Тимошенко и А. Яценюка), соответственно, ниже, чем в большинстве других областей, входящих в макрорегион Восток-1 (см.: http://www.socis.kiev.ua/struct_file.php?id=10). В этот макрорегион входят Харьковская, Запорожская, Днепропетровская, Херсонская, Николаевская и Одесская области.

В этом макрорегионе (в целом) в конце сентября соотношение голосов за В. Януковича, Ю. Тимошенко и А. Яценюка было, соответственно,  38% : 12% : 8%. Мы видим, что электоральные рейтинги в макрорегионе немногим отличались от показателей популярности этих политиков в  Одессе и Одесской области, но кардинально расходились c выводами экспертов Института Горшенина из данных их октябрьского опроса.

Предоставляем читателю самим рассудить, – стоит ли доверять опросам, которые пытаются выяснить электоральные предпочтения во-первых, на базе  стихийной выборки и, во-вторых, с помощью таких уж чересчур косвенных, плюс ещё и наводящих вопросов, в которых принимается во внимание  только небольшая часть клубка мотивов электорального поведения украинского избирателя.

Я полагаю, что мои бывшие студенты тут же вспомнят одну из поговорок из арсенала программистов, которую я нередко цитировал на своих лекциях: "мусор на входе – мусор на выходе". Небрежность при разработке программы исследования, неудачный выбор и реализация стратегии формирования выборки, не слишком продуманная анкета, "свободная" интерпретация полученных данных неизбежно отомстят исследователю.

Не так давно одесские сотрудники Института собственноручно продемонстрировали на практике недостаточную репрезентативность проведенного ими уличного опроса.  Речь об экзит-полле, проведенном ими 17 января в Одессе. В связи с этим мероприятием необходимо отметить два важных обстоятельства.

Скорее всего это была импровизация. Ведь не было, насколько я знаю, анонса самого экзит-полла (если я ошибаюсь, то укажите, пожалуйста, где и когда этот анонс был опубликован). Был анонс оглашения результатов экзит-полла (см. http://most-odessa.info/press-centre/announcements/3210.html ).

Совершенно отсутствует информация о технологии, использованной при проведении экзит-полла социологическим департаментом Одесского филиала Института Горшенина (далее СДОФИГ):

  • о выборке, ее объеме (на скольких участках проводился опрос, с какого по какое время, какова технология отбора респондентов, сколько их всего опрошено), величине погрешности и т. д. и т. п.;
  • перечень вопросов, которые задавали респондентам и т. д.;
  • техника опроса (личное интервью, ... secret ballot ...).

Всего при публикации результатов экзит-полла  (см. http://most-odessa.info/news/politics/3244.html ) были нарушены четыре из шести требований Закона Украины “О выборах Президента Украины” (ст. 60, п.7). Процитируем соответствующую норму закона (в переводе на русский язык). “Средства массовой информации в случае публикации результатов опроса общественного мнения, связанного с выборами Президента Украины, обязаны указать организацию, которая проводила опрос, время его проведения, количество опрошенных, метод сбора информации, точную формулировку вопроса, статистическую оценку возможной погрешности

Отклонение данных экзит-полла СДОФИГ от официальных итогов І тура выборов-2010 в нашем городе по тройке наиболее популярных в Одессе кандидатов составило:

  • по кандидатуре В. Януковича  = 54,1% - 44,0% = 10,1% (даже если бы объем выборки был обычного для экспресс-опросов СДОФИГ размера, т. е. всего 600 респондентов, то допустимая возможная погрешность не должна была превышать 4% при распределении ответов примерно 45% на 55%)(3);
  • Ю. Тимошенко = 7,9% - 9,4% = 1,5%;
  • С. Тигипко = 27,9% - 31,1% = 3,2%.

Необходимо оговорить следующее. Мы не склонны считать истиной в последней инстанции заявление глубоко уважаемого нами известного украинского социолога, заместителя директора Института социологии НАН Украины Евгения Головахи, сделанное им в полемическом задоре,  что экзит-полл – это телешоу, а не эталон и не барометр.

Да, конечно, это телешоу – для телекомпаний, заказывающих экзит-полл тем или иным авторитетным фирмам, специалистам в области социологических или маркетинговых исследований.

Но в то же время это и "момент истины", своеобразный экзамен для организующих и проводящих это исследование фирм, специализирующихся на опросах общественного мнения. Экзамен, который позволяет оценить качество их работы, определив, – как точно они на самом деле замеряют общественное мнение и отражают характер и градус общественных настроений. Это становится возможным только потому, что экзит-полл, т. е. опрос избирателей сразу после выхода их из избирательного участка, – это моментальный фактологический срез электоральных предпочтений.  Он во первых, прост для респондента (маленькая анкета, простые фактологические вопросы, не требуется никакого напряжения памяти или аналитических способностей и т. д.).  Во-вторых,  от момента голосования до момента опроса избирателя его электоральные предпочтения измениться просто не успевают. Они фиксируются, что называется "с пылу, с жару".

Поэтому при тщательно продуманной, детально спланированной, грамотно организованной и хорошо проконтролированной, слаженной работе больших коллективов исследователей (от главы исследовательской компании до интервьюера или анкетера) в подавляющем большинстве случаев, в зависимости от наличия либо отсутствия внешних помех, опытным в деле опросов профессиональным коллективам удается добиться, что погрешность опроса не превышает 1-3%.

Конечно, мы должны согласиться с заявлением Е. Головахи, что "...экзит-полл не застрахован от любых ошибок. Даже бренд или репутация фирмы не может автоматически подтверждать качество работы. Потому что всегда остается вероятность ошибки. Для ученых это всего лишь элемент научной практики” (см. Головаха: Экзит-полл - это телешоу, а не барометр // Зеркало недели.–  2010. – 23-29 января [ http://www.zn.ua/1000/1550/68333/ ]).

Да, ошибки в результатах экзит-поллов, проведенных даже самыми опытными поллстерами бывают.  Но этих ошибок у профессиональных социологов единицы. А успешных экзит-поллов (в том числе несколько проведенных нами в Одессе) сотни. Иными словами, при грамотной, профессионально организованной и проведенной работе качественный, успешный экзит-полл, с приемлемой погрешностью, – это правило. А неудачный – редкое исключение.

Теперь о телефонных опросах, организуемых Call-центром Института  Горшенина.

Этот тип опроса использован в 27 из 28 опросов всеукраинского масштаба, проведенных Институтом в 2009 г. Проводились они по стандартной методике. –  В каждом опросе “... согласно случайной выборке опрошено 1000 респондентов в возрасте от 18 лет, во всех областных центрах Украины, городах Киеве и Севастополе. Квотами были регион проживания, пол и возраст респондентов. Погрешность репрезентативности исследования не превышала +/-3,2%”. Заметим, что в соответствующих пресс-релизах всегда указывается теоретически возможная погрешность, а не ее фактическая величина. Та же технология используется и в 2010 году. См., напр., пресс-релиз последнего к моменту написания данного материала опроса ( http://most-odessa.info/news/sociology/3554.html ).

Из описания выборочной совокупности совершенно очевидно, что объектом исследования во всех этих опросах (генеральной совокупностью) является население областных центров плюс население  Киева и Севастополя.

Но если это так, то при изложении данных, полученных в подобного рода опросах,  чтобы не вводить в заблуждение публику(4), следует чётко и точно идентифицировать объект. Это требование систематически не соблюдается экспертами Института, когда они резюмируют главные выводы опросов в заголовках  пресс-релизов. В этих заголовках всегда идет речь об украинцах, украинских избирателях вообще. Но никогда ни в заголовках, ни в тексте (за исключением  преамбулы к нему – см. ссылки на все такие исследования на http://kipu.com.ua/Sotsyolog_research_call_main.html а также на http://most-odessa.info/news/sociology.htm) не упоминается о том, что на самом деле объект исследования гораздо уже. За его скобки вынесено население всех, в том числе сельских, населенных пунктов, кроме тех 27-ми, в которых проводится опрос.

Между тем данные наших репрезентативных исследований в Одесской области с 1991 г. по настоящее время свидетельствуют о том, что социально-экономические и политические ориентации, интересы, ценности, проблемы избирателей заметно разнятся в зависимости от того, где они живут – в областном центре, райцентрах или в селах. Тип поселения является одной из переменных, оказывающих наиболее сильное влияние на основные социальные показатели, фиксируемые нашими исследованиями.

Заметим, что другие социологические компании, проводящие всеукраинского масштаба опросы в ограниченном контингенте респондентов при публикации результатов таких исследований придерживаются адекватной терминологии при упоминаниях объекта, избегая необоснованно-расширительного толкования результатов выборки.

Так, например, ФОМ-Украина провел в ноябре 2009 г. опрос избирателей методом телефонного интервью (в связи с карантином) в 85 украинских городах с населением более 100 тыс. жителей. Как в заголовке, так и в тексте новости везде недвусмысленно подчеркивается, что речь идет о горожанах, о жителях крупных городов (см. http://korrespondent.net/ukraine/politics/1021155). Точно так же адекватно указывает объект исследования и Socis, который опубликовал материалы опроса 3307 избирателей , проведенного в областных центрах, включая Киев и Симферополь (см. http://www.daily.com.ua/news/1/2010-01-106226.html).

Помимо прочего, Институт позиционирует себя  как член “...международной социологической (так на сайте Института. –  М. Кунявский) ассоциации ESOMAR”(5) (см.: http://kipu.com.ua/about.html). ESOMAR, т. е. European Society for Opinion and Marketing Research  - это Европейское общество по опросам общественного мнения и маркетинговым исследованиям. Причем в основном именно по маркетинговым, что нетрудно увидеть даже по лексике текстов, в  которых излагаются Кодексы (стандарты работы) этого сообщества. В настоящее время данное общество превратилось во всемирную организацию, что нашло свое отражение и в её названии (ESOMAR WORLD RESEARCH).

Последняя версия Международного Кодекса по практике маркетинговых и социальных исследований разработана и утверждена ESOMAR и ICC (Международной торговой палатой, члены которой, естественно, заинтересованы получать за свои деньги достоверную маркетинговую информацию).

В частности, в этом кодексе есть пункт, запрещающий необоснованно-расширительное указание объекта исследования в публикациях. “Как клиент, так и исследователь несут ответственность за гарантии того, что опубликованные результаты не вводят в заблуждение”. [см.:  ESOMAR WORLD RESEARCH CODES & GUIDELINES. ICC/ESOMAR INTERNATIONAL CODE OF MARKETING AND SOCIAL RESEARCH PRACTICE.- P.8, Article 11(b) [http://www.esomar.org/uploads/pdf/professional-standards/ICCESOMAR Code English.pdf ].

 

Подведем итоги.

 

По поводу  уличных экспресс-опросов. Конечно, оптимальным был бы переход Одесского филиала Института Горшенина от частых, но не очень-то репрезентативных опросов на базе стихийной выборки к вдвое-втрое меньшему числу гораздо более трудоемких и сложных технологически и, соответственно, дорогостоящих, но репрезентативных уличных опросов. Если это не в планах социологического департамента, то может быть, он всё-таки пойдет на не столь кардинальное решение. А именно, продолжая использовать свою привычную технологию экспресс-опросов, социологи филиала все же согласятся включать в пресс-релизы о них какие-то оговорки относительно разведочного характера таких опросов,  о том, что они позволяют выявить наличие тех или иных социальных проблем, не претендуя при этом на особую точность...  И перестанут приводить данные с точностью до десятых долей процента.

Несколько слов о возможном экзит-полле 7 февраля в Одессе. Если социологический департамент Одесского филиала уже решил проводить такой опрос, то было бы желательно, чтобы:

  • об этом заранее был анонс на сайте "Мост-Одесса";
  • в анонсе была представлена необходимая и достаточная информация о планируемой выборке и технике опроса;
  • при публикации соблюдались соответствующие требования Закона Украины “О выборах Президента Украины” (ст. 60, п.7).

О всеукраинских телефонных опросах. Тут несложно исправить ситуацию. Достаточно перейти к адекватному определению объекта не только в преамбуле, но и в заголовках и тексте пресс-релизов.

И последнее замечание. Господа, просто неловко видеть термины "эксперты", "выводы" в тексте пресс-релизов, если дальше идёт простой пересказ одномерного распределения ответов респондентов на вопросы анкеты... Да ещё когда пересказанная информация тут же полностью дублируется в красивых диаграммах...

Зам. директора, в. н. с. Центра «Пульс» М. Кунявский
02.02.2010 14:45

____________________

1 Кстати, тогда на нашем сайте были изложены далеко не все имевшиеся на тот момент замечания методического и содержательного плана. Только те, которые напрашивались в первую очередь.

2 Причем, как подсказывает контент-анализ, в частности, публикаций в газете "Левый берег", целенаправленного не только на отражение, но и на изменение преобладающих в общественном мнении Одессы политических и других предпочтений, ориентаций и установок.  Очень любопытен в этой связи ещё один факт, наводящий на определённые размышления – все филиалы Института Горшенина открыты только на Востоке и Юге Украины.

3 См. Ноэль Э. Массовые опросы. Введение в методику демоскопии. – М.: Прогресс, 1978. – С. 136 (табл. ІІ).

4 См. напр., п. 2.7 Кодекса профессиональной этики Социологической ассоциации Украины: “Руководствуясь идеалом достижения истины, социолог уделяет особенное внимание надежности социологической информации; достоверности выводов и рекомендаций, которые делаются на основе анализа этой информации” (http://www.sau.kiev.ua/codex.html). А также п. 9 параграфа 4.2 Руководства ESOMAR/WАPOR относительно проведения опросов общественного мнения: “Как исследовательская организация, так и Клиент в интересах общественности несут ответственность за гарантии того, что опубликованный отчет об опросе общественного мнения не искажает и не перекручивает полученные данные” (см.: http://uam.in.ua/ukr/content/standarts/esomar).

5 Нам не удалось найти Институт Горшенина в официальном перечне компаний-членов ESOMAR работающих на Украине (см. http://directory.esomar.org/results.php?countries=183). Однако поиск на сайте ESOMAR позволил обнаружить, что лично Mr. Konstantin Bondarenko является членом этого международного сообщества исследователей (ищите на: http://www.esomar.org/index.php/member-search-2.html ).