Ситуация игры в социологию: основные поля и накопленные ошибки

Иван Колодий, Юлия Саратова

Игра в (публичную) социологию^[1] — часть политической игры. Кроме проблем, связанных с этим, у индустрии опросов есть специфические сложности, которые рано или поздно придётся исправлять. Текущая ситуация с социологическими исследованиями в Украине критическая. Несколько классов проблем перемножаются, а это ведёт к деградации способности индустрии опросов получать знания об обществе. Нарушение технологии проведения исследований, отсутствие системной организации работы/контроля интервьюеров и аналитического контроля полевых работ совместно усиливаются и крайне негативно сказываются на качестве полученных данных. Вместе с этим, ведущие социологические компании все еще практикуют «стандартный минимум» обнародования релевантной технической информации о проведенных ими публичных исследованиях. Поэтому нет возможности (ни у кого, кроме создателей) повторить основные исследования других фирм и подтвердить либо опровергнуть их на практике. Нельзя объективно оценить надежность социологического исследования и найти решение этих проблем, не расширив «минимум» раскрытия информации. Сейчас компетентная массовая аудитория воспринимает публичную социологию как науку (или исследовательскую практику), создающую путаницу и скрывающую свои результаты. Единственный адекватный ответ на это — увеличение прозрачности. Проблема опросов в том, что далеко не всегда фальсификации — намеренная подделка исследования от самой фирмы или клиента. Часто это непонимание процесса исследования и нарушение технологии непрофессиональными подрядчиками и субподрядчиками. Устранить проблему может верификация каждым, кому это небезразлично. Соответственно, появится дополнительное поле возможностей для легитимности исследования.

Публичная социология — часть политический игры в самом широком смысле. Политика, в которой задействованы месседжи, содержащие информацию об опросах, не исчерпывается борьбой за государственную власть, а касается различных сфер жизни: «рыночного» бизнеса, внутрикорпоративных игр монополистов, госаппарата и мира неправительственных организаций. Выгодная цифра из социологического исследования — важная часть борьбы за «картину мира» потребителя на любом рынке — от эконом-класса до суперпремиального. Поэтому индустрия социологии входит в цепочку политического производства не только как поставщик информации, но и как этап в производстве орудий политической борьбы. Это не новость для читавших Пьера Бурдье. Единственное крупное новшество, которое ещё не получило широкого признания, — то, что массовая аудитория тоже об этом знает. Более того, компетентный «рядовой» избиратель осознаёт эту проблему не хуже профессионалов. Из этого факта можно сделать массу выводов. Главный — публичные опросы в том виде, в котором они выходят сейчас, работают против своих создателей.

Неопределённость результатов

Проблема публичных рейтингов в их неопределенности. Сегодня большинство рейтингов оформлены очень запутанно. В худших бюрократических традициях зрителю настоятельно предлагают самому взять ответственность за дешифровку сообщений социологических фирм. При этом информация об исследованиях, результаты которых публикуются в СМИ, носит частичный характер. Ни один независимый эксперт доподлинно не знает, кто из публикующих рейтинги говорит правду, а кто их подделал или кому скрыто подали для публикации (частично либо полностью) сфальсифицированные данные.

" В худших бюрократических традициях зрителю настоятельно предлагают самому взять ответственность за дешифровку сообщений социологических фирм."

Что считать реальным расположением политических фигур? Сейчас это дело вкуса. Нравится социологическая фирма, социолог, стиль распространенного фирмой документа или процент — значит, информацию можно использовать и строить на ней выводы. Сегодняшняя ситуации игры в социологию сильно отличается от того, что можно было бы получить, полноценно применяя достижения настоящей социологической науки.

Мы считаем причиной этой проблемы отсутствие прозрачности и контроля. Знаете ли вы, как контролируют и контролируют ли вообще свои результаты социологи, публикующие цифры? В сообщениях об исследованиях рейтингов политиков этой информации не бывает. Даже принимая во внимание политическое давление и манипуляции демократическим выбором, всё равно при помощи социологии можно получить знания о стране. Сегодня наши знания об «украинской социальной реальности» — очень искаженная картина. Мы фактически не знаем собственное общество.

Основные фигуры

Чтобы уйти от типичных тупиковых вопросов людям, которые публикуют рейтинги в нашей стране, к скрытой (от посторонних глаз) сути игры в социологию, разберемся в основных фигурах на этой доске. Дадим определения понятиям — участникам и объектам.

Публичное социологическое исследование — социологическое исследование, результаты которого публикуются фирмой, управлявшей проведением исследования или заказчиком— владельцем интеллектуальных прав на результаты исследования.

Заказчик исследования (или клиент) — сторона/стороны, которая оплачивает все работы. Часто может использоваться прослойка в виде фонда или политконсалтинговой фирмы, но конечный бенефициар всегда тот, кто в практическом плане заинтересован в специфической прибыли на том «рынке», информация о котором содержится в публикуемом исследовании.

Если заказчик исследования отказывается разглашать своё имя или использует фирму посредника для маскировки, а месседжи, построенные на результатах, очевидно выгодны одному из игроков специфического рынка, то этим в глазах  общественности дискредитируется всё исследование. Типичная реакция аудитории на фокус-группах: «Статистика — ложь, если скрывается заказчик. Значит, “он” манипулирует данными, а социологи продались».

"Народ не верит информации об исследовании, социолог расплачивается репутацией за участие в таком проекте, заказчик тратит деньги впустую."

Зрители воспринимают заказчика, отстаивающего свою анонимность, как организатора фальшивого исследования со своекорыстный целью.  Ситуация патовая для всех сторон: народ не верит информации об исследовании, социолог расплачивается репутацией за участие в таком проекте, заказчик тратит деньги впустую. Сейчас на фокус-группах часто тестируется отношение избирателей к рейтингам политиков. Без исключений отношение граждан негативное: недоверие, ощущение обмана, презрение к исполнителям, знание динамики рейтингов от основных производителей, «вкусовщина» как основание оценки. Скрыто публикующий социологические цифры клиент считает, что вбивает в умы сограждан определенные тезисы («тунеллирование» — жарг.), а по факту — утрачивается доверие и к месседжу, и к социологам. Народ, глядя на месседжи (результаты исследования как месседж), с увлечением играет в «Угадай заказчика», но отнюдь не демонстрирует слепую веру в науку.

Поэтому спрашивать о заказчике исследования не неприлично. Более того, задавать вопросы заказчикам или явным пиар-бенефициарам исследования нужно обязательно: в их интересах развеять слухи и сомнения. Если фирма или партия не заказывала или не проводила исследование, в котором их «подозревают», она имеет право об этом официально заявить, хотя бы для того, чтобы спасти репутацию.

Социологическая компания, управляющая проведением исследования — это организация, разработавшая план и методику исследования и затем сознательно (и рефлексивно) нанявшая исполнителей/субподрядчиков. Правильнее называть ее поллстером (фирмой, продающая услугу по проведению опросов общественного мнения), а не социологической компанией, то есть занимающейся наукой. Для простоты будем использовать эти слова как синонимы. Но чтобы четко понимать разницу между ними, предлагаем ставить три вопроса социологической фирме, рассказывающей о своём исследовании.

— Какую научную проблему вы решали при помощи этого исследования?

— Какие гипотезы проверяли и каковы результаты проверки?

— Чью научную работу/работы вы опровергли или подтвердили?

Если задачу поставил клиент и она имеет практическое значение для клиента, то это такая же наука, как и общий анализ крови пациента в местной поликлинике. Использован научный метод, но для расширения знаний о мире ценности не представляет. Если социологическая организация позиционирует себя как «научная» и не ставит перед собой научных задач, а обслуживает рынок, то она не научная. Это поллстер, использующий образ «научной лаборатории» в маркетинговых целях.

Субподрядчики — те, кто непосредственно делают полевые работы (сбор информации, чаще всего — интервью), обрабатывают и анализируют данные. Нередко для этого используют низкооплачиваемый и низкоквалифицированный труд. Субподрядчики чаще всего имеют с управляющей социологической фирмой отношения, регулируемые контрактом на выполнение работ, и, соответственно, не являются её сотрудниками. Словосочетания «наше поле», «наши бригадиры», вероятнее всего, означают пул подрядчиков, выполняющих работу, оплачиваемую сдельно. Значительное число таких подрядчиков — игроки региональных рынков изучения общественного мнения. У них есть свои бренды, медиаистория, сотрудники и пул субподрядчиков.

Отчет — документ, содержащий выводы исследования с кратким пошаговым описанием того, как они были получены. Выводы непосредственно связаны с целями. Если цели были нечеткими или отсутствовали, то вместо выводов отчет содержит описание статистических распределений.

Данные (массив) — база данных, таблица, состоящая из размещенных в строках всех «сырых» ответов респондентов (оцифрованных и текстовых) на вопросы анкеты, размещенных в столбцах («переменные/атрибуты»). В массив данных входит также сопутствующая информация об исследовании — время проведения, география, код интервьюера и так далее. Ключевая характеристика массива данных — это полнота информации. В нём должна содержаться вся собранная информации без исключений. Однако существует практика не записывать в базу текстовые ответы на вопросы, а только цифровые.

Пресс-релиз — краткое сообщение об исследовании, рассылаемое новостным организациями.

Сопроводительная информация — набор критически важных для оценки качества работы социологов фактов о проведенном исследовании.

Главный заказчик публичной социологии — граждане страны, принимающие ежедневные решения, голосующие или игнорирующие выборы. Все участники игры в социологию упростили свои представления о зрителе до примитивнейшего уровня. Поллстеры склонны его вообще не принимать во внимание, совсем не боясь быть неверно понятыми и при приближении опасности охотно отказываясь от всех своих результатов («Не обращайте внимания, там ошибка выборки, и вообще всё это очень неточно по самой своей природе. Посмотрите лучше в другую сторону — там намного интереснее».).

Поля и действия

Публичная социология осуществляется в своеобразных трёх пространствах действия, или трёх типичных цепочках действий-ходов.

Первое пространство — пространство, в котором происходит сделка — обмен денег на услугу по изучению рынка и/или общественного мнения. Если точнее, в этом пространстве происходит серия сделок, начинающаяся с традиционного контракта между клиентом и компанией, которая оказывает услугу, и заканчивающаяся по-разному.

Второе пространство действия — это небольшой сегмент медиапространства, в который вводится специально обработанный результат социологического исследования, который затем начинает существовать в виде текстовых, аудио-, визуальных интерпретаций.

Третье пространство — пространство менеджмента социологического исследования — планирования и реализации исследования, незаслуженно недооцениваемое и участниками процесса, и общественностью. Эта часть жизни социологического исследования наименее известна непосвященным (прежде всего, поскольку кажется очевидной), даже получившим социологическое образование. Но она может быть довольно быстро понята, как только будет кратко изложена.

Типичные действия №1: сделка, ходы со стартовых позиций

Шаг первый. Клиент заказывает исследование у социологической фирмы, оплачивает заказанные работы с прибылью и формулирует техническое задание.

Шаг второй. Поллстер («социологическая компания») нанимает субподрядчиков для реализации целей клиента и параллельно готовит методические материалы.

Шаг третий. Субподрядчики выполняют полевые работы, интервьюеры опрашивают людей по схемам, содержащимся в методических материалах. Результаты работы приводятся в товарный вид, пригодный для сдачи «в центр».

Шаг четвёртый. Поллстер принимает работу у субподрядчиков, контролируя критические показатели, и готовит аналитический отчет, возможно, отдавая часть аналитических работ следующей группе субподрядчиков. Затем поллстер сдает заказчику работу.

Шаг пятый. Заказчик либо поллстер готовит пресс-релиз и аналитические материалы для публикации, включая сопроводительную информацию, относящуюся к процессу получения информации.

При условии безупречной работы поллстера («социологической компании») есть два «слабых звена» вне его активного влияния — заказчик и субподрядчики. Заказчик и субподрядчики не несут ответственности за конечный результат, но могут на него сильно влиять.

Заказчик может ставить перед собой неэтичные цели, то есть заведомо манипулировать социологической фирмой, или быть некомпетентным в вопросах работы с социологическими исследованиями и превратно понимать поставленные задачи и полученные результаты.

Субподрядчики могут рекрутировать неопытный низкооплачиваемый персонал, не контролировать жульничающих работников или жульничать самим, приписывая несуществующую работу или быть подкупленными конкурентами / местными элитами (если в регионе есть единственный крупный подрядчик, выполняющий опросы, это не так уж нереалистично). Фирме, управляющей исследованием, достаточно трудно контролировать и тех, и других.

Шаг шестой. Далее о результате исследования пишут СМИ, внося свои акценты в интерпретацию результатов исследования.

"В итоге результат исследования не сводится к добросовестности поллстера и не сводится к его профессионализму, а не превышает по качеству результат, выдаваемый «самым слабым звеном» производственной цепи."

В итоге результат исследования не сводится к добросовестности поллстера и его профессионализму, а не превышает по качеству результат, выдаваемый «самым слабым звеном» производственной цепи. Если исследование публичное, то производитель обязан (если не хочет быть неверно понятым) предоставить информацию в таком виде, чтобы внешний наблюдатель мог самостоятельно и исчерпывающе оценить его качество. Так, значительная часть результата работы поллстера — контроль и прозрачность описания полученных результатов. Эти виды работ категорически нельзя игнорировать, особенно в нашей реальности.

Получить верификацию и публичное подтверждение качества может опрос, опубликованный любой фирмой. Более того, авторы и заказчики качественно сделанных опросов заинтересованы в широком признании своих результатов, особенно если в этих результатах содержатся свидетельства пока никем не обнаруженных социальных изменений и исследование может оказаться передовым. Подтверждения качества и подлинности достойны все несфальсифицированные исследования.

Проблема подачи информации об исследовании — это прежде всего проблема собственника информации, а не журналистов, которые не обязаны досконально разбираться, как работает отрасль.

Типичные действия №2: свободная игра интерпретации

Во всех стандартах публикации информации есть такое требование — «отделить факты от интерпретаций». В нашей реальности его причудливым образом извратили. Поллстеры не дают интерпретаций данных по своей собственной инициативе, за исключением минимальных спорадических комментариев. Считается, что данные должны говорить сами за себя. Но если данные неполные, об этом некому сообщить. Соответственно, неполные данные, лишенные информации о контексте, ведут к неверным выводам.

Нишу интерпретаций заняли политические комментаторы, у которых нет специфической квалификации и которые не несут никакой ответственности за ошибки или манипуляцию социологическими данными.

"Поллстеры публикуют в СМИ «чистые» данные, выполняя техническое задание заказчика, и нарочито не интересуются дальнейшей судьбой своего высказывания."

Игра в социологию выглядит так. Поллстеры публикуют в СМИ «чистые» данные, выполняя техническое задание заказчика, и нарочито не интересуются дальнейшей судьбой своего высказывания. По второй части этого же техзадания (не известной поллстерам) ангажированные политические комментаторы подхватывают информацию и производят волну тенденциозных комментариев в интересах заказчика. И точно так же, как и поллстеры, они усиленно избегают возможности узнать о реакции общественности на поднятую волну пропаганды. В ответ на эту информационную кампанию противники/конкуренты заказчика выпускают массив (более или менее произвольных) опровергающих высказываний. В итоге настоящая реакция общественности на всё это безобразие не известна никому.

«Игра в социологию» крайне отрицательно сказывается и на индустрию опросов, и на общество в целом.

В этой ситуации поллстеры, отказываясь от интерпретации данных, выполняют обслуживающую функцию по отношению к «пиар-индустрии» и не выполняют своих естественных функций.  

Типичные действия №3: сознательный отказ от проверки

Полноценный опрос общественного мнения включает в себя пять основных этапов:

1) формулировка технического задания и разработка инструментария опроса (программа, выборка, вопросник);

2) предварительное тестирование (претест) инструментария на небольшом количестве респондентов. Это нужно, чтобы удостовериться, что представители изучаемой аудитории понимают, о чем их спрашивают, что вопросы, задаваемые респондентам, имеют для них смысл и этот смысл совпадает с тем, который в вопросы вкладывал исследователь.

3) сбор информации — проведение интервью и обработка цифровой базы интервью.

4) контроль проведенной работы — логический контроль (непротиворечивость ответов на базовые вопросы и контрольных вопросов; технические ошибки «ввода»), аналитический контроль (поиск специфических аномалий в данных, свидетельствующих о нарушении процедур опроса), реинтервью или «физический» контроль (выборочные повторные визиты интервьюеров к уже опрошенным респондентам, направленные на проверку корректности работы интервьюеров). На этом этапе также выполняется перемещение части сфальсифицированных интервью (и интервью с высоким содержанием признаков фальсификации) из основной базы данных в базу брака — «поврежденных» кейсов.

5) анализ данных и подготовка отчёта об исследовании.

С целью удешевления и увеличения скорости опросов от части работ поллстеры отказываются. От некоторых этапов — полностью.

- На первом этапе поллстеры полностью отказываются от формулировки четкого технического задания, гипотез и программы исследования, сразу переходя к созданию вопросника. Таким образом, никто из управляющих опросом не знает целей его проведения. Никто не может потребовать результатов, потому что так результатом будет просто факт проведения работ.

- Претест проводится в считанных исследованиях, чаще всего по требованию западного заказчика. Сокращение претеста приводит к тому, что доподлинно неизвестно, понимает ли (и как именно понимает) респондент, о чём с ним говорит «социолог».

- Контроль проведенной работы минимизируется, остаётся только логический контроль, который жестко ограничен наличием проверочных вопросов. Аналитический контроль отсутствует, «физический контроль» не носит систематического характера или вообще сведен к нулю. Это приводит к безнаказанности жульничающих субподрядчиков.

Неожиданным образом отказ от полноценного контроля субподрядчиков приводит к раздуванию времени интервью. Отсутствие контроля становится тождественным планированию заведомо невыполнимой работы. Если делать вид (!), что контролируешь работу интервьюеров, то оказывается, что они справляются с проведением 1,5-2,5-часовых интервью на лестничной клетке перед квартирой респондента (или перед выходом из торгового центра), задавая чувствительные вопросы и зарабатывая в разы меньше прожиточного минимума. Отсутствие контроля ведет к раздуванию размеров выборок (в десятки раз) и появлению спроса на многотысячные выборки, выполняемые в рекордные сроки.    

Из-за сокращения этапов перепроверки результатов в отрасли есть тенденция частичных или фатальных ошибок репрезентативных массовых опросов. В качестве социологических исследований во всех сферах жизни в информационном поле циркулирует смесь правды, честных ошибок и разного рода лжи: от примитивной и бесхитростной до спланированной и систематической. Важно, что все перечисленные проблемы также характерны для закрытых исследований.  Чтобы отделить знания от вымысла и ошибок-некомпетентности нужно создать открытую базу проверенных исследований, максимально отделив ложные данные от настоящих, даже если последние неточны и содержат честные ошибки.  

Выводы

Ситуация игры в социологию не имеет внутреннего решения. Все участники страдают от дискредитации репутации, но и не в силах прекратить игру. Поллстеры не способны вытащить себя сами, как Мюнхгаузен, из токсической игры в политику. Индустрии опросов и гражданам нужна точка опоры — внешний и дружественный целям социологии и демократической политики рынок исследовательского аудита. Иными словами, есть потребность в профессии социологического фактчекинга.  Должны появляться и компании, и люди, которые профессионально заняты проверкой опросов — и в идеале любой другой продукции индустрии изучения общественного мнения. Всем интересующимся мы хотим предложить исследовательскую программу, основанную на видении проблем нашего общества и нашей индустрии.

Цель новой профессии социологической верификации — создание инструмента, который бы позволил хорошим исследованиям «спорить» с хорошими исследованиями и препарировал все подозрительные. Это нужно, чтобы сделать все условия для возникновения мета-анализа^[2] результатов опросов общественного мнения, без которого невозможна эмпирическая социология, которой так не хватает в нашей стране.

Исследовательская программа

• Систематическое применение стандартов оценки полноты информации к публикуемым социологическими компаниями результатам исследований.

• Создание системы отслеживания/регистрации интерпретаций и медиа отпечатка информации об опросах.

• Разработка методик поиска фальсификаций и неслучайных аномалий в данных опросов общественного мнения, включая экспериментальную базу.

• Создание публично доступного программного обеспечения, позволяющего бесплатно и быстро проверять базы данных собственных исследований.

• Создание базы проверенных исследований и надежной системы регистрации результатов проверки.