Комментарии экспертов

Андрей Камаровский

Компания: smm3
Должность: Директор по исследованиям и аналитике

Сегодня в рунете существует около 10 развитых систем мониторинга онлайн-медиа, а на западном рынке их несколько сотен. Безусловно, перед компаниями и агентствами встает нетривиальный вопрос выбора оптимального варианта — и, конечно же, встает он по обе стороны Атлантики. Последнее время ко мне все чаще обращаются за помощью как раз по этому поводу, что также подтверждает тот факт, что «вопрос созрел» — как и потребность в сравнительных исследованиях и соответствующем консалтинге. В этом контексте не может не радовать проведение тест-драйвов и внимание к этому вопросу со стороны профессиональных СМИ (спасибо CMS Magazine!).

Что касается оценки исследования агентства SkyPromo, то я уже представил ее в профгруппе Cossa. Не умаляя ценности проделанной работы, нужно признать наличие существенных недостатков, касающихся самой заявки этого исследования — оценке качества данных, предоставляемых системами. Для наглядности я приведу сравнительную таблицу аналогичного исследования западных систем, в которых наблюдается оптимальный набор сравниваемых характеристик. Обратите внимание на наличие данных о %-е спама в выдаче — это ключевая метрика для понимания того, в каком положении между крайностями «Найти все, что угодно» и «Найти нужное» находится система.

Кроме того, в исследовании недостаточно четко определены критерии релевантности упоминаний банка, что не дает понимания точного объема действительно ценных клиентских и потребительских оценок банка как бренда, его продуктов, сервиса и сотрудников. Мне приходилось мониторить как сам банк Русский Стандарт, так и другие ключевые банки России (настройкой технологий мониторинга для банков я занимаюсь уже более полугода), и мне хорошо известно, как много контента находится по ту сторону «лишнего» (шума и спама) и «нужного» (потребительских и конкретно клиентских отзывов). Не менее разнообразен и сам потребительский контент. Я могу с уверенностью сказать, что мало-мальски оптимизированный поисковой запрос по любому банку в системе мониторинга даст не менее 80% шума и рекламно-пиарного контента. А обсуждаемое исследование никаких данных на этот счет не содержит. Собственно эти нюансы вокруг структуры и качества контента мне уже приходилось обсуждать в специальной серии статей.

При сравнении систем как исследователь, так и специалист компании/агентства вынужден в первую очередь определиться, какого уровня сложности задачи ему нужно решать с помощью системы сейчас и в будущем. Инструменты мониторинга уже достаточно многое могут дать, но вопрос состоит в том, что способны взять и «переварить» их потребители. Наше исследование рынка мониторинга показало дифференциацию потребностей и требований клиентов к возможностям систем. Согласитесь, что у специалиста, готовящего репутационный или медиа-отчет за некий период или отдающего дайджест упоминаний в сыром виде, совсем иные требования, чем у того, кто каждый день вынужден как можно более оперативно реагировать на негатив, жалобы и проблемы клиентов в самых разных углах сети. Именно банки, телеком и другие крупные игроки все активнее используют мониторинг для клиентской поддержки и сервиса.

В общем случае выбирающий вынужден провести целостную оценку каждой системы с учетом самых разных потребностей разных специалистов и аналитических/реагирующих команд. Для каких-то конкретных, узких задач одна система может быть лучше другой, но важно, чтобы не провисал весь процесс. Скорость, удобство и, я бы добавил, технологическая «мощность», гибкость системы — это 3 ключевых группы качеств, по которым их стоит сравнивать. К примеру, в моем личном рейтинге сравнение включает почти 80 критериев, и они как раз сгруппированы по данным качествам, что дает возможность получить как детальный, так и интегрированный взгляд на каждую из систем. Если по одному набору критериев может лидировать некая система, то с привлечением других, она ощутимо «проваливается». Если вы не знаете этого, то через пару месяцев — с появлением соответствующей задачи и потребности — вы столкнетесь с ростом затрат на мониторинг и падением рентабельности этого процесса в целом.

Напоследок мой «новогодний» прогноз. Объемы контента в рунете прирастают — как шума, так и ценного потребительского контента — как клиентская реакция на выход и работу компаний в сети. Соцмедиа в целом и их мониторинг все глубже интегрируются в ядерные бизнес-процессы компаний. Эти тренды ставят перед мониторингом одно ключевое требование — автоматизация собственных процессов. А именно — сбора упоминаний, разметки, определения тональности, тэгирования, отчетности и аналитики, экспорта данных, совместной работы, интеграции со сторонними системами (CRM, HelpDesk и т.п.). Сегодня наш молодой рынок вращается вокруг галактики упоминаний, постепенно уходя под влияние галактики клиентов. Передовой западный опыт (интеграции Radian6 и Salesforce CRM) показывает, что весь цивилизованный рынок идет туда. Ну а мы, как обычно, пойдем по этим проторенным дорожкам. Но я желаю нам всем смелости и удачи в Новом Году! Be foolish, коллеги!

Сравнение систем мониторинга — не самая лучшая мысль. Хорошо известно что использование для мониторинга и реагирования данных только с одной системы мониторинга — утопия. Для получения максимально подробной картины обычно используют несколько таких систем.
Не очень хорошо что в статье рассматривали лишь платные сервисы по мониторингу. Существуют весьма приличные инструменты для ручного мониторинга вроде Google Alerts + Google Blogs, а также ЯППБ. А также есть масса инструментов, которые гораздо лучше сработают для простого блоггера или малого бизнеса.

В своей работе мы обычно используем связку из нескольких инструментов: ЯППБ + Google Blogs + Google Alerts + YouScan + IQbuzz, кроме того собственные системы поиска есть в каждой развитой социальной сети начиная от Вконтакте и заканчивая Twitter — результаты выдачи из этих систем также стоит учитывать.
Подобная связка инструментов предоставляет наиболее полную картину активности пользователей, дает возможность сделать верные выводы о положении дел и разработать стратегию дальнейшей работы.

Я регулярно делаю мониторинги для разных клиентов. Методом проб и ошибок я отобрала для себя YouScan и IqBuzz как наиболее точные и удобные системы по сбору отзывов. Интересно, что мое интуитивное приятие этих систем совпадает с вашим анализом ) Но на самом деле при мониторинге есть важный элемент, который не могут дать автоматические системы — это адекватный и профессиональный человек, обрабатывающий данные. Потому что после сбора данных и идет самая важная работа — это обработка данных, выделение тенденций, определение существенных и несущественных отзывов, аналитика, выработка рекомендаций и дальнейшей стратегии поведения. Но я отвлеклась. Относительно систем мониторинга у меня есть несколько комментариев Иногда в одном релевантном отзыве одновременно намешано очень много эмоций и сложно втиснуть его в категорию негатив-позитив-нейтрал: тут меня радует IqBuzz с их категорией смешанных отзывов. И, кстати, еще IqBuzz хорош при первичном мониторинге — они пытаются в автоматическом режиме определить негативные-позитивные упоминания по наличию в отзыве ключевых слов. Это дает возможность с первого взгляда, еще до начала разбора завалов отзывов уже увидеть какие-то результаты и экстренно отправить их в обработку — агентам влияния на реагирование, например.

На личном опыте могу сказать, что нельзя рассчитывать только на автоматические системы мониторинга: в силу ряда обстоятельств (при этом от них независящих) такие системы не могут представить полной картины.

Приведу в качестве примера ресурс banki.ru, который максимально принципиален для всех клиентов этой сферы. В любой системе вы найдете материалы с этого ресурса и, казалось бы, можно успокоиться — вроде вся информация в мониторинг попадает. Но при более детальном разборе оказывается, что системы зачастую индексируют только «Новости» — данные из этого раздела не принципиальны для мониторинга социальных медиа. Гораздо важнее другие разделы, где ведутся обсуждения банков пользователями: «Народный рейтинг», «Вопрос-Ответ», «Форум», «Пользовательский рейтинг» и т.д. — сообщения из них системы пропускают по техническим причинам. Как итог — клиент не видит большой пласт необходимой информации.

Лучший вариант — комбинировать автоматический мониторинг с «ручным». Мы закончили разрабатывать собственную систему, которая через API автоматически собирает данные по Twittеr, «ВКонтакте», блогхостингам и т.д. Параллельно с этим в ручном режиме собираются данные по форумам, Facebook и по отдельным ресурсам, принципиальным для наших клиентов.

Статья хорошая и, надеюсь, сможет помочь тем, кто находится в поиске подходящей системы мониторинга. Хотя в любом случае не лишним будет еще и самостоятельно попробовать разные системы, пообщаться с их поддержкой и посмотреть, что подходит именно вам.

Но я бы еще обращал внимание на возможность и удобство тегирования, а также на готовность сервиса добавлять специализированные ресурсы (источники) в список мониторинга по вашему запросу. Это важно, потому что:

1. Часто стандартных уровней тональности не хватает и они не дают полной картины при той же отчетности. Да, и например, их выбор может быть ограничен только позитив-нейтрал-негатив. Даже без смешанной тональности.
2. Некоторые ресурсы, на которых упоминается ваш бренд, могут не мониториться.

Все остальное зависит от целей мониторинга и последующих действий.

Я пользовался 2 системами мониторинга: YouScan и IqBuzz.

YouScan — очень удобный в использовании. Им приятно пользоваться и при этом он выдает неплохой результат по количеству релевантных упоминаний.
У IqBuzz не такой дружественный интерфейс и он не так удобен, но во время тестовых сравнений он нашел больше упоминаний, что для меня стало ключевым показателем. Могу также отметить службу тех-поддержки, которая уже реализовала несколько моих просьб и всегда прислушивается к пожеланиям. Да и все вопросы решаются оперативно.

Судя по графику числа упоминаний, находимых системами за отчетный период, алгоритм работы системы IQBuzz (показавшей себя лучшей в поиске) вызывает некоторое замешательство — система всегда в оппозиции к конкурентам: когда все показывают пик упоминаний, она показывает спад, и наоборот. Это говорит о том, что либо система мониторит все быстрее остальных (на ДЕНЬ быстрее), либо она от всех на день отстает, либо существует некий третий вариант.

Также по всей видимости, система в первые дни работы осуществила ретроспективный сбор и старые упоминания посчитала в отчетных числах (либо у системы действительно есть «свои источники», которые остальным недоступны, либо система действительно на шаг впереди и мониторит быстрее всех).

Несколько непонятна диаграмма с соотношением эмоционально-окрашенных упоминаний. Из нее следует, что Buzzlook ищет больше нейтральных упоминаний, а Youscan сфокусирован на поиске негатива? Следует ли из нее вообще что-то, или это просто констатация случайной статистики.

Общее ощущение такое: на наш взгляд, делать заключение о системах на основе тестового просмотра в течение одной недели — не совсем верно. В процессе работы всегда возникают какие-либо нюансы, как позитивные, так и негативные (напр., ежемесячные регламентные работы, парализующие на пару дней работы, либо возможность подключать к системе за небольшую дополнительную плату не только rss-источники, но и другие важные, не индексируемые площадки).

Сегодня появляется все больше подобных исследований. На их основании, к сожалению, очень сложно сделать выбор в пользу той или иной системы мониторинга. В зависимости от исследуемой отрасли в разных случаях большую точность показывает разный сервис. Кроме того, часто оказывается, что необходимые площадки невозможно проанализировать при помощи автоматизированной системы мониторинга.

Мы в своей работе используем YouScan. Но не зависимо от того, какую систему мониторинга использует компания, ее всегда нужно дополнять «ручным» мониторингом тех площадок, которые автоматизированным системам исследовать не под силу.

Во-первых, спасибо за сравнение на основе конкретного кейса. Хочу дополнить вступительное слово про важность процесса сбора и анализа информации в социальных медиа тем, что мониторинг — это фактически фундамент любой медиа компании. я бы не стал рассматривать его только в совокупности с работой компании в social media, а включил в обязательный набор действий маркетингового отдела (да, в b2b секторе не так много упоминаний в блогосфере, но цена внезапного «черного лебедя», например, твита уволенного сотрудника, зачастую крайне высока).

Также понравилось, что указаны условия тестирования. Правда недели маловато, ну да ладно. Я сомневаюсь, что корректно оценивать по минимальным пакетам, т.к. это продукт с довольно четкими customers, здесь не совсем классическая фримиум модель.

Забавно получилось с banki.ru — может мониторить в основном только их или единичные упоминания от более независимых (в хорошем смысле) пользователей весомее? Спорный вопрос, но мне почему-то ближе второй вариант.

Сложно оценить факт, что SemanticForce и Brandoscope по техническим причинам не смогли произвести разметку тональности. От них участвовал аккаунт менеджер или вы неделю работали автономно?

Удобство интерфейса безусловно важно, но в данном сегменте не первостепенно, т.к. продукт по своей функции не рассчитан на масс маркет и неделя работы с системой не достаточно для банального привыкания к изначально довольно сложной системе. Иными словам, это не айфон по определению. А вот строка про скорость реагирования системы действительно важна. Оценка по работе тех поддержки довольно субъективна или вы проводили настолько независимое исследование, что представители компаний не знали про это .

P.S. Было бы также любопытно сравнить с ручным мониторингом.