Оценка Удовлетворенности
Введение
Удовлетворенность пользователей – ключевой параметр при управлении уровнем сервиса (Service Level Management).
Каким образом измерять этот показатель?
Есть несколько подходов со своими плюсами и минусами к этому вопросу:
Первый говорит о том, что нужно измерять удовлетворенность по каждому обращению
- Его плюс
- Накапливается статистика
- Его минус
- Невозможно провести глубокую оценку каждого запроса (пользователь не будет применять участие в объемном вопросе)
Второй – о необходимости периодических опросов.
- Его плюс
- Можно провести достаточно глубокую оценку (с большим количеством вопросов), охватив большой круг аспектов
- Его минус
- Опрос сильно зависит от сиюминутного настроения пользователя и может колебаться от этого как в одну, так и в другую сторону.
Помимо этих моментов есть еще и следующий аспект – а что собственно необходимо оценивать?
Ни международные стандарты, ни многочисленные источники не дают ответа на этот вопрос.
Метрика «Удовлетворенность пользователя» или «Качество работы исполнителя» дает весьма расплывчатое представление о том, что с этим делать дальше. Да, она, может быть, дает представление о динамике развития ситуации, но что сделать конкретно, чтобы эту самую ситуацию изменить она не дает.
Система метрик оценки удовлетворенности должна служить не просто информацией к размышлению, а быть опорой к разработке комплекса мероприятий по улучшению ситуации с Заказчиком. Т.е. мы должны провести такую диагностику текущего состояния, при которой мы получили бы набор больных точек и инструментов для исправления ситуации. Ответы на вопрос «Что делать?», а не «Кто виноват?»
Предлагаем разработанную нами систему оценки удовлетворенности пользователей.
Все разработанные показатели привязываются к конкретному запросу.
Ценность представляет статистика по запросам, собранная за определенный период (месяц, квартал), динамика изменения показателей, анализ динамики.
Валидность данных показателей имеет место только при охвате не менее 50% всех обращений.
Структура оценки
Плоскости оценки
Оценка удовлетворенности состоит из трех разрезов:
- Оценка Исполнителей Пользователями
- Оценка Исполнителей Супервайзером
- Оценка Пользователей Исполнителями
Время оценки
Важный момент:
Все три оценки должны проводится независимо друг от друга и участники не должны знать никаких результатов оценки оппонентов до того момента, пока они сами не проведут оценку противоположной стороны. Это может максимально снизить влияние эмоциональной реакции на положительную/отрицательную оценку оппонента. Кроме того, Пользователь может и не участвовать в оценке.
Мотивация участников
Мотивация для каждого участника, хотя и различается в деталях, но тем, не менее носит одну общую черту. Если вы как то хотите улучшить ваши текущие взаимоотношения с при оказании услуг, повысить собственные рейтинги, выделить хороших/плохих участников, то вам необходимо участвовать в оценке.
Если вы не участвуете в ней, то услуга будет развиваться каким то своим путем, но не тем, который интересен/ выгоден/ приятен Вам.
Если вы участвуете – ваше положение будет улучшаться. В разрезе разных участников процесса она выглядит так:
- Для пользователей - вы сообщаете что вам нравится, что не нравится и услуга перестраивается под вас.
- Для Исполнителей – сообщайте кто из пользователей «вежливый»/»невежливый», грамотный/неграмотный, адекватный/неадекватный и в соответствии с этим вес оценок «правильных» пользователей будет расти, а «неправильных» будет снижаться. Кроме того, возможно могут быть выявлены личные предпочтения: «карты симпатий», когда при правильном сочетании Исполнитель/пользователь при одном и том же объеме и качестве выполнения запросов удовлетворенность последних будет правильно расти, из за того, что с ними работали предпочитаемые ими Исполнители (От перемены мест слагаемых сумма меняется).
- Для Супервайзеров – метод стимулирования и метрик «плохих» Исполнителей. Вы что то делаете и ситуация постепенно меняется в лучшую сторону. Ничего не делаете – ничего не происходит.
Показатели оценки
Показатели оценки Исполнителей Пользователями
Прямые оценки Исполнителей характеризуют субъективные оценки Пользователей по конкретной заявке
Показатель «Скорость реакции»
Основной тезис для Исполнителя
"Все хорошо - Кавалерия выехала"
Описание параметра для пользователя
Этот параметр означает, как быстро Исполнитель откликнулся на запрос.
Отклик (реакция) может означать следующие вещи:
- Исполнитель перезвонил пользователю,
- появился у него на рабочем месте.
Комментарий для аналитика
В любом случае пользователь получил следующую информацию: Мы знаем о вашей проблеме, занимаемся ею и скоро у вас будет шастье.
Параметр субъективный и вместе с фиксацией объективных данных скорости реакции показывает, насколько эта скорость реакции соответствует ожиданиям пользователей.
Сопоставление этих двух данных дает фактическую карту ожиданий. Сопоставление этих данных с учетом временных разрезов показывает? как эти ожидания меняются у одних и тех же людей со временем
Шкала оценки
Бинарная оценка - Удовлетворяет/Не Удовлетворяет
Показатель «Вежливость» («Friendly»)
Основной тезис для Исполнителя
"Он, конечно не решил мою проблему, но он меня ТАК успокоил, что и хрен с ней с проблемой"
Описание параметра для пользователя
Этот параметр означает не только вежливость Исполнителя, но и вообще его "Friendly InterFace", т.е. насколько комфортно пользователю общаться с этим Исполнителем.
Комментарий для аналитика
Параметр субъективный и показывает взаимную комфортность взаимодействия между конкретными пользователями и исполнителями.
Позволяет составлять карту эмпатий и получать представления предпочтений пользователей по обслуживанию их конкретными исполнителями, а так же отслеживать изменения этих предпочтений во времени.
Шкала оценки
1 – Уберите этого урода. Увольте его, а лучше покалечьте. Кстати, можно я буду в этом участвовать?
2 – Скорее плохо, чем хорошо, но бывает и хуже.
3 – Неплохо, неплохо, но явно есть куда расти.
4 – Какой милый мальчик. Пусть он к нам еще раз зайдет просто так. Кстати, у нас тут тортик есть.
Показатель – «Не мешал работе»
Основной тезис для Исполнителя
"Лучший сервис - тот сервис, которого мы не замечаем"
Описание параметра для пользователя
Параметр показывает насколько Исполнитель смог подстроиться под непрерывность работы Пользователя.
Комментарий для аналитика
Параметр, который характеризует не только то, как определенные Исполнители могут подстраиваться под конкретных пользователей, но и (косвенно) требования к непрерывности этих пользователей. Разумеется эти требования будут очень субъективны, но собственно как все в определении удовлетворенности пользователя.
Шкала оценки
Бинарная оценка - Удовлетворяет/Не Удовлетворяет
Показатель - Скорость выполнения (устранения проблемы)
Основной тезис для Исполнителя
- Помоги мне!
- А волшебное слово?
- Быстро!!!
Описание параметра для пользователя
Параметр, который фактически означает для пользователя качество работы Исполнителя. Как быстро Исполнитель смог устранить проблему или решил вопрос пользователя
Комментарий для аналитика
На сегодняшний день – пока это единственный показатель качества работы Исполнителя, который можно оценить на момент закрытия Запроса. Остальные показатели (повторяющиеся инциденты, устойчивость решения и пр.) можно оценить лишь по прошествии времени. Если у нас появятся иные критерии оценки качества работы, то, возможно, они заменят или дополнят этот параметр.
Шкала оценки
Бинарная оценка - Удовлетворяет/Не Удовлетворяет
Показатель - Сотрудничество
Основной тезис для Исполнителя
"Мало ли, что я неправильно сформулировал вопрос, а ты предложи варианты.
Я – неспециалист, но ты-то - специалист".
«Не взрывайте мне мозг своей терминологией. Лучше скажи – что делать?»
Описание параметра для пользователя
Не всегда и не все вопросы можно решить быстро. В том случае, если вопрос быстро не решается - предлагал ли Исполнитель пользователю другие варианты решения его вопроса, при отсутствии "лобовых" решений.
Кстати, если Исполнитель начинает умничать и подробно рассказывать Пользователю почему так нельзя сделать или посвящать его в нюансы технологий, которые мало что дают Заказчику, то это тоже говорит об отсутствии сотрудничества.
Комментарий для аналитика
Этот показатель работает не всегда, а только в следующих ситуациях:
- При выполнении запроса возникают сложности
- Запрос сформулирован некорректно
Это тот случай, когда Исполнитель должен «включить голову», т.е. подумать и предложить решение для Пользователя. «Как сделать так, чтобы ему было удобно (Пользователю, а не исполнителю)». Это когда нужно посмотреть на ситуацию «глазами пользователя», когда нужно прислушаться, что называется к «духу», а не к «букве»
Шкала оценки
Бинарная оценка - Удовлетворяет/Не Удовлетворяет
Показатель – «Не грузит лишней информацией»
Основной тезис для Исполнителя
"А оно мне надо?»
Описание параметра для пользователя
Услуга – это ценность для Заказчика, которую он получает без владения инфраструктуры и структуры рисков. Говоря другими словами – пусть у меня работает, а как и почему – меня не касается. Т.е. Заказчика не интересует почему это не работает или почему это не может работать (если он только сам не спросил). Его интересуют две вещи: Когда заработает и что нужно сделать, чтобы заработало.
Если запрос составлен некорректно, то он может отклонен. Но мы понимаем, что оценка удовлетворенности – это оценка уже ВЫПОЛНЕННЫХ запросов, а не отклоненных. И это значит – раз он выполнен, то объяснения «он не может быть выполнен» были, как минимум неуместны.
Комментарий для аналитика
Этот показатель демонстрирует комфортность Исполнителя для Заказчика. Наличие такого показателя несет отрицательную оценка для Исполнителя. Если Исполнитель получает такую оценку от Заказчика, то это должно служить для него сигналом для коррекции своего поведения с данным человеком. В сочетании с показателем «Сотрудничество» демонстрирует насколько Исполнитель старался реально помочь клиенту выполнить его запрос.
Шкала оценки
Бинарная оценка - грузит/не грузит
Показатели оценки Исполнителей Супервайзером
Помимо оценки Исполнителя Пользователя у нас есть еще одна область оценки Исполнителя, а именно – взаимодействие с ним Супервайзера.
Дополнительное стимулирование
Основной тезис для Исполнителя
«Работать не за страх, а за совесть»
Описание параметра для Исполнителя
Этот параметр характеризует дополнительные усилия («Пинки для скорости»), которые Супервайзер затрачивает для стимулирования работы Исполнителя. Если такое стимулирование по факту применяется в данной заявке, то Супервайзер фиксирует это.
Комментарий для аналитика
Параметр характеризует уровень организации Исполнителя. Высокие показатели статистики говорят о высоких транзакционных издержках на данного исполнителя. Высокие показатели допустимы на начальном этапе работы (Например, на испытательном сроке). Далее они должны снижаться и сходить на нет. В любом случае ненулевые значения этого показателя говорят о серьезных проблемах с конкретным исполнителем, которые необходимо мониторить и принимать соответствующие меры.
Шкала оценки
Бинарная оценка - Есть/нет
Значение по умолчанию
0 (Нет)
Отзыв пользователя
Основной тезис для Исполнителя
«Я так говорю, потому что наболело»
Описание параметра для Исполнителя
Этот параметр фиксирует факт обращения пользователя по данной заявке к Супервайзеру с целью оценки работы Исполнителя. Оценка может быть как положительная (какой он молодец), так и отрицательная (ужасно – не присылайте его больше ко мне или пользователь изливает душу относительно плохой работы Исполнителя).
Комментарий для аналитика
Данный показатель может являться как кумулятивным (усиливающим), так и корректирующим по отношению к прямым оценкам Исполнителя Пользователем. При фиксировании данного параметра Супервайзер должен обязательно опираться на ранее произведенную оценку Пользователя т.е. Супервайзер в момент разговора должен видеть эту оценку.
Здесь возможны несколько сценариев:
Отзыв пользователя коррелирует с его оценками Исполнителя по конкретной заявке
В этой ситуации данный параметр должен усиливать оценку Пользователя
Отзыв пользователя не коррелирует с его оценками Исполнителя
В этой ситуации Супервайзер обязательно должен задать пользователю вопрос о причинах такого рассогласования и при подтверждении последнего скорректировать существующие оценки пользователя.
Отсутствует отзыв Пользователя по конкретной заявке (Запрос закрыт, но оценка не проставлена).
Супервайзер действует так же, как и в предыдущем пункте.
Пользователь пока еще не оценил Исполнителя (Запрос не закрыт)
Супервайзер объясняет пользователю, как он будет должен оценить Исполнителя в момент закрытия запроса.
Шкала оценки
-1 – есть отрицательный отзыв
0 – отзыва нет
+1 – есть положительный отзыв
Значение по умолчанию
0 – отзыва нет
Показатели оценки Пользователей Исполнителями
Как ни странно, но мы часто забываем о такой составляющей отношений, как оценка самих пользователей. Тем не менее, если мы опустим эту компоненту, то, скорее всего, получим однобокую картину, не открывающую нам истинную причину перекосов в уровне обслуживания.
У нас, конечно, получается некая средняя температура по больнице, только она мало что дает. Т.е. мы картинку то видим, только влиять на нее не можем. Потому как не знаем причин (где именно болит и что и как надо лечить).
Однако, если мы охватим оценку обоих сторон, то легко сможем понять настоящую причину перекосов в обслуживании.
А причины могут быть самые разные:
- Неправильно обученный или плохо подобранный ИТ персонал
- Плохое настроение пользователя (ну не ладится у него сегодня)
- Нефрендли пользователи, которым в принципе нельзя угодить
- Мы посылаем не тех сотрудников к не тем людям (от перемены мест слагаемых сумма меняется)
И при двух сторонней оценке мы сможем влиять на эти причины. В то время, как при односторонней мы даже не будем знать о них.
Компьютерная грамотность
Основной тезис для Исполнителя
Скалозуб: «И чтобы это зло пресечь – собрать все книги бы и сжечь»
А. Грибоедов «Горе от ума»
Описание параметра для Исполнителя
Этот параметр характеризует грамотность пользователя при работе с конкретным ПО (по данному запросу).
Комментарий для аналитика
Аналитика по этому параметру вскрывает необходимость обучения сотрудников Заказчика. Кроме того, низкие показания этого параметра могут объяснять негативные оценки Исполнителя этим Пользователем по данному запросу, существенно отклоняющиеся от среднего значения данного Исполнителя.
Шкала оценки
1 – Пользователь не знает элементарных вещей (например, не может найти кнопку на клавиатуре, не понимает что такое мышь, не может найти разъем для флэшки и т.п.)
2 – Пользователь плохо ориентируется в ПО, с которым работает, не знает его функций, с которыми имеет дело по роду своей основной деятельности.
3 – Пользователь знает и хорошо ориентируется в ПО, с которым работает.
4 – Пользователь отлично ориентируется в используемом им ПО, понимает компьютерную терминологию, знает что такое командная строка и может (по инструкциям Исполнителя) ею пользоваться.
Вежливость
Основной тезис для Исполнителя
- Хамов надо учить.
(А. Степанов. Порт Артур).
Улыбаемся и машем
м/ф Мадагаскар
Описание параметра для Исполнителя
Этот параметр, который характеризует комфортность коммуникации Исполнителя и Пользователя по данному запросу.
Нужно обязательно помнить, что невежливое поведение Пользователя не дает нам право вести себя так же. Улыбаемся и машем. Вежливо гасим негатив. А пар спускаем при оценке.
Комментарий для аналитика
Данный параметр может характеризовать:
- Ситуативное состояние настроения Пользователя
- Личные предпочтения Пользователя по отношению к конкретному Исполнителю
- Средний уровень коммуникации данного Пользователя
Вариант а) можно отсеивать при статистическом анализе обращений этого пользователя, а так же при рассмотрении истории данного запроса (сложные запросы с плохой историей могут понижать вежливость пользователя).
Вариант б) возможно будет отследить при накоплении достаточной статистике и составлении карты эмпатии пользователей к Исполнителям (если такая корреляция будет наблюдаться).
Он может коррелировать со средним параметром вежливости Исполнителя (более вежливый Исполнитель, скорее всего, будет склонен более мягко оценивать Пользователя, чем Исполнителем с низким уровнем вежливости).
Шкала оценки
1 – Уберите этого урода. Увольте его, а лучше покалечьте. Кстати, можно я буду в этом участвовать?
2 – Скорее плохо, чем хорошо, но бывает и хуже. Не самый страшный вариант.
3 – Нормальные, ровные рабочие отношения.
4 – Это не пользователь, а подарок. Если он будет еще раз звонить, пожалуйста, соединяйте только со мной. Мне очень приятно с ним общаться.
Готовность к сотрудничеству
Основной тезис для Исполнителя
Ты ко мне по-человечески и я к тебе по-человечески.
Описание параметра для Исполнителя
Этот параметр означает насколько Пользователь идет навстречу Исполнителю при коммуникации в диагностике или устранении неисправности. Пример:
- Ничего я не буду вам смотреть – приезжайте и разбирайтесь – отказ от сотрудничества.
- Ок. Только скажите, что нужно сделать и где посмотреть – Пользователь готов сотрудничать.
Комментарий для аналитика
Здесь корреляция и характеристика этого параметра аналогична предыдущему (вежливость).
Шкала оценки
Бинарная оценка - Сотрудничает/Не сотрудничает
Знание предметной области (знает что хочет, умение сформулировать задачу)
Основной тезис для Исполнителя
Пусть грамотным ты можешь и не быть, но адекватным быть обязан.
Описание параметра для Исполнителя
Пользователь может не владеть компьютером, но совершенно четко понимать что именно он хочет получить. Этот параметр как раз об этом. Поэтому мы его и обозвали по разному:
- Знание предметной области
- Знает чего хочет
- Может сформулировать задачу.
На самом деле это все – про одно и то же: Умение формулировать свои желания. Если вы поймете, что есть более точные формулировки – велком: сообщите их нам и мы будем их использовать.
Комментарий для аналитика
Это очень важный критерий. Возможны какие-то ситуативные отклонения от него, но, как правило, конкретные значения данного параметра будут мало отклоняться от среднего значения конкретного пользователя. При устойчивом среднем значении этот параметр фактически может показывать насколько валидны показатели пользователя при оценке Исполнителя. В частности при низких значениях этого параметра надо понимать их низкую релевантность.
Шкала оценки
1 – Пользователь не может сформулировать, что именно он хочет видеть. Помощь со стороны ИТ специалиста мало помогает. Произвольно меняет свое мнение по формулировке результата, отказывается от достигнутой договоренности. Отказывается принимать работу.
2 – Пользователь формулирует задачу с помощью ИТ специалиста, не сразу, но в конце концов приходит к общему мнению. Пользователь может менять свое мнение по формулировке результата или отказывается принимать работу
3 – Пользователь не сразу, но формулирует задачу в бизнес терминах. Достигается договоренность о критериях приемки задачи. Задача принимается по этим критериям.
4 – Пользователь четко и быстро формулирует задачу в бизнес терминах, понимает критерии ее выполнения. Четко и быстро принимает выполнение этой задачи по этим критериям.
