← Все курсы · Пороги, управляемые данными · Курс SQL
Операционализация: превращение нечетких вопросов в измеримые определения
Деловые вопросы приходят нечетко. Популярный. Сбитый. Помолвлен. Скрытый драгоценный камень. Кто-то должен превратить эту нечеткость в точное правило, прежде чем можно будет выполнить одиночный запрос, и в этом руководстве показано, как это сделать.
Работа имеет название, которое аналитика унаследовала от науки: операционализация. Это наименее заметная часть работы и наиболее важная, потому что каждое число, которое вы когда-либо видели на информационной панели, находится после определения, которое кто-то выбрал.
Вот как это выглядит. Спросите группу аналитиков, сколько у вас активных пользователей, и следующий аргумент не будет касаться SQL. Речь пойдет о слове активный. Заходили в систему в этом месяце? Сделали ли что-то значимое в этом месяце? Заплатил нам?
- Словарь: конструкции, операционные определения, метрики.
- Вопрос достоверности: измеряет ли ваша мера идею?
- Проработанный пример: внедрение «песен, похороненных радио».
- Метод, шаг за шагом
- Две ловушки: молчаливые определения и игровые показатели
- Ссылки
Словарь: конструкции, операционные определения, метрики.
Три термина охватывают всю территорию:
| Срок | значение | Пример |
|---|---|---|
| Построить | Абстрактная идея, которая вас действительно волнует | «Лояльность клиентов». Реальные, важные и не видимые напрямую ни в одной таблице. |
| Операционное определение | Точное, проверяемое правило, заменяющее конструкцию | «Совершил повторную покупку в течение 90 дней с момента первой» |
| метрика | Число, которое выдает операционное определение | «38% клиентов второго квартала лояльны по этому правилу» |
Идея определить концепцию по тому, как вы ее измеряете, восходит к физику Перси Бриджмену (1927). Затем социальные науки потратили десятилетия на его совершенствование, потому что они измеряют вещи, к которым никто не может прикоснуться: интеллект, удовлетворенность, вовлеченность. Бизнес-аналитика унаследовала и проблему, и инструментарий.
«Риск оттока» так же неприкосновенен, как и «удовлетворенность работой». Вы не можете SELECT его. Вы можете только SELECT его определение.
Вы встретите три связанных термина. Определение метрики это деловое слово, обозначающее одно и то же. Критерии включения и исключения это исследовательское слово для обозначения того, кто имеет значение. А семантический слой — это центральный файл согласованных определений компании, поэтому две панели мониторинга не могут спокойно расходиться во мнениях относительно того, что означает доход.
Вопрос достоверности: измеряет ли ваша мера идею?
Ответьте на этот вопрос, прежде чем читать дальше. Определение точное, записанное, и каждая команда с ним согласна. Может ли это все еще быть неправильным определением? Скажите «да» или «нет» и придерживайтесь своего мнения.
Как только конструкция и мера в вашей голове станут разными вещами, центральный вопрос станет видимым. Насколько хорошо измеримый дублер отражает идею? Психология формализовала это как конструировать валидность (Кронбах и Мил, 1955). Аналитики редко используют этот термин и ежедневно сталкиваются с проблемой.
«Вход в систему в этом месяце» — это слабый определение активного, потому что пользователь, который входит в систему и мгновенно уходит, все равно считается. «Выполнено основное действие в этом месяце» — сильнее. Ни то, ни другое Верно. У конструктов нет истинных мер, есть только лучшие и худшие. Это ответ на поставленный выше вопрос, и прежде чем идти дальше, стоит сказать своими словами: согласие — это не то же самое, что точность. Задача состоит в том, чтобы выбрать оправданный вариант и сказать вслух, чего он упускает.
Проработанный пример: внедрение «песен, похороненных радио».
От чувства к вопросу, одно определение за раз
Портфельный проект начинается с чистой конструкции: «песни известных исполнителей, похороненных на радио, хотя слушателям они нравились». Романтичный, интуитивный и совершенно непререкаемый. Посмотрите, как он внедряется по частям:
| Нечеткая конструкция | Операционное определение | Откуда взялся параметр |
|---|---|---|
| «Известный художник» | 5+ песен в Рекламный щит Горячий 100 | Измеренное распределение: 57% артистов чартов попадают в чарты один раз; кандидаты 3/5/10 по цене 2596/1570/740 художников; 5+ означает «индустрия вернулась к карьере». |
| «Слушателям понравилось» | Высокое количество прослушиваний на Last.fm (количество прослушиваний ÷ прослушиватели) | Общее количество пьес измеряет известность. Пьесы на человека измеряет преданность, а конструкция - любовь, а не достижение |
| «…которому можно доверять» | Минимум 1000 слушателей при любом соотношении | Маленькие знаменатели делают пропорции бессмысленными (трек на 40 слушателей может опубликовать любое число); этаж выбран из измеренного распределения слушателей |
| «Радио похоронило это» | Никогда не появлялся в Горячий 100 и не останавливался на низком уровне. | График — это запись того, что продвигало радио; отсутствие в нем ЭТО операционализация "похороненного" |
Обратите внимание на закономерность. Каждая строка — это небольшой аргумент, состоящий из трех частей: конструкция, замена, обоснование. И обратите внимание, на что опираются оправдания. Измеренные распределения, а не цифры.
Прежде чем читать дальше, скажите вслух, почему во второй строке указано количество прослушиваний на одного слушателя, а не общее количество прослушиваний. Если причина не проясняется, эту строку следует перечитать, потому что за каждым хорошим определением на этой странице стоит один и тот же ход.
Теперь сделайте это собственным словом. Придумайте нечеткое слово, о котором спорит ваша работа. Активный, заинтересованный, рискующий, старший, полный. Представьте себе правило, которое вы бы для него написали, и представьте человека, который это правило ошибается. Большая часть работы в этом руководстве происходит на второй картинке.
Это метод пороговых значений, управляемых данными установка параметров внутри каждого определения, в то время как операционализация решает, для чего вообще нужен параметр. Те же цепи проходят через Пар и Потоковое вещание Проекты «Скрытые жемчужины», в которых «скрытые» и «любимые» получают явное, защищенное определение перед выполнением любого запроса. Проект Отток телекоммуникационных компаний то же самое делает и в деловой сфере. «Прикрепленный клиент» — это количество дополнительных подписок в шести столбцах услуг. «В зоне риска» становится временной группой. Оба они указаны в README, поэтому читатель может спорить с определением, а не гадать о нем.
Метод, шаг за шагом
| Шаг | Что вы делаете |
|---|---|
| 1. Назовите конструкцию | Скажите банальную вещь прямо: «Мы хотим, чтобы песни нравились слушателям, но игнорировались радио». Не прыгайте на колонны. |
| 2. Предложите замену | Для каждого нечеткого слова выберите измеримый показатель: любовь → количество прослушиваний на слушателя; игнорируется → отсутствие диаграммы. |
| 3. Установите параметры из данных | Каждому дублеру нужны цифры. Сколько песен «известно»? Выведите их из измеренных распределений. руководство по порогам подробно описывает этот шаг. |
| 4. Назовите, кого это обидело | Каждое определение неправильно классифицирует кого-то. Напишите, кто и почему является приемлемым ущербом. Это питает раздел ограничений. |
| 5. Заморозьте и опубликуйте | Напишите окончательное определение так, чтобы его мог видеть каждый потребитель метрики. Показатель, определение которого живет в голове одного аналитика, — это будущий инцидент. |
Две ловушки: молчаливые определения и игровые показатели
Одна из двух приведенных ниже ошибок вызвана неверным определением. Другое случается, когда каждое определение остается в точности таким, каким оно написано. Угадайте, что есть что, прежде чем читать их.
Тихие определения. Самая распространенная метрическая катастрофа – это не неправильное определение. Это две команды, использующие другой определения одного и того же слова, не зная его. «Клиент» отдела маркетинга включает пробных пользователей, а клиент отдела финансов — нет, и один и тот же человек может фигурировать в нескольких записях под именами, которые никто не сверил, что является проблема определения сама по себе, и ежеквартальный обзор становится археологией. Лечение скучное и тотальное: определения записываются централизованно и один раз. Вот и вся причина существования семантических слоев.
Игровые метрики. Как только показатель становится целью, люди оптимизируют его, а не конструкцию. Это закон Гудхарта. Вознаграждайте за то, что билеты закрыты, и билеты закрываются преждевременно, поэтому конструкция, с помощью клиентов, незаметно отделяет метрику. Внедрение – это не разовый акт. Когда метрика начинает управлять поведением, становится очевидным разрыв между конструктом и мерой.
Каждое приведенное выше рабочее определение превращается в SQL: GROUP BY + HAVING для списка, вычисленное соотношение с минимальным значением для преданности, анти-соединение для отсутствия. Курс SQL всему этому учит, и Портфельные проекты На странице показано, как создать собственный проект защищенных определений.
Откройте набор SQL →Думать как аналитик Это 64 страницы, посвященные половине работы: определение показателя, составление отчета по результатам анализа, изучение данных, прежде чем вы им поверите, и высказывание вслух того, о чем ваши данные не могут вам сказать.
Думать как аналитик, 19 $ →Одно определение на одной странице – это легко. Оставлять все цифры в компании под одним и тем же определением — нет. ОС Аналитик данных хранит файл канонических определений, который считывают его рабочие процессы Клод Код, прежде чем они ответят и добавляются к нему, когда фиксируется новая метрика. ОС Аналитик данных, 49 долларов США →
Ссылки
- Бриджмен, PW (1927). Логика современной физики. Макмиллан. (Происхождение операционных определений.)
- Кронбах Л.Дж. и Мил П.Е. (1955). Конструируйте валидность в психологических тестах. Психологический вестник, 52(4), 281–302.
- Тверски А. и Канеман Д. (1971). Вера в закон малых чисел. Психологический вестник, 76(2), 105–110. (Почему настройку параметров нельзя оставлять на усмотрение интуиции.)