Как проверить график, созданный ИИ, прежде чем указать на нем свое имя
Сгенерированная диаграмма приходит полностью отформатированной. Заголовки, сетка, разумная цветовая схема, метки в нужных местах. Все визуальные сигналы, которые раньше означали, что кто-то завершил анализ, теперь бесплатны и поступают до того, как какой-либо анализ будет проверен.
Что вы делаете: запускаете семь проверок в фиксированном порядке, сначала самые дешевые, и прекращаете раньше, если одна из них не удалась. Первые три занимают около двух минут и позволяют выявить большую часть того, что на самом деле идет не так.
Краткая версия. Проверьте, что такое нет на графике, прежде чем проверить, что есть.
Проверка 1: количество строк
Сколько строк вошло в диаграмму и сколько в источнике? Не грубо. Точно.
SELECT COUNT(*) FROM orders; -- 41,208
-- and the same filter the chart used
SELECT COUNT(*) FROM orders WHERE ...; -- 38,904
Если они различаются, значит, что-то было исключено, и интересный вопрос, что именно. Отброшенные строки почти никогда не бывают случайными: это пустые строки, строки с датой, которую синтаксический анализатор не смог прочитать, или категория, написанная по-другому. Каждый из них представляет собой группу, имеющую что-то общее, и именно поэтому их отсутствие меняет ответ.
Проверка 2: фильтр, который вы не просили
Читайте код, а не диаграмму. Ищите все, что удаляет строки: WHERE, а dropna(), диапазон дат, head(), а LIMIT, «топ-10», который применялся до подсчета общей суммы.
Сложнее всего смотреть dropna. Его часто добавляют для запуска кода, и он автоматически удаляет строки, об отсутствии которых вы больше всего хотели бы узнать. Диаграмма средней стоимости заказа, из которой незаметно исключены все заказы без региона, не является средней стоимостью заказа.
Проверка 3: агрегирование
| Просить | Неправильный ответ выглядит так |
|---|---|
| Сумма или среднее? | Среднее уже усредненных значений |
| Считать что? | Подсчет строк после соединения, поэтому заказы удваиваются |
| Отчетливый? | 3000 клиентов там, где 1900 |
| Каков знаменатель? | Ставка, разделенная на неправильную базу |
Случай среднего из средних стоит подробно описать, потому что он выглядит вполне разумным. Средние значения по регионам 100, 200 и 300 не составляют в среднем 200, если только три региона не имеют одинаковое количество строк. Правильная цифра — это общее значение по общему количеству строк, и разница часто составляет несколько процентов, чего достаточно для принятия решения.
Проверка 4: ось
Ось Y начинается с нуля и должна ли она это делать? Бары должны; линий обычно не должно быть. Библиотеки диаграмм часто автоматически выбирают ненулевую базу для гистограмм, поскольку значение по умолчанию выбирается для заполнения области графика, а не для честности. Правило находится в Должна ли ось начинаться с нуля, и это самая распространенная ошибка форматирования в создаваемых диаграммах.
Проверка 5: категории, которые не отображаются
Подсчитайте отдельные категории в данных и посчитайте столбцы. Диаграмма с первой десяткой из сорока регионов — это нормально, если на ней так указано и если есть еще одна полоса. Без того и другого читатель воспринимает это как целостную картину.
То же самое и со временем: есть ли зазор по оси X? Месяцы без строк обычно отсутствуют, а не нулевые, поэтому линейный график соединяет март прямо с маем и плавно наклоняется через месяц, когда ничего не произошло.
Проверка 6: метки и единицы измерения
- Указаны ли единицы измерения и соответствуют ли они вашему мнению? Тысячи и единицы, смешанные на одной оси, часто встречаются, когда исходные столбцы различаются.
- Является ли валюта единой? Сумма в смешанных валютах — это число, не имеющее значения.
- Указывают ли на метках даты, какой период они охватывают: начало месяца, конец месяца или начало недели?
- Есть ли что-нибудь кумулятивное, представленное как периодическое? Видеть Вверх и вправо.
Проверка 7: утверждение в заголовке
Сгенерированные заголовки преувеличивают, потому что уверенное предложение читается лучше, чем осторожное. Две неудачи в поиске: причинно-следственная связь с корреляционными данными и превосходная степень, которую диаграмма не может поддержать. «Расходы на маркетинг увеличивают объем заявок» по двум возрастающим линиям — ошибка, сработавшая в Корреляция против причинно-следственной связи. «Наш лучший квартал за всю историю» по четырем кварталам данных — другой.
Одноминутная версия
| # | Проверить | Как |
|---|---|---|
| 1 | Ожидаются строки в равных строках | Два пункта |
| 2 | Нет фильтра, который вы не просили | Прочтите код |
| 3 | Правильное агрегирование, правый знаменатель | Пересчитать одну группу вручную |
| 4 | Ось честна за марку | Посмотрите на нижнюю галочку |
| 5 | Присутствуют все категории и все периоды | Подсчет отличий от столбцов |
| 6 | Единицы измерения и валюта указаны и едины | Прочитайте названия осей |
| 7 | Название претендует только на то, что показано | Прочитайте запрос вслух |
Как применить это в своей работе
- Выберите одну группу, любую группу, и пересчитайте ее число вручную из источника. Одна строка согласия стоит больше, чем страница правдоподобного вывода.
- Запрашивайте количество строк и список фильтров во время запроса, а не после него. Их утверждение меняет то, что производится.
- Сохраните код, создавший диаграмму, рядом с диаграммой. Диаграмму, запрос которой не может быть найден, нельзя проверить позже, когда кто-то ее запросит.
- Добавьте сноску с указанием источника, даты и исключений. Если вы не можете написать эту сноску, вы не проверили диаграмму.
- Подписывайте его только тогда, когда сможете защитить каждый номер, ничего не открывая.
Единственная привычка, которую нужно сохранить
Спросите, что должно быть правдой, чтобы эта диаграмма была неправильной, а затем проверьте именно это. Это более быстрый путь к ошибке, чем перечитывание кода сверху, и именно привычка отделяет обзор от восхищения.
Можете ли вы восстановить последнюю созданную диаграмму, которой вы поделились, из источника без посторонней помощи?
Диаграммы и визуализация — это книга по выбору карт: что может нести каждая фигура, что она незаметно искажает и как обозначить ее, чтобы читатель мог прийти к вашему выводу без каких-либо указаний.
Диаграммы и визуализация, 19 $ →обзор SQL, сгенерированного ИИ — это версия этой страницы на уровне запроса, и проверка работы ИИ-агента охватывает более широкий вопрос о том, что означает проверенное.
Читать обзор SQL, сгенерированного искусственным интеллектом →