Как настроить DuckDB

1. Установите его

Перед объяснением: каждая база данных, с которой вы до сих пор встречались, требовала от вас создания таблицы, прежде чем вы могли что-либо в нее поместить. Что должно быть правдой, чтобы этот шаг стал ненужным?

python -m pip install duckdb

Вот и вся установка. Нет сервера, нет службы, работающей в фоновом режиме, нет файла конфигурации и нет прав администратора. Как и SQLite, DuckDB — это библиотека, которая работает внутри вашей собственной программы, а не программы, которую вы запускаете и к которой подключаетесь.

Напишите это как python -m pip а не голый pip, по причине, изложенной в установка Python для анализа данных: он гарантирует, что пакет попадет в Python, который вы собираетесь запустить.

Существует также автономная версия для командной строки, если вы предпочитаете работать в терминале, а не в Python, и версия для браузера, но пакет Python — это тот, который подходит для дня аналитика, и именно он используется на этой странице.

2. Запросить CSV без импорта

Вот вся суть инструмента в шести строках.

import duckdb

print(duckdb.sql("""
    SELECT Country, COUNT(*) AS invoices, ROUND(SUM(Total), 2) AS revenue
    FROM 'invoices.csv'
    GROUP BY Country
    ORDER BY revenue DESC
    LIMIT 5
"""))

┌─────────┬──────────┬─────────┐
│ Country │ invoices │ revenue │
│ varchar │  int64   │ double  │
├─────────┼──────────┼─────────┤
│ USA     │       91 │  523.06 │
│ Canada  │       56 │  303.96 │
│ France  │       35 │   195.1 │
│ Brazil  │       35 │   190.1 │
│ Germany │       28 │  156.48 │
└─────────┴──────────┴─────────┘

Прочтите FROM еще раз, потому что это ответ на первый вопрос. FROM 'invoices.csv' — это имя файла в кавычках, находящееся точно там, где идет имя таблицы. Не было CREATE TABLE, нет мастера импорта, нет списка столбцов и нигде не создается файл базы данных. DuckDB открыл файл, прочитал то, что ему нужно, и ответил.

Обратите внимание на вторую строку заголовка в выводе. Под именем каждого столбца указан его тип: varchar, int64, double. Они были разработаны на основе файла, и их печать по умолчанию — небольшое дизайнерское решение, позволяющее избежать путаницы.

3. Что получилось с вашим файлом

Вы можете напрямую спросить, какие типы были выбраны, и это первое, что нужно сделать с любым новым файлом.

print(duckdb.sql("DESCRIBE SELECT * FROM 'invoices.csv'"))

┌─────────────┬─────────────┬─────────┬─────────┬─────────┬─────────┐
│ column_name │ column_type │  null   │   key   │ default │  extra  │
│   varchar   │   varchar   │ varchar │ varchar │ varchar │ varchar │
├─────────────┼─────────────┼─────────┼─────────┼─────────┼─────────┤
│ InvoiceId   │ BIGINT      │ YES     │ NULL    │ NULL    │ NULL    │
│ Country     │ VARCHAR     │ YES     │ NULL    │ NULL    │ NULL    │
│ InvoiceDate │ TIMESTAMP   │ YES     │ NULL    │ NULL    │ NULL    │
│ Total       │ DOUBLE      │ YES     │ NULL    │ NULL    │ NULL    │
└─────────────┴─────────────┴─────────┴─────────┴─────────┴─────────┘

Четыре столбца обычного текста в файле, и он правильно определил целое число, текст, метку времени и десятичную дробь. Столбец даты имеет наибольшее значение: даты, поступающие в виде текста, являются одним из наиболее распространенных недостатков любого другого инструмента на этом сайте, и здесь это было обработано без запроса.

Прежде чем читать дальше, скажите, почему вам все равно следует читать этот вывод, а не доверять ему. Потому что вывод — это предположение, сделанное на основе содержимого файла, а столбец, который выглядит числовым в каждой выбранной вами строке, все равно может быть кодом, имеющим смысл. DESCRIBE занимает две секунды и сообщает вам, что решил инструмент, и это единственный способ заметить, когда он решил что-то, что вам не нужно.

4. Вся папка как одна таблица

Это функция, которая превращает DuckDB из удобного в действительно полезную для работы аналитика. Если ваши данные поступают в виде одного файла в месяц, вы можете запросить их все одновременно, поместив * в имени файла.

print(duckdb.sql("SELECT COUNT(*) AS rows_across_files FROM 'months/*.csv'"))

┌───────────────────┐
│ rows_across_files │
│       int64       │
├───────────────────┤
│               239 │
└───────────────────┘

Два файла в той папке, 119 строк и 120 строк, а обратно 239. Не было ни цикла, ни шага конкатенации, ни списка имен файлов, которые нужно было поддерживать. Добавление нового месяца означает добавление файла в папку, и тот же запрос подхватывает его.

Подумайте о ежемесячной отчетности, которую выполняете вы или ваш коллега. Если двенадцать файлов за прошлый год лежали в одной папке, какая часть этой работы — это просто склеить их вместе? Эту часть удаляет одна звездочка.

5. В pandas и обратно

DuckDB создан для того, чтобы находиться рядом с pandas, а не заменять их. Добавлять .df() чтобы получить DataFrame.

df = duckdb.sql("""
    SELECT Country, COUNT(*) AS n
    FROM 'invoices.csv'
    GROUP BY Country ORDER BY n DESC LIMIT 3
""").df()
print(df)

Country  n
    USA 91
 Canada 56
 France 35

Для этого необходимо установить pandas, чего DuckDB сам по себе не требует. Это работает и наоборот: DataFrame, уже находящийся в памяти, можно запросить по имени, поэтому SELECT * FROM my_dataframe работает вообще без этапа преобразования.

Эта улица с двусторонним движением является разумным разделением труда. Используйте SQL для фильтрации, объединения и группировки (а это то, в чем SQL лучше всего справляется), а затем передайте небольшой результат pandas для изменения формы и построения диаграмм. Это та же самая разделительная линия, описанная в подключение Python к базе данных SQL, с меньшими церемониями в середине.

6. DuckDB или SQLite: что, когда

Оба основаны на файлах, оба не нуждаются в сервере и созданы для разных задач. Ни один из них не является обновлением другого.

На практике многие аналитики используют оба, не задумываясь об этом: DuckDB для изучения того, что сегодня появилось, SQLite для аккуратной базы данных, которую хранит проект. Если вы выбираете первый и готовитесь к собеседованиям, начните с SQLite и пятнадцатиминутная установка, затем добавьте DuckDB в первый раз, когда файл окажется слишком большим или слишком множественным, чтобы это было удобно.

Что пошло не так и как это исправить

Шесть, которые стоит знать.

Вывод печатается в Окна как искаженные символы. DuckDB рисует свои таблицы результатов с помощью символов рисования прямоугольников, и старая консоль Окна не может их кодировать. Набор PYTHONIOENCODING=utf-8 перед запуском или используйте .df() и распечатайте это вместо этого. В запросе нет ничего плохого.

«Не найдено файлов, соответствующих шаблону». Путь указывается относительно того места, где вы запустили Python, а не того места, где находится файл сценария. Распечатайте свой рабочий каталог или используйте полный путь.

Столбец выглядел как текст, хотя он должен был быть числом. Что-то в нем не числовое, часто это разделитель тысяч или «Н/Д». DESCRIBE показывает, какой столбец и CAST(col AS DOUBLE) в запросе является преднамеренным исправлением.

Файлы в папке имеют разные столбцы. Шар принимает одну форму. Добавлять union_by_name=true в функцию чтения, если столбцы совпадают по имени, но не по порядку.

.df() происходит сбой из-за отсутствия модуля. pandas не установлен в этой среде. DuckDB не установит его за вас.

Запрос к огромному файлу использует всю вашу память. Выбирайте только те столбцы, которые вам нужны, а не SELECT *. Чтение меньшего количества столбцов — вот откуда большая часть скорости, а запрос на чтение всех столбцов лишает этого преимущества.