Настройка базы данных для аналитиков: какая, как установлена и что делать в первую очередь
Каждому аналитику рано или поздно нужна собственная база данных: где-то хранить файл, который перерос Excel, где-то практиковаться, где-то хранить таблицу, по поводу которой в настоящее время существуют разногласия в четырех электронных таблицах.
Что вы делаете: выбирайте по тому, как быстро вам нужно задавать вопросы, а не по тому, какое имя в резюме будет выглядеть наиболее профессионально. SQL во всех них почти одинаков.
Краткая версия. Начните с SQLite. Добавьте DuckDB, когда файлы станут большими. Изучайте Постгрес, когда этого требует работа.
Четыре варианта
| Вариант | Минуты до первого запроса | Искренне за | Затраты |
|---|---|---|---|
| SQLite | 5 | Обучение, личные проекты, однофайловые наборы данных | Бесплатно, без установки на большинстве систем. |
| DuckDB | 5 | Аналитические запросы к большим CSV и Паркет | Бесплатно |
| PostgreSQL | 45 | Что-нибудь с пользователями или реальным приложением | Бесплатно, но это сервер |
| Размещенный бесплатный уровень | 15 | Совместное использование с кем-либо или часть портфолио | Уровень бесплатного пользования, затем платный |
SQLite
База данных представляет собой один файл. Ни сервера, ни учетной записи, ни порта. Python поставляется с ним, поэтому import sqlite3 работает без установки, а Браузер БД для SQLite предоставляет вам бесплатный графический клиент, если вы предпочитаете щелкать мышью, а не печатать.
SQL достаточно стандартен, поэтому все, что вы изучаете, переносится. Чего у него нет, так это того, что учащемуся пока не нужно: учетные записи пользователей, одновременные записи, строгие типы.
DuckDB
Кроме того, один файл, также без сервера, и создан именно для работы аналитиков: агрегировать множество строк. Он читает CSV и Паркет напрямую, поэтому можно запросить большой файл до того, как произойдет какой-либо импорт. Если файл превзошел Excel, обычно это кратчайший путь к ответу, например: открытие большого CSV.
PostgreSQL
Правильный сервер базы данных. Пользователи, разрешения, параллелизм, расширения и все бесплатное, что максимально приближено к тому, что использует компания. Это правильный выбор, если вы занимаетесь аналитической разработкой, и это больше настроек, чем нужно новичку в первый день. Шаг за шагом в установка PostgreSQL.
Размещенный бесплатный уровень
Супабаза, Неон, железная дорога и подобные предоставляют вам экземпляр Постгрес в браузере. Полезно, когда что-то еще должно попасть в базу данных или когда проект портфолио должен иметь активную ссылку. Предостережения обычные: бесплатные уровни приостанавливаются или истекают, и все, что вы загружаете, покидает вашу машину, поэтому туда не попадает ничего конфиденциального.
Пятиминутный старт SQLite
python
>>> import sqlite3
>>> con = sqlite3.connect('analysis.db')
>>> con.execute("CREATE TABLE orders(order_id INT, region TEXT, amount INT)")
>>> con.execute("INSERT INTO orders VALUES (101,'North',120)")
>>> con.commit()
>>> con.execute("SELECT COUNT(*), SUM(amount) FROM orders").fetchall()
[(1, 120)]commit() это черта, которую упускают новички. Без него вставка не сохраняется, и при следующем подключении таблица выглядит пустой.
Для графического маршрута: установите Браузер БД для SQLite, Файл, Новая база данных, затем Файл, Импорт, Таблица из CSV-файла. Это охватывает весь цикл без ввода SQL, что является разумным началом.
Первые пять вещей, которые нужно сделать после запуска
- Загрузите один реальный файл вас действительно волнует. Практические данные учат синтаксису; ваши собственные данные учат анализу. Шаг загрузки находится в загружаем свой первый CSV.
- Подсчитайте строки и сравните с первоисточником. Любой проект начинается здесь.
- Проверьте типы. Столбец чисел, импортированный в виде текста, будет отсортирован от 100 до 20 и в сумме будет равен нулю.
- Напишите пять вопросов на английском языке. прежде чем писать какой-либо SQL, отвечайте на них по одному.
- Сохраняем запросы в файл, с комментариями. Запрос, который вы больше не сможете найти, был практикой, а не работой.
Куда идут данные
Три привычки, которые спасают плохой день позже:
- Храните файл базы данных и необработанные исходные файлы в одной папке проекта, при этом необработанные файлы никогда не редактируются.
- Создайте резервную копию файла базы данных, скопировав его. Для SQLite и DuckDB это вся процедура резервного копирования.
- Не помещайте файл базы данных в папку синхронизации, которая может записывать в него данные с двух компьютеров. Вот как файл повреждается.
Как применить это в своей работе
- Установите SQLite сегодня и загрузите один CSV, который вы уже используете. Двадцать минут подряд.
- Добавляйте DuckDB в первый раз, когда файл слишком велик для Excel, а не в третий раз.
- Проверьте объявления о вакансиях, на которые вы нацелены, и изучите Постгрес, если они его называют.
- Сохраняйте файл запросов для каждого проекта с самого начала, чтобы ничего не приходилось перезаписывать из памяти.
- Согласуйте каждую нагрузку с количеством строк. Это проверка, которая ловит все остальное.
Единственная привычка, которую нужно сохранить
Загрузите свои собственные данные заранее. База данных с практическими данными обучает синтаксису. База данных с вашими собственными данными начинает отвечать на вопросы, которые вам задают, и в этот момент инструмент перестает быть домашним заданием.
Какой файл вы бы загрузили первым, если бы сегодня днем у вас была база данных?
SQL для аналитиков — это 458 страниц, которые считывают запросы построчно в повседневных словах, поэтому ошибочный результат нужно где-то отслеживать, а не перепечатывать, пока он не станет выглядеть лучше.
SQL для аналитиков, 19 $ →Настройка базы данных SQL шаг за шагом проходит маршрут SQLite, какую базу данных установить сравнивает их дальше и образцы баз данных дает вам данные для практики.
Настройка базы данных SQL →