Подгрузка данных в базу данных — одна из самых важных задач. Делать это нужно быстро и аккуратно. Итак, приступим. Утилита pgioader успешно справляется с ошибками. Функция copy подгружает все строки одной транзакцией, поэтому единственная ошибка может оборвать всю подгрузку. pgioader разбивает исходный файл на относительно небольшие куски и подгружает их постепенно. Если какие-то строки приводят к ошибкам, pgioader постепенно проверяет их и отсеивает «плохие». Утилита pgioader написана на языке Python и позволяет соединяться с PostgreSQL из стандартного клиентского интерфейса Python. Да, эффективность у pgioader ниже, чем у copy, но для работы copy есть много ограничений: файл правильного формата должен лежать на сервере в определенном месте и не содержать ошибок. Утилита pgioader требует больших ресурсов, но зато она подгружает данные параллельными потоками и поэтому работает быстрее. Кроме того, во многих случаях pgioader может переформатировать функции, написанные на Python, а команда copy слишком простая.
Утилита pgioader, в отличие от copy, позволяет также подгружать данные из файлов с фиксированной шириной. Стандартного инструмента для подгрузки данных непосредственно из электронной таблицы в базу данных нет. Для автоматизации перечисленных задач нетрудно написать макрос для электронной таблицы, однако рассмотрение этой темы выходит за рамки нашей Есть много инструментов для извлечения и подгрузки данных. Есть дорогие, есть и дешевые. Однако следует помнить, что самой сложной задачей при подгрузке данных из электронных таблиц является отделение собственно данных от всего остального. Авторам книги еще не встречались инструменты, которые могли бы в этом помочь.
Рубрика: Женский интерес