Подгрузка данных из файлов

Подгрузка данных в базу данных — одна из самых важных задач. Де­лать это нужно быстро и аккуратно. Итак, приступим. Утилита pgioader успешно справляется с ошибками. Функция copy подгружает все строки одной транзакцией, поэтому единственная ошибка может оборвать всю подгрузку. pgioader разбивает исходный файл на относительно небольшие куски и подгружает их постепенно. Если какие-то строки приводят к ошибкам, pgioader постепенно про­веряет их и отсеивает «плохие». Утилита pgioader написана на языке Python и позволяет со­единяться с PostgreSQL из стандартного клиентского интерфейса Python. Да, эффективность у pgioader ниже, чем у copy, но для работы copy есть много ограничений: файл правильного формата должен ле­жать на сервере в определенном месте и не содержать ошибок. Утили­та pgioader требует больших ресурсов, но зато она подгружает данные параллельными потоками и поэтому работает быстрее. Кроме того, во многих случаях pgioader может переформатировать функции, напи­санные на Python, а команда copy слишком простая.
Утилита pgioader, в отличие от copy, позволяет также подгружать данные из файлов с фиксированной шириной. Стандартного инструмента для подгрузки данных непосредствен­но из электронной таблицы в базу данных нет. Для автоматизации перечисленных задач нетрудно написать макрос для электронной таблицы, однако рассмотрение этой темы выходит за рамки нашей Есть много инструментов для извлечения и подгрузки данных. Есть дорогие, есть и дешевые. Однако следует помнить, что самой сложной задачей при подгрузке данных из электронных таблиц является отде­ление собственно данных от всего остального. Авторам книги еще не встречались инструменты, которые могли бы в этом помочь.



Рубрика: Женский интерес

29.08.2016