Запрос файла CSV

Я думаю, что база данных OpenOffice.org может делать то, что вы хотите. Это работает так.

1. Запустите «Открыть базу данных Office.org», в ней отображается « Мастер баз данных ».

2. Выберите « Подключиться к существующей базе данных: Текст »

   

3. Укажите путь к текстовым файлам, а также такие детали, как символ-разделитель и т. Д.

   

4. Создание и выполнение запросов

   

Если вы когда-либо работали с Microsoft Access, вы найдете знакомый графический интерфейс.

Если вы можете обойтись без графического интерфейса, всегда есть традиционные команды UNIX. Я часто использую их для выполнения простых запросов к (маленьким) файлам CSV. Вот как это работает:

clause operation command ------------------------------- from join `join` where restriction `grep` order by -- `sort` group by restriction `awk` having restriction `grep` select projection `cut` distinct restriction `uniq` limit restriction `head` offset restriction `tail` 

Вы можете использовать ODBC для запроса текстовых файлов:

Доступ к текстовым файлам с использованием ODBC Data Provider

Обратите внимание, что вам не нужен MS Access для этого, учебник по приведенной выше ссылке просто использует MS Access для создания текстового файла, но, поскольку у вас уже есть текстовый файл, прокрутите вниз наполовину и запустите учебник, где вы видите заголовок Доступ к текстовому файлу .

Обновление : я создал DSN для файла .csv сам, чтобы иметь возможность создать это пошаговое руководство ... вот оно:

• Убедитесь, что ваш файл .csv находится в своем собственном каталоге, и ничего больше.
• Откройте «Администратор источника данных ODBC» (Пуск - Панель управления - Инструменты администрирования - Источники данных (ODBC)).
• Перейдите на вкладку File DSN и нажмите «Добавить ...».
• Выберите «Текстовый драйвер Microsoft (* .txt, * .csv)» из списка и нажмите «Далее>».
• Дайте имя для вашего файла источника данных (например, «тест») и нажмите «Далее>».
• Нажмите «Готово» (После этого появится диалоговое окно, где поля «Имя источника данных» и «Описание» действительно неактивны. Это нормально. Не беспокойтесь.
• Снимите флажок «Использовать текущий каталог». Кнопка «Выбрать каталог» будет включена.
• Нажмите кнопку «Выбрать каталог» и откройте папку, в которую вы поместили файл .csv на первом этапе.
• Нажмите на кнопку «Опции >>».
• Нажмите на кнопку «Определить формат ...».
• В левом списке «Таблицы» выберите файл .csv и нажмите кнопку «Угадай». (Это проанализирует ваш CSV-файл и создаст соответствующее поле для каждого столбца в вашем CSV-файле.)
• Просмотрите сгенерированные столбцы (F1, F2, ...) в правом списке, дайте им значимые имена и установите соответствующий тип данных (иногда угадывание не всегда верно).
• После того, как все настроено правильно, нажмите «ОК» (2 раза).

На этом этапе у вас должен быть файл DSN, с помощью которого вы можете получить доступ к файлу .csv через ODBC. Если вы проверите свою папку, в которой находится файл .csv, вы увидите файл schema.ini, который содержит только что созданную вами конфигурацию. Если у вас есть несколько файлов .csv, каждый из них соответствует таблице, и у каждой таблицы будет блок [ имя файла .csv] в файле schema.ini, в котором определены различные столбцы ... Вы также можете создать / изменить эту схему .ini файл непосредственно в текстовом редакторе вместо использования графического интерфейса, описанного выше.

Что касается вашего дополнительного вопроса «как подключиться к этому провайдеру ODBC с помощью инструмента запросов»: у
меня есть инструмент, который я написал сам давно, который не подходит для публикации. Но быстрый поиск в Google дал odbc-view, бесплатный инструмент, который делает то, что вы хотите.
Я скачал и установил инструмент.
После запуска инструмента:

• Нажмите «Источник данных ...».
• Выберите источник данных файла, который вы создали ранее (например, «тест»).
• В области запросов введите «select * from [ filename .csv]».
• Нажмите «Выполнить».

Вы должны увидеть содержимое вашего .csv файла в нижней панели.
Надеюсь, это поможет ... Дайте мне знать, как вы делаете, или если вам нужна дополнительная помощь.

Вы пробовали LogParser ?

Анализатор журналов - это мощный универсальный инструмент, который обеспечивает универсальный доступ к запросам к текстовым данным, таким как файлы журналов, файлы XML и CSV, а также к ключевым источникам данных в операционной системе Windows®, таким как журнал событий, реестр, файловая система и Active Directory®. Вы сообщаете Log Parser, какая информация вам нужна и как вы хотите ее обрабатывать. Результаты вашего запроса могут быть отформатированы в текстовом формате или сохранены в более специализированных целях, таких как SQL, SYSLOG или диаграмма.

Большая часть программного обеспечения предназначена для выполнения ограниченного числа конкретных задач. Log Parser отличается ... количество способов его использования ограничено только потребностями и фантазией пользователя. Мир - это ваша база данных с Log Parser.

Учебное пособие (и еще одно ) по использованию языка запросов, подобного SQL, с файлами CSV, которые я нашел с помощью Google .

Пример запроса:

logparser -i:CSV "SELECT TOP 10 Time, Count INTO c:\logparser\test\Chart.GIF  FROM c:\logparser\test\log.csv ORDER by Time DESC" -charttype:bar3d 

Мне нравится использовать R для быстрого доступа к CSV-файлам. Хотя язык не является непосредственно SQL, вы можете делать все эти вещи с помощью простых команд в R. R также предоставляет вам возможность создавать красивые графики и многое другое.

Вы всегда можете прочитать файл в Excel и использовать Excel в качестве источника данных через ODBC и выполнять запросы к нему.

Я нашел небольшое неграфическое приложение, которое делает это: csvsql .

Документация здесь .

Инструмент, который, как мне кажется, может облегчить это в будущем, - это Resolver One .

Это электронная таблица, которая генерирует код Python, который легко модифицируется. Для тех, кто является разработчиком, и иногда ему необходимо «уйти в отставку» для решения проблем в электронных таблицах, это кажется интуитивным способом решения проблем, связанных с электронными таблицами, на языке, с которым они знакомы.

И это дает мне повод использовать Python. Python делает меня счастливым.

Драйвер H2 JDBC предоставляет очень полезную функцию csvread, позволяющую вам выполнять следующие действия:

select * from csvread(test1.csv) test1  inner join csvread(test2.csv2) test2 on test1.id = test2.foreignkey 

Существуют различные способы использования этого драйвера без необходимости углубляться в написание кода для его использования.

Лично я предпочитаю Squirrel SQL Client, который дает вам приятный графический интерфейс для запуска запросов. Чтобы использовать его, все, что вам нужно сделать, это указать уже указанный H2 In-Memoryпуть к классу драйвера для драйвера H2, который вы скачали. После того, как вы настроили подходящий псевдоним с помощью драйвера, вы можете запустить любой произвольный SQL-запрос. Результаты отображаются в удобной таблице и во множестве других функций для импорта, экспорта и т. Д.

Кроме того, вы можете использовать Groovy для написания быстрого скрипта для загрузки и использования драйвера по мере необходимости. Посмотрите этот пример блога, чтобы узнать как.

Похоже, кто-то расширил вышеупомянутый скрипт groovy и превратил его в хороший инструмент командной строки для запуска запросов, см. Gcsvsql. При этом вы можете запускать команды, подобные следующим:

gcsvsql "select * from people.csv where age > 40" 

Я написал программу командной строки для выполнения произвольного SQL в файлах csv, включая многофайловые объединения, называемые gcsvsql. Вы можете прочитать об этом здесь:

http://bayesianconspiracy.blogspot.com/2010/03/gcsvsql.html

Для этого есть проект Google Code: http://code.google.com/p/gcsvsql/

Он написан на Java / Groovy и будет работать везде, где доступна Java.

Изменить: Активный проект перенесен на GitHub. https://github.com/jdurbin/durbinlib

Вы можете взглянуть на бесплатный инструмент q - Text as a Database, который позволяет выполнять SQL непосредственно в файлах csv, включая объединения, группирование и любые другие конструкции SQL. Также включает в себя автоматическое определение имен столбцов и типов столбцов.

Это инструмент командной строки, который соответствует способу работы Linux (например, передача из stdin, если необходимо, специальные флаги для настройки поведения и т. Д.).

За кулисами использует sqlite, поэтому очень легкий и простой в использовании.

Полное раскрытие - это мой собственный инструмент с открытым исходным кодом. Надеюсь, что вы найдете ее полезной

Харел Бен-Аттиа