Является ли этот способ использования сводной таблицы Excel 2007 для BI масштабируемым?

786
Sim

Фон:

  • Нам необходимо объединить данные о продажах по всей стране, чтобы сделать анализ

  • Наше подключение к Интернету / ИТ-экспертиза / ИТ-инвестиции не достаточно сильны, поэтому полное решение BI не подлежит сомнению

  • Я попробовал несколько решений SaaS BI (GoodData, ZohoReports), и, хотя они хороши, они, кажется, не полностью поддерживают то, что нам нужно

  • Мы смотрим на рекорд по 2 миллионам за каждые 2 месяца

Мой нынешний подход

  • Наши (10) сайтов в настоящее время собирают данные из всех своих филиалов и объединяют их в 1 файл Excel с помощью сводной таблицы и встраивают исходные данные.

  • В штаб-квартире я буду просить 10 сайтов периодически отправлять эти файлы Excel

  • Мы импортируем эти Excel на наш сервер MSSQL

  • Будет основной файл Excel, который также будет иметь ту же сводную таблицу (как и из файла Excel сайта), а источником данных является сервер MSSQL.

Подробнее

  • Для тестирования я сейчас использую MSSQL 2008 Express на своем ноутбуке

  • До сих пор я импортировал наши транзакции за последние 2 месяца, и в MSSQL есть 2 миллиона + строка в 1 таблице (мы просто используем 1 таблицу, соответствующую нашей общей структуре сводной таблицы). Размер БД ~ 600 МБ

  • В главном файле Excel, если не включать исходные данные, он составляет всего <10 МБ. Включение исходных данных увеличит размер до 60 МБ (поэтому я предположил, что Office 2007 автоматически архивирует данные?)

  • Я пытаюсь использовать Pivot (поля перетаскивания), и производительность пока в порядке (характеристики моего ноутбука: C2D T7200, 3 ГБ ОЗУ, Windows XP)

Итак, мой вопрос:

  • Если мы рассмотрим транзакцию за весь год (примерно 15 миллионов строк в MSSQL 2008 Express, размером 3,6 ГБ), есть ли проблема с этими 15 миллионами строк в 1 таблице в SQL Express?

  • Есть ли какие-либо проблемы с производительностью в сводной таблице в то время? Можно ли все еще встраивать исходные данные? (Я google-ed, но не нашел максимальный размер исходных данных, которые Excel 2007 может встраивать)

  • Любые другие предложения о том, как мы можем лучше сделать это? Учитывая, что мы не можем позволить себе полное решение BI, какой легкий / бюджетный / SaaS BI вы можете порекомендовать?

Спасибо

0

1 ответ на вопрос

0

Для SQLServer Express 2008 существует ограничение в 4 ГБ (включая файлы журналов), поэтому, похоже, что вы будете очень близки к пределу на начальном этапе и довольно быстро превысите его. Если это всего лишь одна таблица, возможно, вы бы рассмотрели SQLite (или, возможно, MySQL).

По моему опыту работы с Pivot-таблицами (и Excel в целом), он работает хорошо до определенного момента, тогда производительность значительно снижается.

Вообще, я думаю, что ваш подход - тот, который я бы выбрал. Вместо того, чтобы пытаться сводить всю таблицу, я бы попытался предварительно суммировать данные обратно в базу данных через представление, даже если бы мне нужно было иметь две отдельные таблицы с двумя разными представлениями для обобщенных данных (например, возможно, одно, которое суммирует до ежедневный или ежечасный, и другой, который суммирует уровень в другом ключевом измерении - возможно, по заказу или по логину или как угодно). Это должно сохранить большую часть рабочей силы обратно в базу данных и сделает электронную таблицу легче.

Удачи!

Привет, используйте представление, чтобы уменьшить объем данных, поступающих в Excel. Обязательно попробую. Что касается ограничения в 4 ГБ, на самом деле мы можем позволить себе лицензию для редакции Enterprise. Можно попробовать MySQL, а также. Спасибо Sim 14 лет назад 0

Похожие вопросы