Вопрос по sql-server-2008 – Лучший способ для дополнительной нагрузки в ssis

0

Я получаю 600 000 строк в день из своего источника, и мне нужно выгрузить их в место назначения SQL Server, что будет дополнительной нагрузкой.

Теперь, поскольку размер таблицы назначения, вероятно, будет увеличиваться день ото дня, что будет лучшим подходом для дополнительной нагрузки. У меня есть несколько вариантов в моей голове:

Lookup Task Merge Join

SCD

etc..

Пожалуйста, предложите мне лучший вариант, который будет хорошо работать при дополнительной нагрузке.

Ваш Ответ

3   ответа
4

Лестница к службам интеграции сериалы или видео Тодда МакДермида о том, как пользоваться бесплатнымиКомпонент SCD измерения слияния SSIS  Оба расскажут, как это сделать лучше, чем я мог бы перечислить в этом окне.

1

если вам нужно проверить что-то вроде, если существует, обновить еще вставить, я предлагаю создать oleDbSource, где вы запрашиваете 600.000 строк и проверяете, существуют ли они с помощью задачи поиска в существующем источнике данных. Поскольку существующий источник данных является (или имеет тенденцию быть) ОГРОМНЫМ, будьте осторожны при настройке режима кэширования. я бы пошел с частичным кешем с некоторым ограничением памяти, упорядоченным по идентификатору, который вы ищете (этот пост очень важен в зависимости от того, как работает кеширование)

2

так как требует предварительной сортировки всех записей и не должно использоваться для этого.

Ежедневно мы обрабатываем много миллионов файлов записей и, как правило, помещаем их в промежуточную таблицу и проводим сравнение с данными в наших таблицах отслеживания изменений, чтобы выяснить, отличаются ли данные от данных на prod, а затем загружаем только новые или новые. это разные. Поскольку мы проводим сравнение за пределами нашей производственной базы данных, мы мало влияем на производительность, поскольку проверяем миллионы записей с помощью prod, мы имеем дело только с 247, которые на самом деле должны быть. Фактически для нашего самого загруженного сервера вся эта обработка происходит на отдельном сервере, за исключением последнего шага, который идет в prod.

Итак, какую задачу вы порекомендуете мне здесь использовать в этой ситуации? Zerotoinfinity

Похожие вопросы