Лучшие large-data-volumes вопросы ИТ разработчиков

  • 23 голосов
  • 7 ответов
  • 0 просмотров
7 ответов

Если вы хотите обрабатывать огромные данные с миллионами строк, это можно рассматривать как базу данных временных рядов, которая регистрирует время и сохраняет данные в базе данных. Некоторые из способов хранения данных используют InfluxDB и MongoDB.

ы вы решили следующую проблему хранения и поиска? Примерно 2.000.000 строк будут добавляться каждый день (365 дней в году) со следующей информацией в строке: id (уникальный идентификатор строки)entity_id (принимает значения от 1 до 2.000.000 ...

Задан 20 Mar 2009, 10:32 от knorv
  • 6 голосов
  • 11 ответов
  • 0 просмотров
11 ответов

Рекомендации по обработке больших объемов данных

Таким образом, у меня есть «большое» количество «очень больших» ASCII-файлов числовых данных (всего гигабайт), и моя программа должна будет последовательно обрабатывать их полностью хотя бы один раз. Любой совет по хранению / загрузке данных? Я ...

Задан 17 Sep 2008, 21:08 от Jake
  • 5 голосов
  • 4 ответа
  • 0 просмотров
4 ответа

@ user331465, отличный момент. В этом случае я предлагаю вам взглянуть на ваше оборудование. Вы можете двигаться только так быстро, как двигатели могут двигаться.

кст У нас есть собственная библиотека кэширования на основе файловой системы. В настоящее время у нас есть проблемы с производительностью одной установки из-...

Задан 05 Dec 2010, 01:39 от user331465
  • 7 голосов
  • 3 ответа
  • 0 просмотров
3 ответа

Извините, когда я сказал «в реальном времени», я имел в виду, что построение графика должно происходить во время чтения, но данные статичны.

я есть большие наборы данных (данные 10 Гц, то есть 864 тыс. Точек за 24 часа), которые мне нужно построить в режиме реального времени. Идея заключается в том, что пользователь может масштабировать и перемещать в очень подробные ...

Задан 03 Feb 2009, 19:57 от Pyrolistical
  • 29 голосов
  • 8 ответов
  • 0 просмотров
8 ответов

Можно ли изменить argv или мне нужно создать настроенную копию?

Моему приложению может быть передано огромное количество аргументов, и я хочу избежать запоминания попаданий, дублирующих аргументы в отфильтрованный список. Я хотел бы отфильтровать их на месте, но я уверен, что использование самого массива argv ...

Задан 08 Jun 2009, 05:14 от ojblass
  • 3 голосов
  • 3 ответа
  • 0 просмотров
3 ответа

Структура таблицы SQL Server для хранения большого количества изображений

Какие'наилучшая практика для хранения большого количества данных изображений в SQL Server 2008? Я'Я планирую хранить около 50 000 изображений, используя около 5 гигабайт дискового пространства. В настоящее время я 'я делаю это, используя одну ...

Задан 30 Nov 2009, 14:08 от James Cadd
  • 20 голосов
  • 2 ответа
  • 0 просмотров
2 ответа

Контейнер тома данных Docker - могу ли я поделиться через рой

Я знаю, как создать и смонтировать контейнер тома данных для нескольких других контейнеров, используя --volumes-from, но у меня есть несколько вопросов относ...

Задан 09 Jun 2015, 21:48 от joeybloggs
  • 65 голосов
  • 9 ответов
  • 0 просмотров
9 ответов

Измените URL, чтобы сканировать больше сайтов ...... удачи

лкивался с вопросом на собеседовании «Если бы вы разрабатывали веб-сканер, как бы вы не попали в бесконечные циклы?», И я пытаюсь на него ответить. Как все это начинается с самого начала. Скажем, Google начал с некоторых хаб-страниц, скажем, ...

Задан 29 Apr 2011, 16:37 от xyz
  • 7 голосов
  • 4 ответа
  • 0 просмотров
4 ответа

JavaScript, чтобы найти доступную память

Давайте сразу проясним: это не вопрос утечки памяти! У меня есть страница, которая позволяет пользователю вводить некоторые данные и JavaScript для обработки этих данных и получения результата. JavaScript создает инкрементные выходные данные в ...

Задан 08 Jan 2010, 12:55 от Zo72
  • 25 голосов
  • 8 ответов
  • 0 просмотров
8 ответов

 суммировать данные перед запуском?

могу построить очень большой набор данных в R?Я хотел бы использовать коробочный сюжет, или скрипичный сюжет, или подобное. Все данные не могут быть помещены...

Задан 02 Dec 2010, 23:24 от Daniel Arndt
  • 3 голосов
  • 3 ответа
  • 0 просмотров
3 ответа

Структура таблицы SQL Server для хранения большого количества изображений

Какова наилучшая практика для хранения большого количества данных изображений в SQL Server 2008? Я ожидаю хранить около 50 000 изображений, используя около 5 гигабайт дискового пространства. В настоящее время я делаю это, используя одну таблицу ...

Задан 30 Nov 2009, 15:08 от James Cadd