Лучшие hadoop вопросы ИТ разработчиков

  • 8голос
  • 1ответ
  • 0просмотров

http запрос к webhdfs, но пустой ответ от сервера

Я новичок в hadoop. Я включил webhdfs и использую команду curl, чтобы получить домашний каталог. curl -i & quot; http: //172.16.18.50: 9000 / webhdfs / v1 /? op = GETHOMEDIRECTORY & quot; Но получите информацию: Пустой ответ от сервера. Вот ...

ЗаданMay 20, 2012, 10:35 AMотxmuwc
  • 1голос
  • 1ответ
  • 0просмотров

NameNode: java.net.BindException

Привет, ребята, я застрял в очень странной проблеме. Я устанавливаю HBase и hadoop на другую виртуальную машину, получая доступ к ней с моей машины. Теперь я правильно установил hadoop, а затем iran его ./start-all.sh, и я вижу, что все процессы ...

ЗаданMay 19, 2012, 9:05 AMотkhan
  • 2голосов
  • 2ответа
  • 0просмотров

ошибка в случайном порядке: превышено max_failed_unique_matche: выход из строя

Я новичок в hadoop, и я пытаюсь выполнить пример WordCount. У меня есть кластер из 4 узлов, созданных виртуальными машинами на моем компьютере. Каждый раз, когда задание завершает задачу сопоставления, но задача сокращения за время около 16% ...

ЗаданMay 24, 2012, 12:06 AMотDB cooper
  • 21голосов
  • 8ответов
  • 0просмотров

Ошибка репликации данных в Hadoop

Я внедряю кластер Hadoop Single Node на моей машине, выполнивУчебник Майкла Нолла [http://www.michael-noll.com/wiki/Running_Hadoop_On_Ubuntu_Linux_%28Single-Node_Cluster%29] и наткнулся на ошибку репликации данных: Вот полное сообщение об ...

ЗаданMay 04, 2012, 11:26 AMотApoorv Saxena
  • 18голосов
  • 5ответов
  • 0просмотров

методы настройки и очистки Mapper / Reducer в Hadoop MapReduce

Методы настройки и очистки вызываются в каждой задаче маппера и редуктора соответственно? Или они вызываются только один раз в начале общих заданий мапперов и редукторов?

ЗаданJun 04, 2012, 10:15 PMотkee
  • 3голос
  • 1ответ
  • 0просмотров

Как (в Hadoop) данные помещаются в карту и сокращают функции до правильных типов?

У меня немного затруднительно понять в Hadoop, как данные помещаются в карту и сокращены функции. Я знаю, что мы можем определить формат ввода и формат вывода, а затем типы ключей для ввода и вывода. Но для примера, если мы хотим, чтобы объект ...

ЗаданJun 09, 2012, 1:32 PMотPradeep
  • 0голос
  • 1ответ
  • 0просмотров

Hadoop неразборный TextInputFormat

Есть ли способ отправить весь файл в маппер без разделения? я прочиталэтот [http://hadoop.apache.org/common/docs/r0.20.203.0/streaming.pdf] но мне интересно, есть ли другой способ сделать то же самое, не создавая промежуточный файл. В идеале, я ...

ЗаданJun 10, 2012, 2:30 PMотjldupont
  • 8голос
  • 1ответ
  • 0просмотров

Простой пример улейного запроса?

Я пытаюсь преобразовать простой рабочий процесс в oozie. Я попытался просмотреть примеры слизи, но они немного перегружены. По сути, я хочу выполнить запрос и вывести результат в текстовый файл. hive -e 'select * from tables' > output.txtКак мне ...

ЗаданMay 08, 2012, 1:24 PMотnickponline
  • 8голосов
  • 3ответа
  • 0просмотров

Конфигурация Hadoop: mapred. * Против mapreduce. *

Я заметил, что есть два набора параметров конфигурации Hadoop: один с mapred. * И другой с mapreduce.. I am guessing these might be due to old API vs. new API but if I am not mistaken, these seem to coexist in the new API. Am I correct? If so, is ...

ЗаданJun 12, 2012, 5:09 AMотkee
  • 7голосов
  • 2ответа
  • 0просмотров

Отладка в PIG UDF

Я новичок в Hadoop / PIG. У меня есть основной вопрос. Есть ли у нас возможность ведения лесозаготовок в PIG UDF? Я написал UDF, который мне нужно проверить Мне нужно войти в определенные заявления, чтобы проверить поток. Есть ли возможность ...

ЗаданJun 12, 2012, 9:17 PMотUno
  • 2голосов
  • 0ответов
  • 0просмотров

Построение распределенного дерева KD с использованием map-Reduce

Я пытаюсь построить распределенное дерево KD, используя map-Reduce. Описание дерева распределенных КД можно найти здесьДКД-Tree [http://www.mohamedaly.info/research/distributed-kd-trees] У меня есть вектор признаков изображений, имеющих ...

ЗаданJun 14, 2012, 11:12 AMотAmnesiac
  • 7голосов
  • 3ответа
  • 0просмотров

Значения Hadoop Reducer в памяти?

Я пишу задание MapReduce, которое может привести к огромному количеству значений в редукторе. Я обеспокоен тем, что все эти значения загружаются в память одновременно. Соответствует ли базовая реализацияIterable<VALUEIN> values загружать ...

ЗаданJun 13, 2012, 11:12 PMотZach
  • 4голос
  • 1ответ
  • 0просмотров

Hadoop: Редуктор записывает вывод Mapper в выходной файл

Я встретил очень очень странную проблему. Редукторы действительно работают, но если я проверю выходные файлы, я найду только выходные данные из картографов. Когда я пытался отладить, я обнаружил ту же проблему с образцом подсчета слов после того, ...

ЗаданJun 14, 2012, 9:23 AMотChaostony marbo
  • 28голосов
  • 3ответа
  • 0просмотров

Установить пользователя системы hadoop для клиента, встроенного в веб-приложение Java

Я хотел бы отправить задания MapReduce из веб-приложения Java в удаленный кластер Hadoop, но не могу указать, для какого пользователя должно быть отправлено задание. Я хотел бы настроить и использовать системного пользователя, который должен ...

ЗаданJun 16, 2012, 10:12 AMотChristoffer Soop
  • 9голос
  • 1ответ
  • 0просмотров

Как oozie обрабатывать зависимости?

У меня есть несколько вопросов о библиотеках общего доступа oozie 2.3: В настоящее время я определил библиотеки общего доступа в нашем координаторе.properties: oozie.use.system.libpath=true oozie.libpath=<hdfs_path>Вот мои вопросы: 1. When ...

ЗаданJan 14, 2014, 6:42 AMотSuvarna PattayilTerminal User
  • 22голосов
  • 11ответов
  • 0просмотров

Вставка данных в таблицу кустов

Я новичок в улье. Я успешно настроил кластер Hadoop с одним узлом для целей разработки, и поверх него я установил Hive и Pig. Я создал фиктивную таблицу в улье: create table foo (id int, name string);Теперь я хочу вставить данные в эту таблицу. ...

ЗаданMar 04, 2013, 6:54 AMотAbimaran KugathasanTapan Avasthi
  • 4голосов
  • 2ответа
  • 0просмотров

Как реализовать самостоятельное соединение / перекрестный продукт с помощью hadoop?

Обычной задачей является оценка некоторых пар: Примеры: дедупликация, совместная фильтрация, похожие элементы и т. Д. Это в основном самостоятельное объединение или перекрестный продукт с одним и тем же источником данных.

ЗаданJul 27, 2015, 7:18 AMотTill Rohrmannyura
  • 8голосов
  • 2ответа
  • 0просмотров

Ошибка запуска Hadoop Job Tracker

Я пытался запустить простую программу в hadoop с использованием Windows-Cygwin. Я могу начать наменоде. Однако запуск JobTracker завершается с ошибкой: FATAL mapred.JobTracker: java.lang.IllegalArgumentException: Does not contain a valid ...

ЗаданJul 25, 2012, 9:36 PMотTrygve Laugstølstackuser
  • 4голосов
  • 2ответа
  • 0просмотров

Конвертировать PL / SQL в Hive QL

Мне нужен инструмент, с помощью которого я могу получить соответствующий запрос улья, задавая запрос PL / SQL. Есть много инструментов, которые преобразуют sql в hql. то есть: таод для базы данных облаков. Но это не показывает мне соответствующий ...

ЗаданApr 09, 2012, 1:41 PMотuser1321939
  • 9голосов
  • 3ответа
  • 0просмотров

Hadoop: Как работает OutputCollector во время MapReduce?

Я хочу знать, является ли экземпляр OutputCollector's экземпляром вывод, используемый в функции карты: output.collect (ключ, значение) это-выход- хранить где-нибудь пары ключ-значение? даже если он отправляет функцию-редуктор, это должен быть ...

ЗаданJun 14, 2012, 8:08 PMотChaoscatty
  • 6голосов
  • 3ответа
  • 0просмотров

Как напрямую отправить вывод преобразователя-преобразователя в другой преобразователь-преобразователь, не сохраняя вывод в формате hdf

Problem Solved Eventuallyпроверь мое решение внизу -------------------------------------------------------------------------------- Недавно я пытался запустить пример рекомендации в chaper6 (листинг 6.1 ~ 6.4) из Mahout в действии. Но я ...

ЗаданDec 26, 2015, 6:53 PMотYoungHobbitdotcomXY
  • 3голосов
  • 7ответов
  • 0просмотров

Hadoop в Windows [закрыто]

Я пользователь Microsoft Windows и новичок в Apache Hadoop. Большинство учебных пособий по Hadoop, которые я нашел, основаны на Linux, поэтому мне трудно изучать Hadoop на Windows. Любые указатели, чтобы изучить Hadoop на Windows было бы лучше.

ЗаданApr 25, 2012, 6:53 AMот
  • 1голосов
  • 0ответов
  • 0просмотров

Комиссионный сервер HDFS возвращает содержимое локальной FS, а не HDFS

Я обращаюсь к HDFS, используя комиссионные. 1. This is the expected(and right) content on HDFS. [hadoop@hdp-namenode-01 ~]$ hadoop fs -ls / Found 3 items drwxr-xr-x - hadoop supergroup 0 2012-04-26 14:07 /home drwxr-xr-x - hadoop ...

ЗаданApr 27, 2012, 6:16 AMотvyegorovtewilove
  • 2голос
  • 1ответ
  • 0просмотров

Вторичная сортировка в Map-Reduce

Я понял способ сортировки значений определенного ключа до того, как ключ поступит в редуктор. Я узнал, что это можно сделать, написав три метода, а именно: keycomparator, partitioner и valuegrouping. Теперь, когда выполняется группировка ...

ЗаданJun 25, 2012, 12:01 PMотLondon guy
  • 9голосов
  • 2ответа
  • 0просмотров

Должны ли кластеры hadoop работать на одинаковом оборудовании?

Я помню, как читал где-то, что производительность Hadoop значительно ухудшается, если машины, на которых он работает, сильно отличаются друг от друга, но я больше не могу найти этот комментарий. Я рассматриваю возможность запуска кластера Hadoop ...

ЗаданJun 25, 2012, 5:42 PMотILikeFood
  • 8голосов
  • 3ответа
  • 0просмотров

Запустите работу mapreduce из затмения

Я написал программу mapreduce на Java, которую я могу передать удаленному кластеру, работающему в распределенном режиме. В настоящее время я отправляю работу, используя следующие шаги: 1. export the mapreuce job as a jar (e.g. myMRjob.jar) 2. ...

ЗаданOct 26, 2015, 2:53 PMотAlexey GrigorevTucker
  • 33голосов
  • 4ответа
  • 0просмотров

положить удаленный файл в hadoop, не копируя его на локальный диск

Я пишу сценарий оболочки, чтобы поместить данные в hadoop, как только они будут сгенерированы. Я могу ssh на свой главный узел, скопировать файлы в папку там и затем поместить их в hadoop. Я ищу команду оболочки, чтобы избавиться от копирования ...

ЗаданJun 30, 2012, 12:33 AMотreza
  • 1голос
  • 1ответ
  • 0просмотров

Доступ к таблицам кустов в SQLClient, но не из Putty

Я новичок в Hive, MapReduce и Hadoop. Я использую Putty для подключения к таблице улья и доступа к записям в таблицах. Так что я сделал - я открыл Putty и в имени хоста, который я набрал -vip.name.com а потом я нажимаюOpen, А затем я ввел свое ...

ЗаданJul 31, 2013, 11:54 PMотAKIWEBarsenal
  • 5голосов
  • 3ответа
  • 0просмотров

Разделение кортежа на несколько кортежей в Pig

Мне нравится генерировать несколько кортежей из одного кортежа. Я имею в виду: У меня есть файл со следующими данными в нем. >> cat data ID | ColumnName1:Value1 | ColumnName2:Value2поэтому я загружаю его следующей командой grunt >> A = load ...

ЗаданJul 02, 2012, 6:54 PMотFourOfAKind
  • 3голосов
  • 2ответа
  • 0просмотров

Несоответствие типа Hadoop в ключе из ожидаемого значения карты Полученное значение текста LongWritable

У кого-нибудь есть идеи, почему я получаю эту ошибку? Я просмотрел множество других подобных постов, но большинство из них не относились ко мне, я также попробовал несколько опубликованных решений, которые относились ко мне, но они не работали, я ...

ЗаданJul 03, 2012, 11:41 PMотpyfuncChris
  • 19голосов
  • 9ответов
  • 0просмотров

Как вывести список всех файлов в каталоге и его подкаталогах в hadoop hdfs

У меня есть папка в hdfs, в которой есть две подпапки, каждая из которых имеет около 30 подпапок, и, наконец, каждая содержит XML-файлы. Я хочу перечислить все xml-файлы, указав только путь к основной папке. Локально я могу сделать это с apache ...

ЗаданJul 20, 2018, 1:10 PMотcricket_007nik686
  • 11голосов
  • 7ответов
  • 0просмотров

Как импортировать Java-зависимости org.apache без Maven

Итак, краткий обзор: я создаю Java-программу, которая использует много разных типов импорта. import org.apache.hadoop.conf.*; import org.apache.hadoop.fs.Path; import org.apache.hadoop.io.*; import org.apache.hadoop.mapreduce.*; ...

ЗаданFeb 06, 2014, 9:50 PMотDan Ciborowski - MSFT
  • 2голос
  • 1ответ
  • 0просмотров

Расширение TableInputFormat Hadoop для сканирования с префиксом, используемым для распределения ключей меток времени

У меня есть таблица hbase, ключ которой - это временная метка с однобайтовым случайным префиксом для распределения ключей, чтобы при сканировании не возникала горячая точка. Я пытаюсь продлитьTableInputFormat так что я могу запустить один ...

ЗаданJul 05, 2012, 11:26 PMотmarcog
  • 7голосов
  • 3ответа
  • 0просмотров

Почему отправка работы в mapreduce занимает так много времени в целом?

Поэтому обычно для кластера из 20 узлов отправка задания на обработку 3 ГБ (200 разделений) данных занимает около 30 с, а фактическое выполнение - около 1 млн. Я хочу понять, что является узким местом в процессе подачи работы и понять следующую ...

ЗаданJul 07, 2012, 12:18 AMотyura
  • 45голосов
  • 12ответов
  • 0просмотров

Hbase быстро посчитать количество строк

Прямо сейчас я реализую подсчет строкResultScanner как это for (Result rs = scanner.next(); rs != null; rs = scanner.next()) { number++; } Если объем данных, достигающих миллионы времени, велик. Я хочу вычислять в режиме реального времени, что я ...

ЗаданOct 06, 2015, 12:31 PMотPrasad Khodecldo
  • 49голосов
  • 5ответов
  • 0просмотров

как убить рабочие места Hadoop

Я хочу автоматически убить все мои задания hadoop, когда мой код встречает необработанное исключение. Мне интересно, как лучше всего это делать? Спасибо

ЗаданJul 12, 2012, 8:04 PMотFrank
  • 32голосов
  • 5ответов
  • 0просмотров

Как вы делаете таблицу HIVE из данных JSON?

Я хочу создать таблицу Hive из некоторых данных JSON (вложенных) и выполнить запросы к ней? Это вообще возможно? Я дошел до загрузки файла JSON на S3 и запуска экземпляра EMR, но я не знаю, что набрать в консоли куста, чтобы файл JSON стал ...

ЗаданFeb 02, 2014, 10:19 PMотGuynickponline
  • 8голосов
  • 2ответа
  • 0просмотров

Копирование файла с HDFS на локальный компьютер

У меня проблема с попыткой "скачать" файл из файловой системы HDFS в мою локальную систему. (хотя противоположная операция работает без проблем). * Примечание. Файл существует в файловой системе HDFS по указанному пути. Вот фрагмент ...

ЗаданJul 13, 2012, 1:23 PMотjamesBakir Jusufbegovic
  • 4голосов
  • 4ответа
  • 0просмотров

Запись вывода в разные папки hadoop

1. I want to write two different types of output from the same reducer, into two different directories. Я могу использовать функцию множественных выходов в hadoop для записи в разные файлы, но они оба идут в одну и ту же папку вывода. Я ...

ЗаданDec 13, 2012, 1:26 AMотWillMahalakshmi Lakshminarayanan
  • 99голосов
  • 4ответа
  • 0просмотров

Как работает алгоритм сортировки MapReduce?

Одним из основных примеров, который используется при демонстрации возможностей MapReduce, являетсяТест Терасорт [http://developer.yahoo.net/blogs/hadoop/2008/07/apache_hadoop_wins_terabyte_sort_benchmark.html] , У меня возникли проблемы с ...

ЗаданJul 20, 2009, 10:07 AMотNiels Basjes
  • 5голос
  • 1ответ
  • 0просмотров

Невозможно запустить демонов, используя start-dfs.sh

Мы используем дистрибутив cdh4-0.0 от cloudera. Мы не можем запустить демонов с помощью приведенной ниже команды. >start-dfs.sh Starting namenodes on [localhost] hduser@localhost's password: localhost: mkdir: cannot create directory `/hduser': ...

ЗаданAug 02, 2012, 10:33 AMот
  • 5голосов
  • 5ответов
  • 0просмотров

Поиск по документам, хранящимся в Hadoop - какой инструмент использовать?

Я потерян в: Hadoop, Hbase, Lucene, Carrot2, Cloudera, Tika, ZooKeeper, Solr, Katta, Cascading, POI ... Когда вы читаете об одном из них, вы часто можете быть уверены, что все остальные инструменты будут упомянуты. Я не ожидаю, что вы объясните ...

ЗаданJul 18, 2012, 6:53 PMотgarret
  • 2голосов
  • 5ответов
  • 0просмотров

экспорт sqoop завершился неудачно через oozie

Я пытаюсь экспортировать данные вmysqл изhdfs черезsqoop, Я могу запустить sqoop через оболочку, и он работает нормально. но когда я призываю черезoozie, это происходит после ошибки и становится ошибкой. Я также включил банки. нет описательного ...

ЗаданSep 19, 2014, 11:48 AMотvarshaHarish pranami
Пред12...10След