11

Вопрос по hadoop – Первая ошибка проекта hadoop: «Входной путь не существует»

Чтобы настроить простой проект Hadoop, яПосле этого урока:http://ebiquity.umbc.edu/Tutorials/Hadoop/23%20-%20create%20the%20project.html

Кажется, мой единственный узел hadoop работает правильно.

Когда я указываюIn папка с использованием этого кода:

FileInputFormat.setInputPaths(conf, new Path("In"));

Я получаю эту ошибку:

13/03/03 22:05:27 ERROR security.UserGroupInformation: PriviledgedActionException as:DEVUSER cause:org.apache.hadoop.mapred.InvalidInputException: Input path does not exist: hdfs://localhost:9100/user/DEVUSER/In

В настоящее времяIn папка создана вC:\homedir\hadoop-1.0.4\In

Где мне нужно создатьВ" папка, чтобы она появилась вhdfs://localhost:9100/user/DEVUSER/In? Нужно ли обновлять XML-файл, чтобы он указывал на папку в моей локальной файловой системе?

3ответа

24

Сначала вы должны загрузить свои входные файлы в файловую систему HDFS:

bin/hadoop fs -mkdir In

создаст каталог с именем/user/DEVUSER/In в HDFS.

bin/hadoop fs -put *.txt In

скопирую все*.txt файлы из текущего каталога в кластер (HDFS).

Вы, кажется, пропустили главуЗагрузить данные из учебника. Следуйте этому, и ваша проблема должна быть решена.

1

Если вы не хотите загружать файл в hdfs, а получите доступ к нему из локальной системы, попробуйте указать путь ввода следующим образом.

FileInputFormat.setInputPaths(conf, new Path("file://path of the In Folder on your File system "));
1

Как сказал гарпун, но в некоторых ситуациях даже вы пытались создать этот каталог в HDFS, он не получит и выдаст вам это сообщение: mkdir: `In ': Нет такого файла или каталога. Для решения этой проблемы вам необходимо:

bin / hadoop fs -mkdir / tmp / In

а затем скопируйте текстовые файлы в кластер HDFS

bin / hadoop fs -put * .txt / tmp / In

RelatedQuestions