Вопрос по hadoop, java, mapreduce – Как (в Hadoop) данные помещаются в карту и сокращают функции до правильных типов?

3

У меня немного затруднительно понять в Hadoop, как данные помещаются в карту и сокращены функции. Я знаю, что мы можем определить формат ввода и формат вывода, а затем типы ключей для ввода и вывода. Но для примера, если мы хотим, чтобы объект был типом ввода, как Hadoop внутренне это делает?

Thanx ...

Hadoop с открытым исходным кодом. Лучший способ ответить на этот вопрос - прочитать его. bmargulies

Ваш Ответ

1   ответ
7

я создания своих пользовательских форматов. Например, можно отформатировать выходные данные задания MapReduce как JSON. Примерно так:

public class JsonOutputFormat extends TextOutputFormat<Text, IntWritable> {
    @Override
    public RecordWriter<Text, IntWritable> getRecordWriter(
            TaskAttemptContext context) throws IOException, 
                  InterruptedException {
        Configuration conf = context.getConfiguration();
        Path path = getOutputPath(context);
        FileSystem fs = path.getFileSystem(conf);
        FSDataOutputStream out = 
                fs.create(new Path(path,context.getJobName()));
        return new JsonRecordWriter(out);
    }

    private static class JsonRecordWriter extends 
          LineRecordWriter<Text,IntWritable>{
        boolean firstRecord = true;
        @Override
        public synchronized void close(TaskAttemptContext context)
                throws IOException {
            out.writeChar('{');
            super.close(null);
        }

        @Override
        public synchronized void write(Text key, IntWritable value)
                throws IOException {
            if (!firstRecord){
                out.writeChars(",\r\n");
                firstRecord = false;
            }
            out.writeChars("\"" + key.toString() + "\":\""+
                    value.toString()+"\"");
        }

        public JsonRecordWriter(DataOutputStream out) 
                throws IOException{
            super(out);
            out.writeChar('}');
        }
    }
}
@AshishRatan В конфигурации задания hadoop вы должны указать формат вывода как job.setOutputFormatClass (JsonOutputFormat.class);
Уважаемый, вы можете сказать мне, как вызвать этот класс, если я получаю результат вывода с помощью Cassandra Mapreduce? я хочу знать, как мне установить мой выходной файл как JsonOutPutFormat ?? какую линию я должен использовать, чтобы использовать его?
Какая версия hadoop?

Похожие вопросы