Вопрос по linux – объединить несколько файлов

11

Я использую стандартную команду соединения, чтобы объединить два отсортированных файла на основе column1. Команда просто объединяет file1 file2 & gt; выходной файл.

Но как мне объединить 3 или более файлов, используя одну и ту же технику? присоединиться к file1 file2 file3 & gt; выходной файл Выше команда дала мне пустой файл. Я думаю, что sed может помочь мне, но я не слишком уверен, как?

Ваш Ответ

8   ответов
2

man страница изjoin утверждает, что это работает только для двух файлов. Так что вам нужно создать и промежуточный файл, который вы потом удалите, т.е.

> join file1 file2 > temp
> join temp file3 > output
> rm output
Error: User Rate Limit Exceededjoin <(join file1 file2) file3
Error: User Rate Limit Exceeded
0

Предполагая, что у вас есть четыре файла A.txt, B.txt, C.txt и D.txt как:

~$ cat A.txt
x1 2
x2 3
x4 5
x5 8

~$ cat B.txt
x1 5
x2 7
x3 4
x4 6

~$ cat C.txt
x2 1
x3 1
x4 1
x5 1

~$ cat D.txt
x1 1

Присоединяйтесь к файлам с:

firstOutput='0,1.2'; secondOutput='2.2'; myoutput="$firstOutput,$secondOutput"; outputCount=3; join -a 1 -a 2 -e 0 -o "$myoutput" A.txt B.txt > tmp.tmp; for f in C.txt D.txt; do firstOutput="$firstOutput,1.$outputCount"; myoutput="$firstOutput,$secondOutput"; join -a 1 -a 2 -e 0 -o "$myoutput" tmp.tmp $f > tempf; mv tempf tmp.tmp; outputCount=$(($outputCount+1)); done; mv tmp.tmp files_join.txt

Результаты:

~$ cat files_join.txt 
x1 2 5 0 1
x2 3 7 1 0
x3 0 4 1 0
x4 5 6 1 0
x5 8 0 1 0
9

Можно объединить несколько файлов (N & gt; = 2), создав конвейерjoins рекурсивно:

#!/bin/sh

# multijoin - join multiple files

join_rec() {
    if [ $# -eq 1 ]; then
        join - "$1"
    else
        f=$1; shift
        join - "$f" | join_rec "[email protected]"
    fi
}

if [ $# -le 2 ]; then
    join "[email protected]"
else
    f1=$1; f2=$2; shift 2
    join "$f1" "$f2" | join_rec "[email protected]"
fi
Error: User Rate Limit Exceededjoin_recError: User Rate Limit Exceededf1=$1; f2=$2; shift 2; if [ $# -gt 0 ]; then; join "$f1" "$f2" | join_rec - "[email protected]"; else; join "$f1" "$f2"; fiError: User Rate Limit ExceededifError: User Rate Limit Exceededjoin_rec "[email protected]"
Error: User Rate Limit Exceeded
7

Я знаю, что это старый вопрос, но для дальнейшего использования. Если вы знаете, что файлы, к которым вы хотите присоединиться, имеют шаблон, как в приведенном здесь вопросе, например,file1 file2 file3 ... fileN Тогда вы можете просто присоединиться к ним с помощью этой команды

cat file* > output

Где вывод будет серия соединенных файлов, которые были объединены в алфавитном порядке.

Error: User Rate Limit Exceeded
Error: User Rate Limit Exceeded
Error: User Rate Limit Exceeded
4

Я создал функцию для этого. Первый аргумент - это выходной файл, остальные аргументы - это файлы, которые нужно объединить.

function multijoin() {
    out=$1
    shift 1
    cat $1 | awk '{print $1}' > $out
    for f in $*; do join $out $f > tmp; mv tmp $out; done
}

Использование:

multijoin output_file file*
Error: User Rate Limit Exceeded
19

man join:

NAME
       join - join lines of two files on a common field

SYNOPSIS
       join [OPTION]... FILE1 FILE2

это работает только сtwo файлы.

если вам нужно присоединиться к трем, возможно, вы можете сначала присоединиться к первым двум, а затем присоединиться к третьему.

пытаться:

join file1 file2 | join - file3 > output

это должно объединить три файла без создания промежуточного временного файла.- говорит команде соединения прочитать первый поток ввода изstdin

Error: User Rate Limit Exceeded prathmesh.kallurkar
Error: User Rate Limit Exceeded-Error: User Rate Limit Exceeded
Error: User Rate Limit Exceeded prathmesh.kallurkar
0

Присоединяйтесь к объединению строкtwo files на общем поле. Если хочешь еще присоединиться - делай это парами. Сначала соедините первые два файла, затем объедините результат с третьим файлом и т. Д.

1

Хотя это немного старый вопрос, это то, как вы можете сделать это с помощью одногоawk:

awk -v j=<field_number> '{key=$j; $j=""}  # get key and delete field j
                         (NR==FNR){order[FNR]=key;} # store the key-order
                         {entry[key]=entry[key] OFS $0 } # update key-entry
                         END { for(i=1;i<=FNR;++i) {
                                  key=order[i]; print key entry[key] # print
                               }
                         }' file1 ... filen

Этот скрипт предполагает:

  • all files have the same amount of lines
  • the order of the output is the same order of the first file.
  • files do not need to be sorted in field <field_number>
  • <field_number> is a valid integer.

Похожие вопросы