Вопрос по python, pandas – создание фрейма данных панд из нескольких файлов

12

Я пытаюсь создать пандDataFrame и это прекрасно работает для одного файла. Если мне нужно построить его для нескольких файлов, которые имеют одинаковую структуру данных. Таким образом, вместо одного имени файла у меня есть список имен файлов, из которых я хотел бы создатьDataFrame.

Не уверен, какой способ добавить к текущемуDataFrame в пандах или есть ли способ для панд сосать список файлов вDataFrame.

Ваш Ответ

4   ответа
1

прежде чем передать их пандам. Если вы работаете в Linux или Mac, вы можете использоватьcatв противном случае очень простая функция Python может выполнить эту работу за вас.

Конечно .. просто любопытно, если есть способ сделать это без объединения всех файлов. Спасибо за ваш быстрый ответ Хосе Abhi
0

http://pandas.sourceforge.net/io.html

После того, как вы прочитали файлы и сохранили их в двух кадрах данных, вы можете объединить эти два кадра данных или добавить дополнительные столбцы в один из двух кадров данных (при условии общего индекса). Панды должны быть в состоянии заполнить пропущенные строки.

3

Почему бы не использоватьread_csv, чтобы построить два (или более) фрейма данных, а затем использовать объединение, чтобы собрать их вместе?

Тем не менее, было бы легче ответить на ваш вопрос, если вы предоставите некоторые данные или часть кода, который вы использовали до сих пор.

24

concat команда твой друг здесь. Допустим, у вас есть все файлы в каталоге, targettdir. Вы можете:

make a list of the files load them as pandas dataframes and concatenate them together

`

import os
import pandas as pd

#list the files
filelist = os.listdir(targetdir) 
#read them into pandas
df_list = [pd.read_table(file) for file in filelist]
#concatenate them together
big_df = pd.concat(df_list)
В моем случае мне нужно было сделатьpd.concat(df_list, ignore_index=True, axis=1) так как каждый CSV-файл представляет собой столбец
Глоб был бы идеален для первого шага. Вы можете создать список файлов, используя подстановочные знаки.

Похожие вопросы