Вопрос по python, dataframe – Python Pandas: как превратить DataFrame с «факторами» в матрицу проектирования для линейной регрессии?

10

Если память меня обслуживает, в R есть тип данных, называемый фактором, который при использовании внутри DataFrame может автоматически распаковываться в необходимые столбцы матрицы регрессионного проектирования. Например, фактор, содержащий значения True / False / Maybe, будет преобразован в:

<code>1 0 0
0 1 0
or
0 0 1
</code>

с целью использования кода регрессии более низкого уровня. Есть ли способ достичь чего-то подобного с помощью библиотеки панд? Я вижу, что в Pandas есть некоторая поддержка регрессии, но так как у меня есть свои собственные настраиваемые процедуры регрессии, я действительно заинтересован в построении матрицы проектирования (двумерный массив или матрица) из разнородных данных с поддержкой отображения обратно и между столбцы объекта numpy и DataFrame Pandas, из которого он получен.

Обновление: вот пример матрицы данных с разнородными данными того типа, о котором я думаю (пример взят из руководства Pandas):

<code>>>> df2 = DataFrame({'a' : ['one', 'one', 'two', 'three', 'two', 'one', 'six'],'b' : ['x', 'y', 'y', 'x', 'y', 'x', 'x'],'c' : np.random.randn(7)})
>>> df2
       a  b         c
0    one  x  0.000343
1    one  y -0.055651
2    two  y  0.249194
3  three  x -1.486462
4    two  y -0.406930
5    one  x -0.223973
6    six  x -0.189001
>>> 
</code>

«А»; столбец должен быть преобразован в 4 столбца с плавающей запятой (несмотря на значение, существует только четыре уникальных атома), a 'b' apos; столбец может быть преобразован в один столбец с плавающей запятой, и "с"; столбец должен быть неизмененным последним столбцом в матрице проекта.

Спасибо,

SetJmp

Преобразование коэффициента с k уровнями в k различных столбцов / переменных называетсяdiscretization. smci
Непонятно, что вы подразумеваете под "The" a "; столбец должен быть преобразован в 4 столбца с плавающей точкой & quot; ... Вы имеете в виду 4 значения с плавающей точкой? Я не вижу, как разбиение первых столбцов на столбцы с множеством элементов позволит создать матрицу проектирования. Насколько я понимаю, первые два столбца здесь являются категориальными переменными. Вы имеете в виду, что вам нужно 4 двоичные переменные, которые равны 1, только если эта строка данных имеет этот категориальный номер первого столбца? ely

Ваш Ответ

4   ответа
2
import pandas
import numpy as np

num_rows = 7;
df2 = pandas.DataFrame(
                        {
                        'a' : ['one', 'one', 'two', 'three', 'two', 'one', 'six'],
                        'b' : ['x', 'y', 'y', 'x', 'y', 'x', 'x'],
                        'c' : np.random.randn(num_rows)
                        }
                      )

a_attribute_list = ['one', 'two', 'three', 'six']; #Or use list(set(df2['a'].values)), but that doesn't guarantee ordering.
b_attribute_list = ['x','y']

a_membership = [ np.reshape(np.array(df2['a'].values == elem).astype(np.float64),   (num_rows,1)) for elem in a_attribute_list ]
b_membership = [ np.reshape((df2['b'].values == elem).astype(np.float64), (num_rows,1)) for elem in b_attribute_list ]
c_column =  np.reshape(df2['c'].values, (num_rows,1))


design_matrix_a = np.hstack(tuple(a_membership))
design_matrix_b = np.hstack(tuple(b_membership))
design_matrix = np.hstack(( design_matrix_a, design_matrix_b, c_column ))

# Print out the design matrix to see that it's what you want.
for row in design_matrix:
    print row

[ 1.          0.          0.          0.          1.          0.          0.36444463]
[ 1.          0.          0.          0.          0.          1.         -0.63610264]
[ 0.          1.          0.          0.          0.          1.          1.27876991]
[ 0.          0.          1.          0.          1.          0.          0.69048607]
[ 0.          1.          0.          0.          0.          1.          0.34243241]
[ 1.          0.          0.          0.          1.          0.         -1.17370649]
[ 0.          0.          0.          1.          1.          0.         -0.52271636]

Таким образом, первый столбец является индикатором местоположений DataFrame, которые были «один», второй столбец является индикатором местоположений DataFrame, которые были «два», и так далее. Столбцы 4 и 5 являются индикаторами местоположений DataFrame, которые были «x». и 'y' соответственно, а последний столбец - это просто случайные данные.

Error: User Rate Limit Exceeded SetJmp
Error: User Rate Limit Exceedednumpy recarrayError: User Rate Limit ExceededvaluesError: User Rate Limit Exceededrecarray
Error: User Rate Limit Exceededr.789695.n4.nabble.com/… SetJmp
Error: User Rate Limit Exceeded
Error: User Rate Limit Exceeded SetJmp
2

>>> pd.Series(['one', 'one', 'two', 'three', 'two', 'one', 'six']).str.get_dummies()
   one  six  three  two
0    1    0      0    0
1    1    0      0    0
2    0    0      0    1
3    0    0      1    0
4    0    0      0    1
5    1    0      0    0
6    0    1      0    0
1

patsy.dmatrices может во многих случаях работать хорошо. Если у вас просто есть вектор -pandas.Series - тогда приведенный ниже код может работать, создавая вырожденную матрицу дизайна и без столбца перехвата.

    """Convert a pandas.Series to pandas.DataFrame design matrix.

    Parameters
    ----------
    series : pandas.Series
        Vector with categorical values

    Returns
    -------
    pandas.DataFrame
        Design matrix with ones and zeroes.

    See Also
    --------
    patsy.dmatrices : Converts categorical columns to numerical

    Examples
    --------
    >>> import pandas as pd
    >>> design = factor(pd.Series(['a', 'b', 'a']))
    >>> design.ix[0,'[a]']
    1.0
    >>> list(design.columns)
    ['[a]', '[b]']

    """
    levels = list(set(series))
    design_matrix = np.zeros((len(series), len(levels)))
    for row_index, elem in enumerate(series):
        design_matrix[row_index, levels.index(elem)] = 1
    name = series.name or ""
    columns = map(lambda level: "%s[%s]" % (name, level), levels)
    df = pd.DataFrame(design_matrix, index=series.index, 
                      columns=columns)
    return df
7

называемый patsy, который решает эту проблему. Быстрый запуск, связанный ниже, решает точно проблему, описанную выше в нескольких строках кода.

http://patsy.readthedocs.org/en/latest/overview.html

http://patsy.readthedocs.org/en/latest/quickstart.html

Вот пример использования:

import pandas
import patsy

dataFrame = pandas.io.parsers.read_csv("salary2.txt") 
#salary2.txt is a re-formatted data set from the textbook
#Introductory Econometrics: A Modern Approach
#by Jeffrey Wooldridge
y,X = patsy.dmatrices("sl ~ 1+sx+rk+yr+dg+yd",dataFrame)
#X.design_info provides the meta data behind the X columns
print X.design_info

генерирует:

> DesignInfo(['Intercept',
>             'sx[T.male]',
>             'rk[T.associate]',
>             'rk[T.full]',
>             'dg[T.masters]',
>             'yr',
>             'yd'],
>            term_slices=OrderedDict([(Term([]), slice(0, 1, None)), (Term([EvalFactor('sx')]), slice(1, 2, None)),
> (Term([EvalFactor('rk')]), slice(2, 4, None)),
> (Term([EvalFactor('dg')]), slice(4, 5, None)),
> (Term([EvalFactor('yr')]), slice(5, 6, None)),
> (Term([EvalFactor('yd')]), slice(6, 7, None))]),
>            builder=<patsy.build.DesignMatrixBuilder at 0x10f169510>)
Error: User Rate Limit Exceeded

Похожие вопросы