функция

Функция для предобработки

def show_rows(data_frame):
    for column in data_frame.columns:
        print('Уникальные значения столбца', column)
        print(data_frame[column].unique())
        print('Количество пропусков в каждом столбце')    
        print(data_frame.isna().mean())

Функция для представления информации о таблице

def df_info_describe(df):
    print (80*'_')
    print ('Дубликатов в таблице')
    print('')
    print(df.duplicated().sum())
    print('')
    print ('Пропусков в столбцах')
    print('')
    print(df.isna().sum().sort_values(ascending=False))
    print (80*'_')
    print('')
    print ('Столбцы с наибольщим количеством попусков')
    print (80*'_')
    print(df.isna().sum().sort_values(ascending=False).head(20))
    print (80*'_')
    print('')
    print('Всего пропусков в таблице')
    nan_sum = df.isna().sum()
    total_nan = pd.Series(nan_sum).sum()
    print (total_nan) 

Внесение результата работы функции в таблицу с помощью метода .apply ()

1) создаем функцию для разделения на категории
(она возвращает название категории в зависимости от соответствия условию)
(*отступы могут отображаться некорректно)

def my_function_name(smth_to_enter_in_function):

Пропуски, Nan, isnull

Поиск строк с пропусками, NaN с помощью isnull() и подсчет количества строк с пропусками

DataFrame.isnull()

df['source_column_name'].isnull()
Оставляет строки df, в которых в столбце source_column_name - значение NaN

print(df[df['source_column_name'].isnull()])
Вывод таблицы из строк пропусками

print(df[df['source_column_name'].isnull()].count())
Вывод количества строк с пропусками в столбце

См также
DataFrame.dropna
isna

Подсчет количества уникальных значений столбца и количества их упоминаний методом value_counts()

value_counts() возвращает объект, содержащий количество уникальных значений;

name.value_counts(subset=None, normalize=False, sort=True, ascending=False)

name.value_counts(normalize=False, sort=True, ascending=False, bins=None, dropna=True)

print(df['column_source_name'].value_counts())

normalize (считать ли частоту появления значения или количество)

dropna ( учитывать ли пропущенные значения)

sort (сортировать ли по количеству появления значения)

Подписка на RSS - функция