value_counts()

Для избавления от полных дубликатов duplicated() и drop_duplicates()
1) duplicated()
df.duplicated().sum()
возвращает количество дубликатов

df['col'].duplicated().sum()
возвращает количество дубликатов в столбце col

2) .value_counts()
анализирует столбец, выбирает каждое уникальное значение и подсчитывает частоту его встречаемости в списке
df['col'].value_counts()
Покажет все уникальные значения в столбце "col", а также, сколько раз встречается каждое из них.

value_counts() возвращает объект, содержащий количество уникальных значений;

name.value_counts(subset=None, normalize=False, sort=True, ascending=False)

name.value_counts(normalize=False, sort=True, ascending=False, bins=None, dropna=True)

print(df['column_source_name'].value_counts())

normalize (считать ли частоту появления значения или количество)

dropna ( учитывать ли пропущенные значения)

sort (сортировать ли по количеству появления значения)