python 查找两列不同的值、相同的值(dataframe数据探索)

在做数据挖掘时,查看训练集、测试集数据的情况时,有时需要查看两者之间不同的值和相同的值。

import pandas as pd
import numpy as np
data1 = pd.DataFrame({ 
    'a':[1,2,3,4,5,6,7,8,9,9]
})
data2 = pd.DataFrame({ 
    'a':[1,12,13,14,15,16,17,18,19,19]
})
def same_element(list1,list2):
    set1 = set(list1)
    set2 = set(list2)
    return (set1 & set2),(set1 ^ set2),((set1|set2)-set2),((set1|set2)-set1)

same,dif,alone_forward,alone_backward = same_element(data1['a'],data2['a'])
print('相同的元素:',same,'相同元素个数:',len(same))
print('不同的元素:',dif,'不相同的元素个数:',len(dif))
print('列表1有列表2没有的元素:',alone_forward,'列表1有列表2没有的元素个数:',len(alone_forward))
print('列表1没有列表2有的元素:',alone_backward,'列表1没有列表2有的元素个数:',len(alone_backward))

结果如下:

相同的元素: {1} 相同元素个数: 1
不同的元素: {2, 3, 4, 5, 6, 7, 8, 9, 12, 13, 14, 15, 16, 17, 18, 19} 不相同的元素个数: 16
列表1有列表2没有的元素: {2, 3, 4, 5, 6, 7, 8, 9} 列表1有列表2没有的元素个数: 8
列表1没有列表2有的元素: {12, 13, 14, 15, 16, 17, 18, 19} 列表1没有列表2有的元素个数: 8

一列一列的查看太慢,所以改进一下:

train_data = pd.DataFrame({ 
    'a':[1,2,3,4,5,5],
    'b':['k','g','k','t','a','p']
})
test_data = pd.DataFrame({ 
    'a':[1,12,13,14,19,19],
    'b':['g','b','y','k','d','y']
})
def same_element(train_data,test_data):
    col_list = train_data.columns.tolist()
    for i in col_list:
        set1 = set(train_data[i])
        set2 = set(test_data[i])
        print(i,'相同的元素:', (set1 & set2),  i,'相同元素的个数:', len(set1 & set2))
        print(i,'不同的元素:', (set1 ^ set2),  i, '不相同的元素个数:', len(set1 ^ set2))
        print(i,'train_data有test_data没有的元素:', ((set1|set2)-set2),  i,'train_data有test_data没有的元素个数:', len(((set1|set2)-set2)))
        print(i,'train_data没有test_data有的元素:', ((set1|set2)-set1),  i, 'train_data没有test_data有的元素个数:', len(((set1|set2)-set1)))
same_element(train_data,test_data)

结果为:

a 相同的元素: {1} a 相同元素个数: 1
a 不同的元素: {2, 3, 4, 5, 12, 13, 14, 19} a 不相同的元素个数: 8
a train_data有test_data没有的元素: {2, 3, 4, 5} a train_data有test_data没有的元素个数: 4
a train_data没有test_data有的元素: {19, 12, 13, 14} a train_data没有test_data有的元素个数: 4
b 相同的元素: {'k', 'g'} b 相同元素个数: 2
b 不同的元素: {'b', 'y', 'a', 't', 'd', 'p'} b 不相同的元素个数: 6
b train_data有test_data没有的元素: {'t', 'p', 'a'} b train_data有test_data没有的元素个数: 3
b train_data没有test_data有的元素: {'b', 'y', 'd'} b train_data没有test_data有的元素个数: 3
    原文作者:蓝翔厨师长
    原文地址: https://blog.csdn.net/qq_38415758/article/details/109393286
    本文转自网络文章,转载此文章仅为分享知识,如有侵权,请联系博主进行删除。
点赞