不正当男女关系的认定涉及多个方面，主要包括以下几点：

有配偶者与他人同居：根据《中华人民共和国民法典》第一千零四十二条的规定，禁止有配偶者与他人同居。这意味着，如果一方已经结婚，而与另一方发生同居关系，这种行为被视为不正当男女关系。

双方均无配偶的不正当关系：对于双方都没有配偶的同居关系，只要双方存在持续性的、稳定的不正当关系，也同样被视为不正当男女关系。这种情况下，法律通常不予以保护。

权色、钱色交易：如果不正当男女关系中涉及到利益交换，如利用职权或职务上的影响为对方谋取利益，这种行为不仅违反了道德，还可能触犯法律，属于权色或钱色交易，严重时可能构成犯罪。

法律后果：在法律层面上，不正当男女关系一般不会涉及到刑事责任，但可能会面临民事上的分割，如财产分割和子女抚养权问题。如果涉及权色、钱色交易，可能会受到纪律处分或刑事处罚。

总结来说，不正当男女关系的认定主要关注在有配偶者与他人同居、双方均无配偶的持续性不正当关系以及涉及利益交换的行为。这些行为虽然不一定会构成刑事责任，但可能会引发民事纠纷或纪律处分。在处理此类问题时，应当注意收集相关证据，以便在法律程序中维护自身权益。