法律解析：

这种情况可以先与男方协商，若协商不成，可通过法律途径解决，如向法院申请变更抚养权。

当抚养权归男方但男方却不实际抚养时，首先应该尝试与男方进行沟通和协商。明确指出男方不履行抚养义务的问题，并寻求解决方案，看是否能促使男方承担起应有的抚养责任。

如果协商无果，那么可以考虑采取法律手段。可以向有管辖权的法院，申请变更抚养权。在诉讼过程中，需要提供充分的证据来证明男方确实没有履行抚养义务，比如男方长期不照顾孩子的生活、学习等方面，对孩子的成长和发展造成了不利影响。

同时，也要考虑自身是否具备更好的抚养条件。法院在审理抚养权变更案件时，通常会综合考虑多方面因素，如父母双方的抚养能力、抚养意愿、孩子的意愿（如果孩子具备一定的认知能力）、孩子的生活和学习环境等。

还可以寻求相关部门或机构的帮助和支持，如妇联、社区等，他们可能会提供一些调解和协助的服务。

总之，在面对这种情况时，要通过合理合法的途径来维护孩子的权益和自身的合法权益，确保孩子能够在一个健康、稳定和有利于成长的环境中生活。要坚定地为孩子争取应有的抚养和关爱。

法律依据：

《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》 第五十六条

具有下列情形之一，父母一方要求变更子女抚养关系的，人民法院应予支持：

（一）与子女共同生活的一方因患严重疾病或者因伤残无力继续抚养子女；

（二）与子女共同生活的一方不尽抚养义务或有虐待子女行为，或者其与子女共同生活对子女身心健康确有不利影响；

（三）已满八周岁的子女，愿随另一方生活，该方又有抚养能力；

（四）有其他正当理由需要变更。