男方可以先与女方协商，若协商不成，可考虑通过法律途径解决，向法院提起诉讼要求女方退还彩礼。

在这种情况下，男方首先应尽量通过沟通和协商的方式与女方及其家人进行交流，明确表达自己希望女方退还彩礼的意愿，并说明依据和理由。在协商过程中，要保持理性和冷静，避免情绪化的争吵和冲突，以免使情况进一步恶化。

如果协商无果，男方可以考虑通过法律手段来维护自己的权益。根据相关法律规定，符合一定条件的彩礼是可以要求返还的。男方需要收集和整理相关证据，如彩礼的支付凭证、证人证言等，以证明彩礼的存在和金额。

在向法院时，男方要明确诉讼请求和事实理由，清晰阐述女方退婚且不愿退还彩礼的情况。法院会依据法律规定和具体事实进行审理和判决。

需要注意的是，在处理此类问题时，男方要依法依规进行，不可采取过激或违法的行为。同时，要尊重法律程序和判决结果，即使对判决结果不满意，也应通过合法的途径进行申诉。在订婚时，双方最好能对彩礼等重要事项进行明确约定，以避免日后可能出现的纠纷。

《最高人民法院关于适用 婚姻家庭编的解释（一）》 第五条

当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：

（一）双方未办理结婚登记手续；

（二）双方办理结婚登记手续但确未共同生活；

（三）婚前给付并导致给付人生活困难。

适用前款第二项、第三项的规定，应当以双方离婚为条件。