一般来说，如果并共同生活了较长时间，时通常不用退还钱。但具体情况要根据法律规定和实际情况综合判断。

1. 若双方办理手续但确未共同生活的，离婚时男方主张，法院可能会支持。

2. 若婚前彩礼并导致给付人生活困难的，离婚时男方要求返还彩礼，这种情况法院也可能予以支持。

需要注意的是，“共同生活时间较长”并没有一个明确的法定年限标准。在司法实践中，通常会综合考虑双方结婚时间的长短、有无生育子女、财产使用情况、双方经济状况、彩礼数额的大小、大小等情况，来酌情确定是否返还以及返还的数额。

判断是否需要退还彩礼，关键在于彩礼的给付是否导致给付人生活困难，以及双方共同生活的情况。

《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》 第五条

当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：

（一）双方未办理结婚登记手续；

（二）双方办理结婚登记手续但确未共同生活；

（三）婚前给付并导致给付人生活困难。

适用前款第二项、第三项的规定，应当以双方离婚为条件。