法律解析：

一般情况下，若双方未办理结婚登记手续，或办理结婚登记手续但确未共同生活，或婚前给付并导致给付人生活困难的，在退婚时可以要求退还彩礼。

彩礼是中国传统婚姻习俗中的一部分，在退婚时彩礼的退还问题需要根据具体情况来判断。

如果双方只是订婚，并未办理登记手续，那么根据法律规定，收受彩礼的一方应当退还彩礼。因为此时婚姻关系尚未成立，彩礼的给付是以结婚为目的的，目的未达成，彩礼应当返还。

即便双方办理了结婚登记手续，但确未共同生活的，在时，给付彩礼的一方也有权要求退还彩礼。共同生活应当是指长期、稳定的共同居住和生活，而非短暂的相处。

如果婚前给付彩礼导致给付人生活困难的，在离婚时也可以请求退还彩礼。这里的生活困难是指绝对困难，即依靠个人财产和离婚时分得的财产无法维持当地基本生活水平。

当然，在具体案件中，法院会综合考虑各种因素，如彩礼的数额、双方的过错程度、共同生活的时间和程度等，来确定彩礼的退还比例和数额。

双方也可以通过协商的方式解决彩礼退还问题。如果协商不成，可以向人民法院，由法院依法判决。在诉讼过程中，当事人应当提供相关证据，如彩礼的给付凭证、双方未共同生活的证据等，以支持自己的诉讼请求。

总之，退婚时彩礼的退还需要根据具体情况判断，法律对此有明确的规定，但在实践中还需要结合具体案件进行综合分析和处理。

法律依据：

《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》 第五条

当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：

（一）双方未办理结婚登记手续；

（二）双方办理结婚登记手续但确未共同生活；

（三）婚前给付并导致给付人生活困难。

适用前款第二项、第三项的规定，应当以双方离婚为条件。