退婚时三金的处理通常需根据具体情况协商，一般可能会返还给男方。

在退婚的情况下，三金的处理确实是一个需要谨慎对待的问题。首先要明确的是，三金在法律上可能被视为以为目的的赠与。如果婚约解除，那么关于三金的归属就需要综合多方面因素来考虑。

如果是男方提出退婚，且不存在女方的过错，那么女方可能会认为三金是对其感情和时间付出的一种补偿，不一定会愿意全额返还。但如果双方能够通过友好协商达成一致，比如女方返还部分三金或其他方式，也是可行的。

而如果是女方提出退婚，在没有特殊约定的情况下，从法律和道德层面来看，女方返还三金给男方是比较常见的做法。当然，也可能存在一些特殊情况，比如三金在共同生活期间有损坏或遗失等，这就需要双方根据实际情况进行协商和处理。

无论哪种情况，最好的方式都是双方能够心平气和地坐下来沟通，以公平、合理的原则来解决三金的问题。毕竟曾经有过一段感情，即使不能走到也尽量不要因为钱财问题而产生过多的纠纷和矛盾。如果双方无法自行协商解决，也可以考虑通过法律途径来解决，但这往往是最后的选择，因为法律程序可能会耗费双方大量的时间和精力。

总之，退婚时三金的处理要具体问题具体分析，以和平、理性的方式妥善解决，避免不必要的麻烦和冲突。

《最高人民法院关于适用 婚姻家庭编的解释（一）》 第五条

当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：

（一）双方未办理结婚登记手续；

（二）双方办理结婚登记手续但确未共同生活；

（三）婚前给付并导致给付人生活困难。

适用前款第二项、第三项的规定，应当以双方离婚为条件。