法律解析：

如果要求女方退还彩礼但没证据，这确实会增加难度，但并非毫无办法，可以尝试从其他方面收集间接证据或寻找相关的法律支持。

在这种情况下，首先不要慌张和轻易放弃。虽然直接证据可能缺乏，但可以从以下几个方面着手努力。可以回忆当初给付彩礼时的具体情形，是否有在场的证人，比如双方的亲朋好友，看能否争取他们的证言支持。

还可以查找相关的转账记录、支付凭证等，这些虽然可能不能直接证明是彩礼，但也能起到一定的辅助作用。此外，与女方及其家人进行沟通时，可以进行录音，也许在交流过程中能获取到对自己有利的信息或承认。

从法律角度来看，根据相关规定，彩礼的返还需要符合一定条件。如果双方未办理登记手续，或者办理结婚登记手续但确未共同生活，或者婚前给付并导致给付人生活困难的，在这些情况下，即便没有直接证据，也可以依据法律规定，通过合理的阐述和推理来主张权利。

同时，也可以寻求专业的帮助。律师具有丰富的经验和专业知识，能够根据具体情况制定合适的策略，帮助挖掘可能存在的证据线索，通过合法的途径来争取退还彩礼。总之，尽管没有直接证据会面临挑战，但通过多种方式的努力和法律途径，还是有可能实现诉求的。

法律依据：

《最高人民法院关于适用〈中华人民共和国民法典〉婚姻家庭编的解释（一）》 第五条

当事人请求返还按照习俗给付的彩礼的，如果查明属于以下情形，人民法院应当予以支持：

（一）双方未办理结婚登记手续；

（二）双方办理结婚登记手续但确未共同生活；

（三）婚前给付并导致给付人生活困难。

适用前款第二项、第三项的规定，应当以双方离婚为条件。