如果责任认定书下来对方不赔钱，可以通过多种途径来解决，比如协商、调解、诉讼等。

当遇到责任认定书下来后对方不赔钱的情况，不要慌张，可采取以下措施。尝试与对方再次进行协商沟通。以理性和客观的态度，向对方阐明责任认定的结果以及应承担的责任，看是否能达成一致意见并促使其主动履行赔偿义务。

若协商无果，可以考虑请求相关机构进行调解。例如，交通事故调解委员会等，他们可能会从中协调，帮助双方找到一个较为合理的解决方案。

如果调解也未能解决问题，那么诉讼可能是最后的途径。向有管辖权的法院，要求对方依法承担赔偿责任。在诉讼过程中，要准备好充分的证据，包括责任认定书、损失的相关证明等，以支持自己的诉求。

需要注意的是，在整个过程中要注意保存好所有与事故及处理相关的证据和文件，这对于后续的解决途径都非常重要。同时，要及时了解相关法律法规和程序规定，确保自己的权益得到最大程度的保护。不要轻易放弃自己的合法权益，通过合理合法的途径来争取应得的赔偿。

《中华人民共和国道路交通安全法》 第七十四条

对交通事故损害赔偿的争议，当事人可以请求公安机关交通管理部门调解，也可以直接向人民法院提起民事诉讼。

经公安机关交通管理部门调解，当事人未达成协议或者调解书生效后不履行的，当事人可以向人民法院提起民事诉讼。