买了衣服不给退不一定违法，需要根据具体情况来判断。

在一般情况下，商家是否必须给消费者退衣服，取决于多种因素。首先要看商家在销售时是否有明确的退换货政策。如果商家明确告知了消费者某些情况下不能退换，而消费者在购买时知晓并同意了这些条款，那么商家按照约定执行并不违法。

如果商家没有明确告知不可退换的情况，或者存在一些特殊情形，比如衣服存在质量问题，那么消费者有权要求退货。根据《中华人民共和国消费者权益保护法》，经营者提供的商品或者服务不符合质量要求的，消费者可以依照国家规定、当事人约定退货，或者要求经营者履行更换、修理等义务。

如果商家存在欺诈行为，例如虚假宣传、误导消费者等，消费者不仅可以要求退货，还可能有权要求。在这种情况下，商家拒绝退货就是违法的。

同时，消费者自身的行为也可能影响退货权利。比如衣服已经穿过、损坏或影响二次销售，商家有权拒绝退货。消费者在购买商品后，应该妥善保管相关凭证和商品包装等，以便在需要退货时能够顺利进行。

总之，买了衣服不给退是否违法不能一概而论，要综合考虑各种因素。消费者在遇到此类问题时，可以先与商家进行沟通协商，如果协商不成，可以向消费者协会或相关部门投诉，以维护自己的合法权益。消费者要明确自己的权利和义务，合理合法地主张自己的诉求。

《消费者权益保护法》第二十四条

经营者提供的商品或者服务不符合质量要求的，消费者可以依照国家规定、当事人约定退货，或者要求经营者履行更换、修理等义务。没有国家规定和当事人约定的，消费者可以自收到商品之日起七日内退货；七日后符合法定解除合同条件的，消费者可以及时退货，不符合法定解除合同条件的，可以要求经营者履行更换、修理等义务。

依照前款规定进行退货、更换、修理的，经营者应当承担运输等必要费用。