法律解析：

被别人打时打回去不一定算正当防卫，要根据具体情况来判断。

正当防卫是指为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为，对不法侵害人造成损害的，属于正当防卫，不负刑事责任。但在实践中，对于被打后打回去是否属于正当防卫的认定是比较复杂的。

需要看还手的时机。如果是在对方的不法侵害正在进行时，为了阻止对方的侵害而进行的必要回击，且没有明显超过必要限度，那么有可能被认定为正当防卫。如果是在对方已经停止侵害后再进行还手，通常就不构成正当防卫了。

还要考虑还手的程度。正当防卫不能明显超过必要限度造成重大损害。如果还手的行为造成对方重伤或死亡等严重后果，而原本对方的侵害行为并不足以导致如此严重的后果，那么就可能被认定为防卫过当。

还有一些特殊情况需要综合考量。比如在双方互殴的情况下，一般很难认定其中一方的行为是单纯的正当防卫。因为双方都有伤害对方的故意，而不是单纯为了防卫。

总之，被别人打时打回去是否算正当防卫不能一概而论，需要结合具体的案件事实和证据，从侵害的时间、程度、主观意图等多方面进行分析和判断。在面对被打等情况时，应保持冷静，尽量避免采取过激的行为，及时报警并寻求法律保护。

法律依据：

《刑法》第二十条

为了使国家、公共利益、本人或者他人的人身、财产和其他权利免受正在进行的不法侵害，而采取的制止不法侵害的行为，对不法侵害人造成损害的，属于正当防卫，不负刑事责任。

正当防卫明显超过必要限度造成重大损害的，应当负刑事责任，但是应当减轻或者免除处罚。

对正在进行行凶、杀人、抢劫、强奸、绑架以及其他严重危及人身安全的暴力犯罪，采取防卫行为，造成不法侵害人伤亡的，不属于防卫过当，不负刑事责任。