与精神病人打架需承担的责任，要根据具体情况来判断。

1. 如果精神病人在不能辨认或者不能控制自己行为的时候打人，经确认的，不负刑事责任，但是应当责令他的家属或者严加看管和。此时与之打架，如果造成对方受伤，可能需要承担民事。

2. 如果精神病人在精神正常的时候打人，那么其应承担相应的法律责任。而与之打架，如果是正当防卫且没有超过必要限度，不需要承担责任。但如果防卫过当，造成不应有的，应当承担适当的。

3. 若与精神病人打架并非出于防卫，而是主动攻击并造成对方受伤，根据受伤的程度，可能需要承担处罚责任，比如拘留、罚款等。如果造成轻伤及以上的严重后果，还可能构成伤害罪，需要承担刑事责任。

总之，与精神病人发生冲突并打架，应尽可能避免，并在必要时通过合法途径解决纠纷。

《中华人民共和国刑法》第二百三十四条故意伤害罪

故意伤害他人身体的，处三年以下有期徒刑、拘役或者管制。 犯前款罪，致人重伤的，处三年以上十年以下有期徒刑；致人死亡或者以特别残忍手段致人重伤造成严重残疾的，处十年以上有期徒刑、无期徒刑或者死刑。本法另有规定的，依照规定。