Le nom du groupe serait inspiré par une chanson de Leonard Cohen où la locution « the sisters of mercy » désignerait alternativement un ordre religieux du même nom, et des prostituées. Très influent dans les milieux gothiques, le groupe n'a pourtant sorti que trois albums en près de 25 ans d'existence. Le travail sur le son et la mélodie ont toujours caractérisé leurs Å“uvres. Leurs concerts sont souvent décrits comme une « expérience », incluants des nappes de fumée épaisse accompagnées d'effets lumineux. Le groupe a toujours été fortement marqué par la personnalité d'Andrew Eldritch, frontman charismatique. Très indépendant et voulant garder le contrôle artistique du groupe, Andrew Eldritch crée Merciful Release, son propre label, et même lorsqu'il signera avec la major WEA, il gardera au sein de cette collaboration la production, le design et la direction artistique des disques, WEA s'occupant de la distribution et de la promotion du groupe. Volontiers provocateur, il a toujours rejeté la qualification de gothique, malgré l'unanimité de la critique pour dire qu'il est un des fondateurs du style. Ses paroles sont souvent cyniques, désabusées, voir même nébuleuses pour certains, faisant référence à divers artistes, philosophes et évenements historiques qu'il apprécie.

Fondé en 1979 à Leeds par Andrew Eldritch et Gary Marx, le groupe sort quelques singles, qui seront repris plus tard sur Some girls wander by mistake en 1992. Une première version de « Temple of love », futur hit, sort en 1983. À noter que sur les singles apparaît déjà un membre prépondérant du groupe jusqu'à ce jour : Doktor Avalanche, la boîte à rythmes qui sert de batterie. L'utilisation d'une boîte à rythmes dans un groupe par ailleurs purement rock met déjà les Sisters à part d'une grande partie de la scène.

Après quelques changements de line-up (et le départ fin 1983 du guitariste Ben Gunn), le groupe, qui comprend maintenant Eldritch (chant), Marx (guitare), Craig Adams (basse) et Wayne Hussey (guitare), sort First and Last and Always le 11 mars 1985 . Son de guitare aigrelet mais clair, basse chaleureuse et hyper mélodique, et voix sépulcrale d'Eldritch fournissent ce que certains appeleront plus tard "le son gothique". Le groupe déclare souvent ne pas aimer le son de l'album.

Les dissensions internes sont pourtant là. L'album à peine sorti, il entre dans le Top 20 anglais, alors que Marx quitte le groupe. Une rumeur aurait voulu que la chanson "Walk Away" lui ai été dédiée. En 1986, c'est au tour de Wayne Hussey de partir, suivi de Adams. Ils fonderont The Mission, groupe qui s'avéra apprécié des fans des "Sisters" et de la critique, mais détesté par Eldritch qui déclarera que Hussey est un des pires auteurs qu'il ai rencontré.

Alors que le groupe est à son apogée commerciale, il se trouve réduit à la seule personne d'Eldritch, incapable de donner des concerts dans ces circonstances. Contre toute attente, il ne recrute qu'un nouveau membre, Patricia Morrison (ex Gun Club), pour tenir la basse.

De cette collaboration suivra l'album Floodland, sorti en novembre 1987. L'album montre une nouvelle forme de maturité, les chansons étant plus complexes et atmosphériques. Les claviers prennent plus de place sans étouffer les guitares pour autant. L'album est moins simple et direct que son prédécesseur, mais cela ne l'empêche pas de connaître un succès encore plus grand, notamment grâce au single "Lucretia/My Reflection".

En 1990, Morrison quitte également le groupe, et sera remplacée par Tony James (ex Generation X et Sigue Sigue Sputnik) à la basse. Andreas Bruhn et Tim Bricheno rejoignent le groupe aux guitares, et le groupe peut à nouveau jouer live.

Eldritch et Bruhn composent le nouvel album Vision Thing sorti en octobre 1990. Alors que Floodland était un pas vers la complexité et l'atmosphérique, Vision Thing est un retour à la simplicité. Un son rock très classique, peu de claviers, l'album est plus accessible. Il semble aussi un peu moins inspiré et plus inégal. Le succès n'est pas aussi important malgré des singles bien choisis qui fonctionnent bien.

En 1992, la sortie de la compilation de singles de début de carrière Some girls wander by mistake est l'occasion de sortir une nouvelle version de « Temple of love », avec Ofra Haza qui accompagne Andrew Eldritch au chant. Largement plus complexe et atmosphérique que la première version, il s'agit du single des Sisters ayant connu le plus de succès à ce jour.

En 1993 sort A slight case of overbombing, un best-of du groupe.

Depuis cette époque, le groupe a encore connu quelques changements de line-up. Bien que se produisant encore à intervalles réguliers en concert, plus aucun enregistrement n'a été offert au public. Cependant ,le groupe fait ce qui serait un tournée finale :"Sisters Bite The Silver Bullet" en 2006-2007.