Legacy est formé dans la région de San Francisco en 1983, par le batteur Louie Clemente et les guitaristes Eric Peterson et Derek Ramirez. Le groupe est rapidement rejoint par le bassiste Greg Christian et le chanteur Steve Souza, puis Ramirez est remplacé par le jeune prodige guitariste Alex Skolnick, élève du célèbre et virtuose Joe Satriani, encore méconnu à l'époque. Plus tard, Steve Souza quitte la formation pour le groupe Exodus et suggère le nom de Chuck Billy comme son successeur. Pendant l'enregistrement de leur premier album, le groupe doit changer de nom pour des raisons de copyright et les membres choisissent Testament.

Le premier album de Testament, The Legacy, voit le jour en 1987. C'est un album court et technique dans la pure lignée du Thrash Metal classique, toujours considéré actuellement comme un classique du genre par les fans. La renommée de testament fut instantanée dans les cercles du Thrash et la formation fut comparée à Metallica, pionniers du genre. Le groupe met à profit cette célébrité dans une grande tournée aux États-Unis et en Europe, aux cotés d'Anthrax. Un Maxi ( Live at Eindhoven ) est enregistré pendant cette tournée.

Le deuxième album du groupe, The New Order, sort en 1988. Il est dans la même veine que son prédécesseur, et également suivi d'une tournée à succès.

En 1989, les membres du groupe reviennent en studio pour enregistrer ce qui restera leur plus grand succès : Practice what you preach ( souvent raccourci en Practice par les fans ). Les thèmes abordés dans Practice sont beaucoup plus terre à terre que ceux ( plus gothiques et occultes) abordés dans leurs deux premiers albums.

Par la suite, Testament n'a jamais vraiment réussi à retrouver le succès qui était le sien avec Practice, en 1990 sort Souls of Black, dont les ventes ne sont pas très bonnes. Puis, en 1992, dans un espoir de recapter l'attention d'un public plutôt acquis au mouvement grunge, le groupe sort un album qui renoue avec un son plus Heavy metal traditionnel. Là non plus les ventes ne suivent pas et le groupe commence à imploser.

Alex Skolnick, le guitariste leader, frustré par les limitations stylistiques du groupe quitte celui-ci pour rejoindre Savatage, puis c'est au tour du batteur Louie Clemente de s'en aller. En 1993, ceux-ci sont remplacés par le guitariste et le batteur du groupe de Thrash Forbidden, Glen Alvelais et Paul Bostaph. La nouvelle formation sort alors un Maxi, Return to Apocalyptic City. Mais Glen Alvelais quitte le groupe et Paul Bostaph rejoint Slayer peu après.

Entre de nombreux changements de lineup, le groupe sort les album Low (1994), Demonic (1997) qui voit le groupe expérimenter un son plus Death Metal et The Gathering (1999).

Malgré la découverte de cancers chez deux de leurs membres, Testament enregistre en 2001 une compilation des meilleurs morceaux de leurs deux premiers albums (First Strike Still Deadly).