Joe Thomas est issu d’une famille de 5 enfants, il a grandi dans un environnement très gospel. A l’âge de 2 ans, Joe quitte la Georgie pour s’installer en Alabama avec sa famille. Il fait partie d’une chorale au sein d’une église, jouant de la guitare puis en dirigeant lui-même la chorale. Vers la fin des années 80, il est membre de groupes locaux dans l’Alabama. Par la suite, il s’installera à New York pour poursuivre sa carrière musicale.

Tout en travaillant au sein d’une chorale, Joe fait la rencontre du producteur Vincent Herbert, et enregistre une démo. Il sort alors son premier album Everything en 1993. Il signe chez Jive Records en 1997, et sort l’album All That I Am (#13 US), vendu à ce jour à 1 millions d’exemplaires aux USA.

Mais c’est en 2000 que Joe connaît son plus grand succès à ce jour avec My Name Is Joe (#2 US). Cet album, poussé par le succès du single I Wanna Know, s’est écoulé à 2.6 millions aux USA, et à plus de 50 000 copies en France (disque d’argent). Il sort Better Days en 2001 (#32 US), et And Then… en 2003 (#26 US).

En 2007, Joe sort son 6ème album Ain’t Nothing Like Me, et réalise son meilleur classement depuis My Name Is Joe (#2 US, 98 000 copies en 1ère semaine). A titre de comparaison, son précédent album And Then… , écoulé à 121 000 exemplaires en 1ère semaine, n’a atteint que la 26ème place des charts américains.