Il a commencé par apprendre le violon mais a vite changé pour le piano. À partir de 16 ans il s'est mis à jouer dans des bars, et a gagné un prix à l'école pour étudier la composition à la Royal Academy of Music de Londres.

Joe Jackson a connu divers stades dans sa composition. Durant les années 1970, sa musique est très rock, fortement influencée à partir de 1976 par les vagues New wave, Ska et Punk. Les rythmes de Got the time et de I'm the man illustrent au mieux cela. Son premier album Look Sharp (1979,A&M) à la célèbre pochette aux "Blue suede shoes" noire et blanche est une grande réussite doublée d'un succès critique et commercial. L'album n'a pas vieilli et il reprend aujourd'hui certains titres de "Look sharp" sur scène. Il lui donne son premier tube, Is she really going out with him?. Les albums suivant I'm the Man (1979, A&M) et Beat Crazy (1980, A&M) l'imposent comme un artiste vedette de la New Wave anglaise aux côtés de Police, Ian Dury, Elvis Costello, etc.

En 1981, il réalise un virage artistique et enregistre un album en hommage aux plus grands compositeurs noirs de Jazz avec Jumpin' Jive. La symbolique de la pochette de cet album, deux J illustrés par 2 saxophones est un parallèle à ses initiales. Le texte de la jaquette montre que Joe est un musicien avant tout et qu'il souhaite surtout s'amuser.

En 1982 paraît Night & Day, considéré comme le premier chef-d'Å“uvre de sa carrière post-rock. Influencée par des rythmes latins, la percussionniste Sue Hadjopoulos donne aux chansons un relief particulièrement chaud et entraînant. C'est sur cet album que l'on trouve un de ses plus grands tubes, Steppin' Out. À noter que si Steppin' Out dans sa version originale est sur un tempo rapide, Joe Jackson a l'habitude de le jouer en concert en l'introduisant par des variations du thème au piano à un ryhtme très lent.

L'album Body & Soul de 1984 est considéré par certains comme son deuxième chef-d'Å“uvre. Il a été enregistré dans une ancienne loge maçonnique à New York, qui lui confère une chaleur et un rendu des instruments très particulier et très fidèle. À l'instar de Night & Day, Body & Soul est (encore plus) influencé par les rythmes latinos, avec adjonction de cuivres. C'est sur cet album que l'on retrouve You can't get what you want (till you know what you want) et Happy Ending.

Joe Jackson accorde alors des interviews ou il reproche aux groupes pop de faire de la musique commerciale, ininspirée et plagiée. Il décide de sortir de la mouvance pop, et écrit l'album Big World. La version vinyle comporte trois faces, avec des chansons relativement pop. Que ce soit pour exprimer des sentiments de nostalgie (Home Town), de la vie courante (50 dollar love affair), historiques (Wild West), politiques (Right And Wrong), ou encore franchement caricaturaux (Jet Set), l'album est un voyage non seulement géographique mais d'états d'humeurs.

Sa véritable rupture avec la musique pop est consommée avec "Will Power", un album instrumental qui montre à quel point Joe Jackson est devenu un véritable musicien. Très atypique dans le paysage musical de 1987, l'album est accueilli avec beaucoup de modération. Joe enregistre ensuite une musique de film pour Tucker de Francis Ford Coppola.

Blaze of Glory et Laughter & Lust paraissent, albums à nouveau pop, mais empreints de la marque JJ.

Night Music paraît en 1994, certains le considèrent comme le troisième chef-d'Å“uvre du compositeur. Cet album est inspiré de la nuit, et se décline en berceuses, en instrumentaux de nuit, et en chansons douces. Il est remarqué musicalement, faisant intervenir des instruments comme les Ondes Martenot. Notons en particulier Ever after et The man who wrote Danny Boy , histoire d'un compositeur qui passe un pacte avec le diable pour avoir une seule fois la faculté d'écrire une chanson parfaite.

Heaven & Hell suit en 1997; c'est un album concept basé sur les sept péchés capitaux. Marqué par la guerre en ex-Yougoslavie, il s'agit souvent de mélodies agressives.

Symphony n°1, parue dans la collection Sony Classical et pour laquelle Joe a reçu un Grammy Award, marque la fin de la période des compositions orientées classique/jazz pour Joe Jackson.

Joe renoue ensuite avec la musique plus pop et effectue une série de concerts d'anciens albums, dont « Live in New York » paraît en 2000. À noter le retour à un style plus minimaliste comportant une basse, une batterie, et un clavier, Joe jouant lui-même de plusieurs instruments, dont le piano et le clavier.

Night & Day II paraît en 2000, et est à nouveau une belle réussite. Fortement inspiré de Night & Day, aidé par des musiciens comme Allison Cornwell, Graham Maby et Sue Hadjopulos, Night & Day II est un voyage à travers New York.

Il l'avait dit, son premier groupe ne se reformerait pas. Pourtant en 2003, Volume 4 paraît; c'est le 4e album avec ses acolytes Graham Maby, Gary Sandford et Dave Houghton. Fidèle au style des trois premiers albums, il renoue avec la tradition pop inspirée de la New Wave et en partie de la musique punk. Il renoue également avec eux pour les concerts, en formation à trois ou quatre.

En 2004 il collabore au nouvel album de William Shatner et chante avec lui sur le single "Common People" une reprise du hit de Pulp.

Joe a écrit un livre A Cure for Gravity qui est une autobiographie portant essentiellement sur ses jeunes années, jusqu'à l'enregistrement de Look Sharp! en 1978.

Un nouvel album devrait voir le jour aux alentours de Février/Mars 2008, selon les dires de Joe Jackson lui-même en tournée, qui présente actuellement certaines de ses nouvelles compositions sur scène.

Discographie:

* Look Sharp! (1979, A&M)
* I'm the Man (1979, A&M)
* Beat Crazy (1980, A&M)
* Jumpin' Jive (1981, A&M)
* Night and Day (1982, A&M)
* Mike's Murder (1983, A&M)
* Body & Soul (1984, A&M)
* Big World (1986, A&M)
* Will Power (1987, A&M)
* Live 1980/86 (1987, A&M)
* Tucker (1988, A&M)
* Blaze of Glory (1989, A&M)
* Laughter & Lust (1991, Virgin)
* Night Music (1994, Virgin)
* Heaven & Hell (1997, Sony)
* Symphony No. 1 (1999, Sony])
* Summer in the City: Live in New York (2000, Sony)
* Night and Day II (2000, Sony)
* The Best of Joe Jackson (2001, Universal)
* Two Rainy Nights (2002, Ryko)
* Volume 4 (2003, Ryko)
* Afterlife (2004, Ryko)
* Nouvel album (Février/Mars 2008)