Il commence les cours de trompette à l'âge de huit ans, et dès l'adolescence, il joue dans des bals. Après ses études au Fairfax High School en 1955, il part à l'armée, et joue fréquemment lors de cérémonies militaires. Après son service, il reprend ses études à l'USC (University of Southern California), au sein de laquelle il fait partie de la fanfare.
Il commence sa carrière chez RCA sous le nom de Dore Alpert. Il produit également le hit de Dante & the Evergreens Alley Oop.
En 1962, il fonde avec son partenaire Jerry Moss le label A&M Records.

Peu de temps après la création du label A&M Records, Alpert forme un groupe latino, Tijuana Brass. En 1962, Herb Alpert et le Tijuana Brass Orchestra sortent leur premier album, The Lonely Bull. C'est d'ailleurs le succès du Tijuana Brass qui popularise la musique latino-pop, même s'il est amusant de noter qu'aucun des membres du groupe n'était réellement hispanique. Alpert disait d'ailleurs que son groupe était constitué de "trois Pastramis, deux Bagels, et un fromage américain" : John Pisano (guitare électrique); Lou Pagani (piano); Nick Ceroli (batterie); Pat Senatore (basse); Tonni Kalash (trumpette); Herb Alpert (trumpette et voix); Bob Edmondson (trombone).
C'est en 1965 que le groupe atteint son apogée, avec l'album Going Places, d'où seront issus les hits Tijuana Taxi, Spanish Flea, Third Man Theme, and Zorba the Greek.
En 1967, le groupe joue également sur la bande originale du James Bond Casino Royale, écrite par Burt Bacharach. Herb Alpert a reçu avec son groupe Tijuana Brass six Grammy Awards. En 1996, il entre dans le livre Guinness des records pour être le seul artiste à classer simultanément cinq albums dans le top 20 des meilleures ventes aux États-Unis.

Herb Alpert se consacre aujourd'hui à la peinture expressionniste, et à la production de pièces à Broadway, comme Angels in America, qui obtint un Tony Award.
En 2000, il rachète les droits de ses chansons à Universal Music, qui a racheté A&M, et commence à remasteriser ses disques, publiés maintenant par le label Shout!Factory.