Formé en 79 par le guitariste d'Aerosmith après un clash avec le chanteur Steven Tyler. Joe recrute le chanteur Ralph Morman du groupe Bux, le bassiste David Hull et le batteur Donny Stewart. Il conserve le label d'Aerosmith, Columbia Records et son producteur Jack Douglas. Le premier album solo est très bien perçu par la critique mais les addictions de Joe Perry rend le groupe instable. Ralph est remplacé par Charlie Farren sur le second album puis ce sont tous les membres qui sont remplacés sur le 3ème. En 85, Joe rejoint son ancien groupe. En 2000, alors qu'Aerosmith fait une pause, Joe ranime son projet mais se fait dorénavant accompagner de musiciens et invités prestigieux. En 2009, l'album 'Have Guitar Will Travel' comprend le chanteur allemand Hagen Grohe, le bassiste David Hull, le pianiste Willie Alexander, le claviériste Paul Santo et les batteurs Marty Richards, Ben Tileston et Scott Meeder. En 2016, Joe Perry est victime d'une crise cardiaque alors qu'il se produisait avec son groupe 'Hollywood Vampires', à Coney Island. En 2017, le producteur exécutif de l'album 'Sweetzerland Manifesto' est Johnny Depp. Parmi les invités, on note notamment Robin Zander du groupe Cheap Trick, David Johansen des New York Dolls, et le chanteur anglais Terry Reid.