Jeffrey Phillip Wielandt est né à Bayonne dans le New Jersey en 1967, mais passe son enfance à Jackson, une autre ville de l'État. Il a une sœur, Amy. Enfant, son père l'appelait Flip, en référence à son second prénom. Jeffrey Wielandt a ses premiers contacts avec la guitare à l’âge de huit ans, mais se désintéresse bientôt de l'instrument et n’y revient que six ans plus tard. Il fréquente la Jackson Memorial High School. Peu de temps après, il commence à étudier la guitare classique, d’abord à Freehold, New Jersey, puis à Manhattan. Son premier groupe s’intitule Stone Henge et lors de différentes fêtes, il joue des reprises de Rush, Black Sabbath et d'Ozzy Osbourne.
En 1985, après ses études, il travaille dans un supermarché, joue pour différents groupes et commence à écrire des chansons. Il s’engage dans le groupe Zyris pour remplacer Dave Links qui joue désormais avec le groupe Overkill. Avec le début de Zyris, Jeffrey Wielandt se produit sous le nom de Zakari Wyland, en hommage au Dr. Zachary Smith de la série télévisée Lost in Space. Zyris joue des reprises de Led Zeppelin et de Black Sabbath. Le groupe assure quelques concerts à proximité du New Jersey. À la même époque, Wielandt donne des cours de guitare à Jackson. Après une prestation de Zyris, les photographes Dave Feld et Mark Weiss recommandent à Wielandt d'auditionner pour Ozzy Osbourne, qui cherche un nouveau guitariste. Travaillant dans une station-service, il estime n'avoir rien à perdre et passe l'audition durant laquelle il joue différents classiques du répertoire d'Ozzy Osbourne, ainsi que quelques morceaux classiques et acoustiques. Il rejoint le groupe d'Ozzy Osbourne en mai 1987 et change légalement son nom pour Zakk Wylde. En décembre 1987, il est présenté officiellement comme nouveau guitariste d'Osbourne au Hard Rock Cafe à New York. Après la tournée No More Tears en 1990, Ozzy Osbourne décide de prendre sa retraite, ce qui laisse à Wylde le temps de s'atteler à d'autres projets. Ainsi, avec le bassiste James Lomenzo et le batteur Greg deAngelo, il fonde le groupe Lynyrd Skynhead qui se concentre sur des reprises de Lynyrd Skynyrd et ZZ Top. Le 1er août 1993, Wylde décide de mettre de côté Lynyrd Skynhead et est appelé pour remplacer lors d'un concert, Dickey Betts des Allman Brothers Band, alors malade. L'année suivante, Zakk Wylde revient avec les membres de Lynyrd Skynhead, excepté le batteur Greg DeAngelo, remplacé par Brian Tichy et le nom du groupe devient Pride & Glory, mélange de genres country, rock sudiste et heavy metal.
En 1995, Ozzy Osbourne reprend Zakk Wylde pour l'album Ozzmosis. Puis les Guns n' roses proposent à Zakk de jouer avec eux. Wylde hésite si longtemps que finalement il ne fait pas partie de la tournée Ozzmosis, intitulée The Retirement Suck Tour et est remplacé par Joe Holmes. En 96 et sans groupe officiel, il sort le disque Book of Shadows (il doit encore un album à Geffen Records) dans un style mélangeant folk rock et rock sudiste, la plupart des chansons étant jouées à la guitare acoustique et au piano. En mai 98, Wylde, le batteur Phil Ondich et le guitariste Nick Catanese forment le groupe Hell’s Kitchen. Ils enregistrent Sonic Brew en Floride, qui sort le 28 octobre 1998, mais seulement au Japon. L'album ne sort pas aux États-Unis dans un premier temps, le groupe décidant collectivement que l'album devait être remixé. Il est finalement commercialisé le 4 mai 1999, partout en Amérique du Nord, avec une nouvelle pochette. Le groupe ayant besoin d’un bassiste, Wylde engage son ami et ex-collègue de Pride & Glory, James DeServio. Le groupe au complet est rebaptisé Black Label Society et joue du « boozy rock » (littéralement « rock de poivrot ») ainsi nommé par un critique du site Allmusic. Black Label Society est souvent considéré comme un club de bikers, notamment à cause des couleurs du groupe portées sur des vestes en cuir ou en jeans. Wylde a l'idée des patchs portés sur les vestes et celle des chapitres en lisant une biographie de Sonny Barger, le leader des Hells Angels. Durant l’été 2001, Zakk Wylde met de côté Black Label Society et fait son retour avec Ozzy, après une absence de six ans, et ils enregistrent Down to Earth. Entre-temps, Zakk Wylde collabore avec l'ancien claviériste de Dream Theater Derek Sherinian. Il joue sur l'album Inertia et collabore aux chansons Frankenstein, Even Knievel et What A Shame.
Cette collaboration est la première d'une longue série, puisque Wylde contribuera aux deux autres albums de Sherinian, sortis en 2003 et 2004. Après la tournée avec Ozzy Osbourne, Wylde revient avec Black Label Society et Craig Nunenmacher, pour enregistrer le disque 1919 Eternal. Le 17 janvier 2006, Zakk Wylde est immortalisé au Hollywood's RockWalk of Fame, où il laisse ses empreintes et sa signature en reconnaissance de sa carrière et de sa contribution à la musique. En août 2009 au BlizzCon, Ozzy Osbourne révèle que son nouveau guitariste est Gus G. à la place de Zakk. À la fin de l'été 2009, Zakk Wylde est hospitalisé pour des caillots de sang aux poumons et dans une jambe. En décembre 2009, Wylde confirme qu'un studio d'enregistrement est en construction chez lui en Californie, et qu'il allait enregistrer dans ce studio vers janvier-février pour une tentative de sortie mondiale du nouvel album de Black Label Society en avril 2010, de plus pour la première fois Wylde donna une représentation solo à la prison de Chingi en Californie. Zakk et son épouse Barbaranne Wylde ont trois enfants : une fille, Hayley-Rae et deux fils, Jesse John Michael (du nom de Ozzy Osbourne) et Michael Halen Hendrix Rhoads (du nom de Jimi Hendrix, Eddie Van Halen, Mike Piazza et Randy Rhoads). Ozzy Osbourne en est le parrain. Zakk Wylde, sa famille et ses Rottweilers vivent à l'extérieur de Los Angeles à Castaic. Barbaranne et Wylde étaient tous les deux élèves au Jackson Memorial High School, à Jackson.
Zakk Wylde était un ami proche de Dimebag Darrell, membre fondateur de Pantera et Damageplan, Wylde avait donné à Dimebag une guitare Gibson personnalisée avec la marque « bullseye » peu de temps avant que Dimebag soit assassiné sur scène le 8 décembre 2004 à Columbus, OH. De même, Dimebag avait personnalisé une Dean Razorback peinte selon la conception Bullseye. Zakk Wylde a dédié la chanson In This River à Dimebag, en précisant qu'elle n'avait pas été écrite pour lui, mais que les paroles étaient opportunes pour la situation. Zakk la joue à chaque performance live de Black Label Society et a pleuré sur scène à plusieurs reprises. Wylde est catholique irlandais et a aussi des origines allemandes. Dieu fait partie de son code d'honneur créé pour Black Label Society. Il a fait récemment un don de 1 000 000 $ au St. Jude Children’s Research Hospital. Zakk pratique la musculation et a de nombreux amis dans le monde du catch professionnel et parmi les stars de la WWE. Il apparait aussi dans le film "Rock Star" dans le faux groupe "Steel Dragon" et dans la série dans un épisode de la série Angel, où il joue de la guitare et reprend la chanson Mandy de Barry Manilow. En 2008, il joue dans le film Chasing 3000, interprétant le rôle d'un chef de gang. Enfin Wylde jouera le rôle de Jed dans le film Bones, avec Jimmy Bennett. Il apparait aussi à la télévision aux Jimmy Kimmel Live! et dans l'émission de MTV Wrestling Society X. En avril 2010, il tourne dans une épisode de la série produite par David Duchovny Californication.
Source