1967 yılında Gaziantep'te dünyaya gelen Yılmaz, ilk, orta ve lise eğitimini tamamladıktan sonra meslek yaşantısına başladı. Halen Anadolu Ünversitesi'nde lisans eğitimini sürdüren Yılmaz, 2004 ve 2009 yılı seçimlerinden AK Parti'den Nurdağı Belediye Başkanı seçildi. Yılmaz, evli ve 4 çocuk babası.