Haydar Yılmaz, 1949 yılında Sivas'ta doğdu. İlk, orta ve lise öğrenimini Sivas'ta tamamlayan Yılmaz, bir süre Sivas Zirai Donatım Kurumu'nda memur olarak çalıştı. 1976 yılında EDMMA’dan, şimdiki adıyla Fırat Üniversitesi Makina Fakültesi’nden Makina Mühendisi olarak mezun oldu. 1976-1979 Ankara Belediyesi’nde Mühendis ve yönetici olarak çalıştı. 1979-1980 yıllarında yedek subay olarak askerliğini tamamlayıp, serbest çalışmaya başladı. 1991 yılında SHP Çankaya ilçe sekreteri görevini yürütürken ilçe başkanı seçilen Yılmaz, bu görevi SHP-CHP birleşmesine kadar sürdü. 1995 yılında CHP Çankaya İlçe Kongresi’nde ilçe başkanı seçildi. 1998’de CHP Ankara İl Başkanı seçildi. 1999 yerel seçimlerinde Çankaya Belediye Başkanı seçildi ve 1999-2004 yılları arasında Çankaya Belediye Başkanlığı yaptı. Haydar Yılmaz, Çiğdem Yılmaz ile evli olup iki çocuk sahibidir. Oğlu Burak Yılmaz diş hekimi ve kızlı Burcu Yılmaz iç mimardır.