Yılmaz Ankara, ilkokul ve ortaokul tahsilini Trabzon'un Düzköy ilçesinde tamamladı. 1984-1985 yıllarında Ankara ve Kars illerinde vatani görevini yapan Yılmaz Ankara, inşaat sektöründe faaliyet göstermekte. Siyasi hayatına 1985 yılında başlayan Ankara, Adalet ve Kalkınma Partisi'nin Düzköy ilçe kurucu başkanlığı ve 2003 ile 2012 yılları arasında da ilçe başkanlığı görevinde bulundu. 2013 yılında ise AK Parti Trabzon İl Yönetimine seçilerek, Siyasi ve Hukuki İşler Başkanlığı görevini yürüttü. İlçede faaliyet gösteren dernek ve sivil toplum kuruluşlarında da çeşitli görevler yürüttü.