İlçenin Yenipayam köyü sınırlarında yer alan ve sadece teknelerle ulaşılabilen Hastek Kalesi, Keban Baraj Gölü'ne dik inen kayalıkların kat kat oyulmasıyla yapılmış, odalar ve bu odaları birbirine bağlayan birkaç metre uzunluğundaki dar galerilerden oluşuyor
Kale içerisinde geniş kullanımlı odalar, tapınak alanı ve kaya mezarını andıran bölümler ile galerilerde yer yer ışık alma, havalandırma ya da düşmana karşı savunma yeri olarak kullanılan mazgal delikleri bulunuyor.
Fırat Üniversitesi (FÜ) İnsani ve Sosyal Bilimler Fakültesi Sanat Tarihi Bölümü Başkanı Doç. Dr. Korkmaz Şen, AA muhabirine, Hastek Kalesi olarak bilinen yerin Hıristiyanlık öncesi dönemde yapılmış bir tapınak alanı olma ihtimalinin çok yüksek olduğunu belirtti.
Buranın benzer bir örneğinin Çemişgezek ilçesinde Tahar Çayı Vadisi'ndeki kayalara oyulmuş "İn Delikleri" olduğunu ifade eden Şen, şöyle konuştu:
"Eski antik kaynaklarda Euphrates günümüzdeki adıyla Fırat Nehri'nin hemen kenarında yer alan Hastek Kalesi bölgemiz için çok önemli yerlerden biri. Özellikle halk arasında kale olarak anılan yer için bir tapınma alanı olabileceğini ihtimal dışı bırakmamak gerekir. İn Delikleri'nde de birkaç kattan oluşan kaya oymaları bulunuyor. Aynı şekilde kale üç katlı şekilde tasarlanmış, ana kaya üzerine oyularak yapılmıştır.