Örgüt 2004 yılında "Tevhid ve Cihat" adıyla Ebu Musa Zerkavi tarafından Irak'ta kuruldu.
2006'da yayınlanan bir videoda Zerkavi, "Mücahitler Şurası Konseyi"ni kurduklarını açıkladı. Irak'taki Zerkavi 7 Haziran 2006'da ABD güçlerince düzenlenen bir operasyonda öldürüldü.