1971 yılının yazı biterken Türkiye'ye dönen Erkin Koray, Super Group adını verdiği yeni bir orkestra kurdu. Burada da Sedat Avcı ile çalışan Koray, bas gitara ise Almanya'da tanıştığı Jerzy Ziembrowski'yi getirdi. Grup, underground ve psychedelic bir müzik yapacağını açıkladı. Grup, "Yağmur / Aşka İnanmıyorum" ve "Sen Yoksun Diye / Goca Dünya" şarkılarını kaydedip dağıldı. Ağustos 1972'de Bunalımlar grubundan gitarist Aydın Cakus ve baterist Nur Yenal'ın yayına genç bas gitarist Özkan Uğur'u alarak Ter grubunu kuran Koray, bu grupla Kasım ayında "Hor Görme Garibi / Züleyha" 45'liğini çıkardı. Ankara'da on beş bin kişinin katıldığı bir konserin ortasında Koray'ın gitarının telinin kopması sonrası Koray, sahneden ayrıldı ve bu hadise sonrası Koray, grup ile iletişimi kopararak bir daha onlarla çalmadı.
Bu grup denemeleri sonrasında Koray, genellikle solo çalışmalar yapıp yılları arasında Türkiye'deki müzik listelerinde üst sıralarda yer alan klasikleşmiş birçok esere imza attı. 1973'te bir kaç sene önce Lennon'a çaldığı "Mesafeler" 45'lik olarak yayınlandı. Arka yüzünde "Silinmeyen Hatıralar" şarkısının yer aldığı çalışmada Koray'a, davulda Sedat Avcı'nın yanı sıra elektro gitarda Attila Ertem ve bas gitarda Mehmet Tiber destek vermişti. Bu sırada Koray, 19 Ekim 1973'te Müge Duruman ile evlendi.1974 yılı ise Koray'ın en başarılı yıllarından biri oldu. Bu dönemde "Şaşkın / Eyvah", "Krallar / Dost Acı Söyler" ve "Feshupanallah / Komşu Kızı" 45'liklerini çıkaran Koray'a bateride Nihat Örerel, bas gitarda da Rauf Ülgün eşlik etti. "Krallar" plağının kapağında kendi çizimini kullan Koray, "Feshupanallah"ı kapağında ise yüzü boyalı bir halde yer alıyordu. Bu dönemde Koray, Nazilli ilçesinde bir konser verdi ve bu kayıtlar yıllar sonra Live in Nazilli 1974 adıyla resmi olmayan bir bootleg olarak piyasaya sürüldü. Yıllar sonra "Feshupanallah"ın bestecisi konusunda tartışmalar ortaya çıktı ve şarkının aslında Romeo Lahoud tarafından "Weily Weily" olarak yazıldığı ve 1970'de piyasaya sürüldüğü iddia edildi.
1975 yılının başında Koray, ilk uzun çaları Elektronik Türküler'i albümde kendisine Sedat Avcı ile bas gitarist Ahmet Güvenç eşlik ediyordu. Erkin Koray 1975-1984 yılları arasında kısa sürelerde Türkiye'ye gelişleri dışında Hollanda, Almanya ve Kanada'da yaşadı. Hakkında pek fazla bilgi olmayan bu dönemde, Estarabim, Arap Saçı gibi çok bilinen eserleri yayımladı. Koray, 1977 yılında Erkin Koray Tutkusu adlı uzunçaları yayınladı ve grubuna da aynı adı verdi. Bu grupta davulda Okay Temiz, gitarda Orhan Ünal, bas gitarda ise Harun Kolçak bulunmaktaydı. Albümde Koray'ın Hollanda'da kaydettiği iki İngilizce şarkı da bulunmaktaydı. Koray, albümden sonra tekrar bir süre Avrupa'ya çıktı.
1980'LER
Erkin Koray, 1982'de Benden Sana albümünü yayınladı. Albümün bir kısmını Almanya'da Köln ve Hamburg'da kaydederken bir kısmını da İstanbul'da kaydetti. Albümde Koray'a, Haluk Taşoğlu ve Sedat Avcı'nın yanı sıra Hint müzisyen Harpal Singh de destek verdi. Albümdeki şarkıların bir kısmı (Meyhanede, Öyle Bir Geçer, Sayın Arkadaşım Osman) Hint müzisyenlerin bestelerine Erkin Koray'ın Türkçe yazdığı sözlerden oluşur.
Bir sene sonra ise İlla Ki albümünü yayınladı. Bu albüm içindeki şarkılar kadar, Nuri Kurtcebe'nin çizdiği albüm kapağı ve plak versiyonunun şeffaf olmasıyla da dikkat çekiyordu. Miksajı Köln'de yapılan albümde İlla Ki, Deli Kadın, Tek Başına gibi hit şarkıların yanında Kızları da Alın Askere ve Hop Hop Gelsin gibi eski şarkıların da yeni yorumları yer alıyordu.