Köşk, Topuzlu Sülalesi'nden Yusuf Ziya Paşa'nın oğlu devrin ünlü cerrahı Cemil (Topuzlu) Paşa tarafından Mimar Alexander Vallaury'e yaptırıldı. Sahil dolgusu yapılana kadar teknelerin yanaştığı bir rıhtımı vardı. Dr. Cemil Paşa 1912'de İstanbul Şehremini (Belediye Başkanı) oldu. 1920'de Damat Ferit Paşa hükümetinde Nafıa (Bayındırlık) Bakanı oldu.
Dönem değişince İsviçre'ye kaçtı ve 1924'te İstanbul'a ve 1958'de burada öldü. Cemil Paşa'nın, Şeyhülislam Cemalettin Efendi'nin kızı Ayşe Aliye Hanım'dan bir erkek, bir kız çocuğu oldu.
Kızı Süleyha'nın eşi Şehabettin Ülsel'le anlaşamayınca köşkü 1931'de devrin "Şeker Kralı" olarak anılan Hayri İpar'a sattı. Hayri İpar, II. Dünya Savaşı çıkınca, mallarına el konulacak kaygısıyla ABD'ye kaçtı. İşlerini büyük oğlu Ali'ye devretti. Küçük oğlu Mehmet, intihar etti. Demokrat Parti'yle çok yakın olan Ali İpar 27 Mayıs'ta Yassıada'ya gönderilirken, usulsüz alındığı iddia edilen dört gemisine de el kondu.
İki yıl sonra serbest kalınca önce ABD'ye sonra da Brezilya'ya giderek oraya yerleşti. Hayri İpar'ın eşi Tevhide Emine ve iki kızı tarafından köşk Cevher Özden'e satılınca ortalık karıştı. Çünkü Ali İpar, annesinin bunadığını söyleyerek satışa itiraz etti.
Davanın Adli Tabibi Prof. Dr. Ayhan Songar, Emine Tevhide İpar hakkında birbiriyle tamamen zıt iki akıl sağlığı raporu verince konu siyasete kadar taşındı.
Sonunda Cevher Özden davayı kazandı ve köşkün sahibi oldu. Kadıköy Belediyesi'nden çıkardığı izinle bahçeye çok büyük apartman blokları yaptırdı. Battığı zaman en büyük alacaklı Ali Balkaner çıktı. Kastelli'nin İpar Köşkü'ne haciz koydurdu. Köşk 1997'de MNG'nin sahibi Mehmet Nazif Günal ve Şadan Kalkavan tarafından satın alındı. Kalkavan Ailesi köşkte yaşamaya başladı.
