Edward John Spencer'in en küçük kızıydı. Annesi Frances, babasının ilk eşiydi.
İngiltere, Norfolk'ta, Sandringham Park House'da doğdu. Percy Herbert (kilise rektörü ve Norwich ve Blackburn eski piskoposu) tarafından St.Mary Magdalene kilisesinde vaftiz edildi.
Eşinden boşanan Frances Spencer, Diana'yı ve bir kardeşini de alarak Londra'da Knightsbridge'deki bir apartman dairesine taşındı.
Aynı yılın noelinde babalarını görmeye giden Spencer kardeşleri, Edward John Spencer annelerinin yanına göndermeme kararı aldı.
Frances Spencer dava açsa da eski eşinin nüfuzu nedeniyle çocukları geri alamadı.