Eliza Courtney fue la hija del a posteriori primer ministro Charles Grey y de la duquesa de Devonshire Georgiana Cavendish, mientras estaba casada con William Cavendish, V duque de Devonshire. La Duquesa se vio obligada por su marido a renunciar a Eliza, poco después de su nacimiento, la niña fue educada por los padres de Charles Grey.