José Manuel de Villena y Mendoza nació en Jerez de los Caballeros, Badajoz en 1752. Era hijo del Conde de Vía Manuel José Cristóbal Manuel de Villena y Sánchez de Figueroa y de María de la Paz Mendoza y Ribera. A la muerte de su padre pasó a ser el IV Conde de Vía Manuel y XII Señor de Cheles. José estudió al igual que su padre en el seminario de nobles de Madrid junto a alguno de sus hermanos.