مادرش تاج‌الدوله دومین زن عقدی ناصرالدین‌شاه و دختر سیف‌الله میرزا پسر فتحعلی‌شاه بود. ناصرالدین شاه پدر عصمت‌الدوله در یکی از خاطرات خود درباره او می‌نویسد: «وعده داشتیم خانه ظل‌السلطان از صبح رفتیم ... من و ظل‌السلطان و نایب‌السلطنه رفتیم اندرون از همان راه گلخانه ... عصمت‌الدوله سبیل داشت به قدر سبیل نایب‌السلطنه».
