พระตำหนักเป็นอาคารสองชั้น ก่ออิฐสอปูน พื้นไม้กระดานทั้งสองชั้น หลังคาโครงไม้มุงด้วยกระเบื้องลอน หม่อมเจ้าพูนพิศมัย ดิสกุล พระธิดาของสมเด็จฯ กรมพระยาดำรงราชานุภาพ ทรงเล่าว่า ” เมื่อครั้งเสด็จพ่อทรงผนวชเป็นพระภิกษุ ได้เสด็จไปจำนำพรรษาอยู่ที่วัดนิเวศฯ เพราะในขณะที่วัดนี้กำลังก่อสร้าง เสด็จพ่อทรงเป็นราชองครักษ์ตามเสด็จฯ พระบาทสมเด็จพระพุทธเจ้าหลวงไปทอดพระเนตรการก่อสร้างทุกวัน สมเด็จพระพุทธเจ้าหลวงตรัสว่า …วัดนี้เงีบยสบาย เจ้านายผนวชก็อยู่ได้… เสด็จพ่อจึงทูลรับว่า ถ้าถึงปีทรงผนวชจะเสด็จมาอยู่ จึงโปรดเกล้าฯ ให้ปลูกตำหนักถวายหลังหนึ่ง”
สมเด็จฯกรมพระยาดำรงราชานุภาพ ได้ทรงผนวชและจำพรรษาที่วัดนี้ เมื่อพุทธศักราช 2426 เพื่อสนองพระราชประสงค์ของพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัว ที่จะให้เจ้านายประจำพรรษาที่วัดนี้บ้าง พระอาจารย์ของสมเด็จฯ กรมพระยาดำรงราชานุภาพ คือ พระอมราภิรักขิต เจ้าอาวาสวัดนิเวศธรรมประวัติรูปแรก ในระหว่างที่ทรงจำพรรษาอยู่ที่วัดนี้ได้ทรงตั้งโรงเรียนพระปริยัติธรรมขึ้น และได้ทรงพระราชนิพนธ์ตำราเรียน “แบบเรียนเร็ว เล่ม 1” เพื่อใช้สอนนักเรียนที่โรงเรียนของวัดนี้เป็นครั้งแรก
แรกสร้างเพื่อใช้เป็นกุฏิเจ้าอาวาส แต่มีขนาดเล็กจึงปรับเปลี่ยนใช้เป็นพระตำหนักประทับสำหรับสมาชิกในราชกุลที่ทรงผนวช
ซึ่งสมเด็จกรมพระยาดำรงราชานุภาพได้ประทับจำพรรษาเป็นพระองค์แรก เมื่อคราวผนวช พ.ศ. 2426
เพื่อสนองพระราชประสงค์ในพระบาทสมเด็จพระจุลจอมเกล้าเจ้าอยู่หัวที่จะให้มีเจ้านายมาประจำพรรษที่วัดนิเวศธรรมประวัติแห่งนี้
และในระหว่างทรงจำพรรษาสมเด็จกรมพระยาดำรงราชานุภาพทรงพระนิพนธ์แบบเรียนภาษาไทย “ตำราเรียนเร็ว”
เพื่อทดลองใช้สอนเด็กนักเรียนด้วยหลักสูตรแบบใหม่เป็นครั้งแรก
