杜牧一共娶過兩個老婆，她們分別是裴氏和崔氏。其中裴氏是杜牧的結髮妻子，她是郎州刺史裴偃的女兒，家庭條件十分顯赫，和杜牧在一起也算是門當戶對，而且兩人婚後的感情一直都很甜蜜。
裴氏和杜牧的婚姻沒能走到最後，裴氏陪伴杜牧沒有幾年就去世了。裴氏爲杜牧生了三個孩子，其中有一個兒子剛出生不久就夭折了，這也讓裴氏的性格開始變得很內向。沒過多久，裴氏也離開了人世。
後來杜牧又娶了第二位妻子崔氏，不過在歷史上對於崔氏沒有過多的記載，不過崔氏的家庭條件也很不錯。杜牧當時是在一次朋友舉辦的筆會上認識的崔氏，當時便對她一見鍾情，於是杜牧開始追求於她。
崔氏嫁給杜牧以後，兩人的感情也十分恩愛。杜牧對家庭、對家人都是很體貼的，崔氏爲他生了三個兒子，可見當時杜牧真的是家丁興旺。
