在民國文人政客的圈子里,孫用蕃的出身自然也很顯赫。她的祖父是清光緒皇帝的老師,才學可見一斑;父親孫寶琦曾兩次任北洋軍閥時期的國務總理。孫寶琦一生娶了一妻四妾,生有8子16女,孫用蕃排在第七。在這種子女眾多的大家庭中,孫用蕃的美貌和才華做不到人中龍鳳,因而在家庭中的地位比較尷尬。而她年輕時,據說因為一段刻骨銘心的愛情受到打擊,從此遁入煙門,與鴉片和煙榻終日為伍。為了維持家門的繁盛榮昌,孫寶琦的策略沿襲了古代豪門望族的一貫做法——聯姻:
長女:孫用慧,嫁盛恩頤(盛宣懷的第四子)
次女:孫用智,嫁載倫(慶親王奕劻的第五子)
三女:嫁大學士王文韶之孫
四女:孫用履,嫁入大臣寶熙家
五女:嫁袁克齊(袁世凱的第七子)
七女:孫用藩,嫁張廷重(張佩綸之子,李鴻章的外孫),成為張愛玲的繼母
八女:嫁天津國華銀行經理崔氏
三子:孫雷生,娶馮家賢(馮國璋之女)
四子:孫用岱(蔚青),娶盛范頤(盛宣懷的親侄女)
侄子:姓名未詳,娶袁箓禎(袁世凱的第六女)