Anders Georg Drachmann (1810-1892), læge. Holger Drachmanns far. Gift i 1844 med Vilhelmine Marie Stæhr (1820-1857). Børn: Erna Drachmann (1845-1922), gift med forfatter og skolemand N.Juel-Hansen (1841-1905). Holger Henrik Herholdt Drachmann (1846-1908). Mimi Drachmann(1849-1940), gift med arkæolog Vilhelm Boye (1837-1896). Johane Vilhelmine Drachmann (1851-1915), gift med pastor Johan Friis. Harriet Augusta Drachmann (1854-1858).
A.G.Drachmann blev gift 2.gang i 1859 med Clara Josephine Sørensen (1836-1895). Børn: Anders Bjørn Drachmann (1860-1935), filolog. Harriet Vilhelmine Drachmann (1861-1945), gift med ingeniør Poul Bentzon. Martha Drachmann (1866-1912), gift med professor dr.jur. Viggo Bentzon (1861-1937).
Holger Drachmann blev gift i 1871 med Vilhelmine Charlotte Erichsen (1852- 1935). Sammen fik de datteren Eva Drachmann (1874-1954), forfatterinde, gift med juristen Holger Federspiel. Holger og Vilhelmine blev skilt i 1878. I 1877 fødte Polly Culmsee, gift med proprietær Charles Thalbitzer, datteren Gerda, som Drachmann var far til, og som han adopterede umiddelbart før ægteskabet med Pollys søster Emmy Culmsee (1854-1928). Emmy var datter af papirfabrikant Frederik Leopold Culmsee (1811-1895). Brylluppet fandt sted i 1879. Sammen fik de børnene: Jens Drachmann (1880-1929), maler. Svend Drachmann (1881-1887), døde af skarlagensfeber. Lisbeth Drachmann (1884-1969). Povl Drachmann (1887-1941), forfatter og politiker.
I 1903 fik Drachmann sin formelle skilsmisse fra Emmy og giftede sig med Sofie Lasson (1873-1917) på Skagen Rådhus. Soffi - som hun blev kaldt - var gift med ingeniør Paul Drewsen (1866-1907), da hun mødte Drachmann. Hun var datter af regeringsadvokat Christian Otto Carl Lasson (1830-1893). Hendes søstre Oda (1860-1935) og Alexandra f.1862 blev gift med henholdsvis Chr.Krohg (1852-1925) og Frits Thaulow (1847-1906). En tredie søster, Bokken (1871-1970), gjorde også på et tidspunkt Drachmann sin opvartning.
Imellem de to sidste giftermål havde Drachmann i 1887 stiftet bekendtskab med varietesangerindenAmanda Nilsson (1866-1953), som han kaldte Edith. I 1901 traf han for første gang den unge pigeIngeborg Andersen (Skagens Rose) (1886-1969), som senere blev gift med forfatteren Poul Østergaard (1882-1914).