Zijn familie was welgesteld en voerde een aantrekkelijk wapenschild: een witte zwaan, met geheven vleugels zwemmend op het water, een gouden kroon om de hals; op een zwart veld. Een naamloze biograaf beschreef zijn kinderstreken in het ouderlijk huis: ‘Nadat de dienstmeisjes van zijn vader de wanden hadden gewit [tekende hij] met kool of rode of gele aarde, wat hij maar het gemakkelijkst kon te pakken krijgen, op die wanden de portretten van hun boerenvrijers of minnaars, de een met een langen, scheve knobbelneus en de ander met een grote bult op zijn schouder, waarop een uil zat, met kromme benen en grote horrelvoeten; daarbij schreef hij hun namen.’
Leen Huet [over Carel Van Mander], Mijn België, 175-176