1918年前，广东省香山（现名中山）县。

在石岐仁厚里，一户刘姓豪宅的左首，是处稍显寒素却很雅致的院落。这处宅子是黄祖耀曾祖父留下来的，墙角椽缘，渗透着黄家几代人的悲喜。黄祖耀的祖父黄屺乡（一作芑香，名绍昌）是清末举人，做过福建总督何璟（筱宋）的幕僚，后来在广州广雅书院（当时广东省最高学府）教授史学，再后来则在石岐丰山书院担任山长（相当于今天的中学校长）。在广东大儒陈澧的《东塾集》中，收有《与黄绍昌书》，是探讨学术的信札。

老宅的天井不大，却让1913年出生的黄祖耀极其喜欢，他会在雨天光着脚丫在积水里放纸船；左边邻居家有株老龙眼树，结果时正好垂过自家院子墙头，趁大人不备，他会举起竹竿，然后大快朵颐。

有时候，黄祖耀也会在书房里发呆。书房分两进，在外面那间摆放着一只大铜鼓，铜鼓正中是一只蹲着的蛤蟆，外围是四只铜耳。每到暑天，黄祖耀总喜欢伏在铜鼓上面，或者趴在铜鼓旁黄蜡石面的凳子上，吸取身下的丝丝凉意。在书房的墙上挂着任伯年的四屏花鸟，一幅是桃花、流水、春鸭，一幅是芙蓉、山石、黑白花猫……

黄祖耀专注的目光引起了他四姑妈的注意。年轻寡居的四姑妈很喜欢幼小的黄祖耀，虽然她只会看“木鱼书”（一种广东民间流行的唱本），却愣是用广东土话编出了四句诗让他背诵：

鸭仔落田“打丁氽”，

猫儿上树看花林，

阿婆唔食三餐饭，

唱条歌仔解婆心。

黄祖耀的父亲黄冷观，倾向革命，是孙中山领导的同盟会会员。一份在香港发表的史料这样介绍：

黄冷观十七岁时，补博士弟子员，十八岁就读师范。清末光绪宣统年间，黄氏以鼓吹革命为己任，与李怜庵和郑岸父等创立《香山旬报》和《香山旬刊》激励民族思想。民国建立，党中文人多有晋身仕途，但黄氏淡泊名利，未有侧身其中，仅领虚衔，后来袁世凯企图恢复帝制，黄氏当时主持《香山旬报》，发挥谠论，声罪致讨，为粤督龙济光所忌，下令封禁，该报乃改名为《岐江日报》。但攻击帝制，比前更烈，卒遭监禁，在狱两年，仅免不死……

父亲最终得到赦释，却是因为黄祖耀的舅舅。黄祖耀的外公在广州一家名叫恒昌的民营轮船公司做账房，生有一男六女；黄祖耀的母亲是最小的一个。外公家唯一的男性子嗣是个秀才，很受康有为的重视。在戊戌政变以前，黄祖耀的舅舅极端活跃，推崇改良；戊戌政变以后，变得行踪不定。1914年，黄祖耀的父亲被捕入狱，关了两三年仍不得释放，后来，据说是受黄祖耀舅舅的恳求，康有为给时任广东督军龙济光去了一封信，信里说“明德之人（指黄祖耀祖父），不可令其无后”，黄祖耀的父亲才得以还家。

被保皇派所救，这让身为同盟会会员的黄祖耀父亲感到屈辱，他在出狱后立刻在报上发表声明，表示自己的出狱“与保皇党康某无涉”。

父亲非但不领情，还如此大张旗鼓地与黄祖耀舅舅所代表的保皇党划清界限，这同样也让外公一家颇感不满，两家人的关系由此疏远了一阵子，这种状况一直持续到黄祖耀一家定居香港。遗憾的是，那个时候，黄祖耀的舅舅，那位有才华有想法的年轻人，已经随着改良运动的失败失踪了。