刚来到外婆家时，黄祖耀同一位姨妈家的表姐挤在“神楼下房”（在客厅北面上端伸出来，用来供奉祖宗神位的小阁楼，叫“神楼”；神楼下方有门，门内过道旁边的小房叫“神楼下房”）左边的一间小厢房里；不久，表姐远嫁美国，整间厢房就属于黄祖耀一个人了。外婆家的火油灯熄得早，尚无困意的黄祖耀摸着黑爬上厢房里的那张古老大床时，总是有点害怕；乡村人习惯早睡早起，天还未亮，鸡叫声、耕牛啮草声、附近粮店的舂米声就已经此起彼伏、不绝于耳了。

每年春秋两祭，外公一族的祠堂都会给杨氏子孙分猪肉。在外婆的指导下，舅母会将这份量不少的烧猪肉用香山特有的卤虾再炖一次，制作完后贮存下来，总能够让全家人吃上十天半个月。崖口隔田乡陆姓姨妈时常送来特产蚝油；到了冬天，外婆家还会端出用油浸泡着的腊鸭屁股……这些美食让童年的黄祖耀极为欣赏，再加上远离父亲的藤条和“凿栗”，无忧无虑，他也就毫不客气地将自己喂成了小胖子。

在祠堂小学陪读了一年多之后，黄祖耀重新回到了香港，继续在德辅道的一家学校念初小。这家学校也讲授四书，但同时还开设算术、格致（物理）等课程。在学校所发的英国殖民地语文课本上，印着彩色的英王像，课本首页写着：“英王佐治第五，现在英国及所有英国属地之王也。王有三德……”卫生课本上则印着：“洗太平屋，木虱（臭虫）尽死，不虞转噬吾人矣！”那阵子，香港的臭虫、蟑螂特别多，每年都要进行两次全区性的清洁，被称作“洗太平屋”。

1914年，黄祖耀全家从砵甸乍街搬迁到了荷李活道，黄祖耀也随之离开了德辅道的那家学校，再次去了一家学塾。学塾设在一座楼的楼厅里，照旧容纳着三四十名学生，只是在楼厅里隔出了一个小间，作为先生和师母的卧室。学塾先生有个绝活，能正反模仿黄自元（清末状元）的书体，这让黄祖耀他们很是佩服。

胖师母性子急躁，有时候先生的课正上到一半，她出来招个手，先生便乖乖进了小间。坐在外面的学生，听着里面的吵闹声由低变高，间或还带着哭音，不免有些幸灾乐祸。师母对每月的学费催得很紧，总是在放学前指着“未交学费诸生名列”的粉牌，嚷嚷：“明天不交学费，就不许进教室！”黄祖耀的父亲虽然挣得不少，但因为要同时养活一大帮孩子（一共生有十三个孩子，存活下来八个。在十三个孩子中，黄祖耀排行第五），家用也很吃紧，黄祖耀和四哥（祖雄）也因此时常“牌”上有名，对胖师母的尖叫声总是感到又惭又恨。

在学塾附近，有家当时还很少见的“麦少石兄弟画室”。画室临街的一面有个小橱窗，轮换着陈列麦少石、麦玄石兄弟的作品，偶尔也会贴出招生广告或者承接画件的启事。黄祖耀上学下学时，常常会在橱窗前流连。那些作品形式滑稽，内容大都在讽喻世俗：怕老婆的男人、钻在钱眼里的“守财奴”、鸦片烟鬼……有些似乎是对上海画报的模仿，有些却是原创。到了中秋节，一些饼店、茶楼会特意在门口陈列一些麦氏兄弟的作品，以招揽顾客；每逢这时，也是画室收入最为可观的时候。

十一二岁的黄祖耀，开始喜欢跟着二哥和三哥去必列者士街青年会参加国庆纪念。当时参加这项活动的中国青年并不多，而二哥经历过五四运动，思想比较进步。在纪念日，青年会会组织大家唱歌、演说，还给每人发一面小小的五色旗。