因为担心招致新的迫害，1918年左右，黄祖耀举家移居到了香港。

全家人最早住在砵甸乍街。这条街道外观简陋、行人稀少，但依然拥有一家取名“域多利”的电影院，一家名为“广兴洋行”的糖果公司，一家供应船舶伙食日用品的“办馆”， 一家挂着“银松寿司”招牌的日本歌伎院……在街口，还有家瑞兴纸行，老板冯伯胖胖的身子坐在纸行门前的藤椅上，是整条街道不动声色、不分寒暑的活标签。

黄祖耀爱逛电影院。剧场入口处站着一个负责收票的面容黝黑的中年男子，脸上总是微带笑意，黄祖耀渐渐和他混得极熟，常常觑见附近没人注意，朝男子做个鬼脸，便拉着堂姐溜进了戏院。电影院放连续片《龙爪大盗》，也放卓别林、夏劳?莱的喜剧，这一切都深深地让年幼的黄祖耀和他的小堂姐着迷。数十年后，已然成年成家的黄祖耀一回想，《龙爪大盗》中那身披肩头连帽黑斗篷，只露出两只眼睛在外面，右手探出尖利的皮套兽爪，骑在马上飞取敌人咽喉的英雄人物，依然清晰如在眼前。

在和砵甸乍街相交的干诺道上，有几家“行船馆”，也就是海员们寄宿和等候招雇的地方。贪玩的黄祖耀时常光顾这里，好奇地看着身穿“迷你裙”的苏格兰军队吹奏乐器，缠着头巾、形象肃穆的印度籍巡逻警来来去去……

到了夏天，整个香港闷热得透不过气来，黄祖耀便约上几个小伙伴，溜达着去“皇家码头”。码头上凉风飒飒，挟带着些许海腥味。付上半个仙（一个铜元用斧子劈开后的一半），就可以跑到铁扶梯下面紧贴海面处看“鸡抱仔”（小河豚）了。那些可爱又可怜的小河豚只比乒乓球大一点，挺着圆鼓鼓的肚子，被浪头冲到了铁踏板上，却因为等不及新一轮浪头把它们带回海面，并且因为缺水而不停地挣扎跳跃。黄祖耀好心地伸出小竹枝，把小家伙们拨进水里，河豚的小圆肚子立刻缩了回去，可是，新的浪头一来，总有几只再次被冲回到了铁踏板上。看着它们重新鼓起圆溜溜的小肚子，在踏板上挣扎跳跃，小伙伴们急得直骂：“罗黎衰！”……

无忧无虑的日子持续了好几年，直到黄祖耀被送进他家附近的“明心学塾”。这年，黄祖耀九岁。

“明心学塾”被设置在一所小楼的第二层。学塾的老师被称作“明心先生”，头发微白，口嵌金牙，身着软缎小褂，胸前纽扣处露着半截金怀表的链子，脸色总是随着学生的贫富而转换寒暑。教室里光线暗淡，只有“圣人位”前供着的香烛发出微弱的光芒。

学塾里有三十名顽童。每天早上，学生们需要向“大成至圣孔子先师神位”鞠上三个躬，向“天地君亲师”神牌鞠三个躬，再向老师鞠三个躬才能回到座位。教材有《论语》、《孟子》、《大学》、《中庸》、《诗经》，有讲授典故、骈四骊六的《故事琼林》，以及全是对偶句的《韵对屑玉》，背书的关口天天都得过；孩子们背诵时，需要把课本放在先生书桌上，转身面向同学，如若背诵不出，就得跪监人位挨戒尺。每天总有十几个孩子为此哭哭啼啼。

经常会有些孩子逃学，黄祖耀也是其中之一。他总是趁先生不备，便和一位卢姓同学一起，去花园道游荡。花园道环境清幽，行人稀少，很难碰见家长或熟人；路边散落生长着各种野花，有野百合、凤尾葵、书带草，还有许多不知名的羊齿植物。一些桫椤树叶落在草坡上，黄祖耀将它们捡回家放在水缸中，慢慢就被泡成了好看的网状叶筋。