1940年11月27日早晨7点12分，何爱榆的第二个儿子出生在唐人街的杰克逊街东华医院起名为李镇藩产科医生玛丽·格洛弗给这个男婴起了一个英文名字“Bruce Lee”。得知消息的李海泉连夜带妆从纽约赶到医院，见到母子平安，满心欢喜，才依依不舍地回到戏班演戏。

何爱榆子女共5人，分别为李秋源、李秋凤、李忠琛、李振藩、李振辉。5个子女中，以李忠琛与李振辉长得最像外国人，而李小龙怎么看都是一副中国人模样。而李振辉年纪渐长后，外貌却越来越中国化了。

何爱榆出院后，抱着李振藩住在特伦顿街18号，李海泉则继续巡回演出。3个月大的时候，李振藩曾在由伍锦霞导演，关文清编剧的电影《金门女》（Golden Gate Girl，1941年上映，片长110分钟）中饰演婴儿时期的王莱露，他的镜头在杰克逊街636号的大明星戏院拍摄。1941年5月27日，《金门女》于美国上映。

1941年1月，美国总统罗斯福签署的《1940年移民法案》正式生效。该法案规定，出生在美国、入籍美国，或是出生在美国所辖之海外殖民地、孩子出生时母亲居住在美国的，无论孩子出生在该法案生效之前或之后，都是美国公民。这就意味着，李振藩一出生便是美籍华裔。因此，结束了巡演的李海泉夫妇在3月29日早上八点半便来到美国司法部旧金山移民局，在华裔口译员的帮助下，面对检察官，为刚出生不久的李振藩申请了美国国籍，并承诺将让他日后回到美国接受教育。

1940年的香港，一下子涌来了许多逃避战争的难民，香港人口急剧膨胀。当时香港的卫生条件很差，港英政府一下子无法管理如此多的人，致使那年秋天霍乱横行。李海泉一家三口一直等到演出合同结束，拿到了李振藩的出生证及美国移民归化局于1941年3月31日所颁发的“美国公民出埠回国证书申请书”，才在4月6日乘坐“皮尔斯总统号”远洋渡轮，于5月中旬回到阔别年余的香港。

在迁居弥敦道218号之前，李海泉与兄长一家近20人住在茂林街5号2楼。

在李忠琛和李振藩之前，何爱榆曾生过一个男婴，但不久就夭折了。李海泉那七十多岁的母亲骆耕妹极为迷信，于是，刚出生的李忠琛便打了耳洞，戴了耳环。在美国时，李海泉夫妇也对年幼的李振藩这么做。就连1948年出生的老幺李振辉也不例外。骆耕妹为了骗过所谓的专门吸食男孩魂魄的“金甲神”，还特意给李振藩起了一个女性化的小名“细凤”。

李振藩回到香港后由于水土不服而生了一场大病，整个人很是虚弱，中医也束手无策。李家人回忆，那时的李振藩，毫不夸张地说，的确是接近死亡边缘了。于是，何爱榆抱着李振藩去余潮光医生处看西医。

经过余医生的精心治疗与何爱榆不分昼夜地悉心看护，年幼的李振藩总算熬了过来，而骆耕妹却在不久后因病过世。鉴于李满甜也已在1940年逝世，抚养全家近20人的生活重担便落在了李海泉身上。

1941年12月25日，日军攻陷香港。香港进入了历时3年8个月的日据时期。

日本人在占据香港期间所采取的政策是一贯的“男杀女奸”，甚至因为粮食短缺而出现了人吃人的现象，这让本就对侵略行径愤慨的港人对日本人更为深恶痛绝，除了拒买日货外，还成立了“香港义勇军”“广东人民抗日游击总队港九大队”“广东人民抗日游击队东江纵队”等抗日武装组织。

日本人深深懂得，控制了文化和思想，就能彻底控制香港。于是，日本人开始将魔爪伸向文化界，李海泉是梨园行大佬倌，自然成了日本人的主要拉拢目标。日据时期的中国人是不能吃大米的，但日本人不惜以多供给大米为诱饵，逼迫梨园行就范。刚搬进弥敦道218号的李海泉为了养活一家老小，不得已为日本人唱戏。李家人回忆，当时在道口盘查时，只需说出自己是唱大戏（粤剧）的，便不会遭到非难。

在日据时期，香港连好莱坞电影也被禁止放映，改为专门上映日本电影。除了李香兰（1920-2014年，原名山口淑子）在日本人制作的影片中扮演过一些角色，没有一个香港电影人愿意为日伪工作，1944年香港电影业更是连一部电影都没有拍摄过。在那段时间里，香港电影业处于完全停顿状态。

抗战结束后，电影业开始逐渐复苏，许多粤剧名伶在粤剧尚未完全复兴之时，开始纷纷转向电影界发展，作为副业。李海泉也曾带上家人与剧团一起坐船回家乡顺德，在三华村为当地华光庙落成进行演出。这也是李振藩平生唯一一次踏足祖国大陆。

由于李海泉在家中教导一班徒弟，加上家中经常有粤剧界人士出没，被称为“冇时停”（粤语，停不下来的意思）的李振藩耳濡目染，没多久就能模仿个七七八八，并在父亲演戏的电影片场像模像样地演起粤剧。那些叔伯们见他活泼可爱，偶尔教他一招半式的“功夫”。这些招式多为花拳绣腿，但是在李振藩眼里，这些“绝招”已足以用于震慑对手。

儿童顽皮活泼，本是平常之事，但是年幼的李振藩却活泼得让人捉摸不定。李海泉子女5人，虽然李秋凤曾是“自力女子篮球队”的首发前锋，但也并不像李振藩这样如陀螺般活跃，这让李海泉夫妇大伤脑筋，对他那旺盛精力也疑惑不解。为了管住李振藩，他们已经使出了浑身解数，但根本没有任何效果，于是索性让李振藩去看连环画，却不料歪打正着，沉迷于连环画的李振藩就像被如来佛降服了的孙悟空一样安静了下来。这也让家人找到了他的“命门”——只要给他一本连环画看，便可获得一段时间的安宁。李振藩看连环画上了瘾，经常挑灯夜读，这样的“用功”程度使得他6岁起就戴上了厚厚的近视眼镜。

由于何爱榆与修女们的良好关系，除了尚未出世的李振辉外，李家子女都被安排在家附近的嘉诺撒圣玛利书院读一年级。不久后，李忠琛与李振藩转入德信学校就读。

德信学校建成于1930年，是一所天主教男子小学，由加拿大修女所创办，教师们都是女性。香港沦陷后，加拿大修女被驱逐出境，德信学校被迫停办。二战结束后，德信学校重新选址建造，1947年9月复课，李振藩与哥哥李忠琛、堂哥李发枝一同入学，成为第一批入读该学校的学生之一，李振藩就读二年级。德信学校当时为九龙地区少数英文私立学校，课程设“汉文科”，兼授四书五经，古文辞章，声誉日隆。来这里读书的学生都有私家司机和佣人接送，李振藩也不例外。