第一次登台就大获成功，使 5 岁的卓别林引以为豪。作为母亲，哈娜何尝不想好好地培养儿子呢？但这拉开卓别林“舞台生涯”的第一次大幕，却是他母亲舞台生涯的最后一次。生活就是这样无情。
回到伦敦，已经进入了冬季，哈娜的嗓音还不能恢复。寒冷使她无法登台，平时积攒起来的一点钱就只能流水似的花光。家境拮据起来，幼小的卓别林和雪尼再也吃不到甜美的茶点，上公园游玩也成了昔日的回忆。
他们不得不一再搬家，哈娜带着雪尼和卓别林，一家三口那两年中住的房子，从三间到两间再到一间，最后不得不挤在一间狭小的屋顶阁楼里，家中一贫如洗。
哈娜除了表演没有其他特长，但多亏平时自己缝制过戏装，针线活也还拿得出手，这时她就租了一台缝纫机，起早贪黑地给人家缝缝补补，勉强维持生活。
但这也远远不够花，于是她把她的首饰和值钱的东西，也陆续出卖。她可以帮人家带孩子或找别的活干，但一箱子戏装绝不送进当铺。她顽强支撑着自己重返舞台的信念，期望有朝一日嗓子能恢复如初。
她甚至为此而求助于上帝，信仰天主教，常去威斯敏斯特教堂做礼拜。当巴哈的风琴乐曲悦耳地奏起来时，小卓别林看到了母亲眼中的虔诚的泪花。
很快家里值钱的东西都卖光了，哈娜已经无力抚养两个孩子了，她不得不去找卓别林的父亲。
但是老查尔斯的日子也不好过，他已经再婚，而且还有了一个儿子。他只承诺每月付给哈娜 10 先令的生活补贴，但这也不能按期付给。由于他无节制地酗酒而影响演出，戏院不能按期跟他订立演出合同。对哈娜来说这真是祸不单行。
有一天，当老查尔斯又送来他的 10 先令时，还与哈娜聊了一会儿，当然他们的话题总是围绕着卓别林的，老查尔斯一说起儿子，就神采飞扬地说：“嘿，哈娜，你发现没有？我们的小查理是一个做演员的好材料。他极有悟性，双眼非常有神，如果尽早得到培养，他将来一定会在舞台上大放光芒！”
哈娜自然更有体会：“你说得很对，小查理从小就耳濡目染，经常在剧团表演给叔叔阿姨们看， 5 岁时还给我救过场，这个我比你了解得更深。”
即便在这样窘困无奈的日子里，哈娜仍然保持一个好母亲所能给孩子影响的东西。她将自己的衣服、鞋子改制好给孩子穿，身居贫民区而注意举止言行不受环境影响。她随时纠正孩子们的不雅语言和错误语法，把阴暗的屋子收拾干净，省出几个钱为孩子们买滑稽连环画。
她知道自己的嗓子恢复无望，更以行家的眼光看出小卓别林和雪尼的艺术天赋，她决心要把两个儿子这种天赋发掘出来。
她常常会放下手中的针线活，饿着肚子，却以惊人的潇洒灵活，为孩子们表演她拿手的轻歌舞剧。
给孩子们说戏的时候，哈娜同时绘声绘色地扮演戏中的几个角色，让小卓别林和雪尼理解。她甚至向两个小观众分析，当时伦敦著名的男女演员的艺术技巧和表演才能。
母亲的热情、乐观、幽默、艺术才华，以及对戏剧事业的热爱和追求，就这样渐渐渗透进卓别林和雪尼的小小心田。
当雪尼上夜校的时候或在冬天的黄昏，哈娜就常常给小卓别林读《圣经》和解说那些故事，叙述基督如何爱怜穷人和小孩，如何体谅和宽容世人。
这一刻，小卓别林被感动得流下了泪珠，对母亲呜咽着说：“他是多么富有人情味呀！”
日子一天不如一天，哈娜那一箱子戏装早已送进当铺。她又患上了偏头痛，可是没钱治病，只好用绷带敷上茶叶把眼睛蒙上，借以减轻痛苦。租来的分期付款的缝纫机因到期付不出租金，又被人家搬回去了。
小卓别林和雪尼从这时就很懂事了，他们依靠自己的力量尽力来帮助妈妈。他们经常到小酒馆门口去卖唱、跳舞。雪尼趁着课间休息去卖报，但这根本于事无补。
全家人只得去肯宁顿路救济贫民的施粥所，靠救济汤来活命。雪尼经常穿着哈娜用演出服拼改的衣服到施粥所去领救济汤，这是一家人一天中仅有的一顿饭。
在苦难中长大的小哥俩格外地机智和伶俐。星期天，邻居们常常观看兄弟俩的歌舞表演，并高兴地把他们抱上椅子抬起来，赞扬他们的精彩演技。
有时好心的邻居也偷偷在他们的衣服里塞上几个钱，帮助他们度过一时的困难。这些都使生活在赤贫境地的两个孩子，从心底体会到普通穷人的真情和朴实。
失业和生活的重担已经压垮了多病的哈娜，她万般无奈，只有硬着头皮决定：一家三口人进贫民习艺所。
就这样， 1895 年夏季小卓别林和雪尼随母亲走进了兰贝斯贫民习艺所。随着铁栅栏大门的关合，一家三口分开了。孩子住进儿童收容部，母亲则住进妇女收容部。
两处分开不远，却都各有院墙，封闭式管理，制度严格。每个进去的人，都要脱下自己的衣裤用蒸汽消毒，穿上贫民习艺所那既不像囚服又不是住院病服的衣服，孩子们一律剪成短发。家人会面只能在探望室，每周只能探望一次。
第一个探望日，三人一见面都悲伤地流下眼泪。 6 岁多的小卓别林深切感受到这种近在咫尺却活生生地分开的痛苦。
当黄昏来临的时候， 20 个小班的孩子穿着睡衣，跪在宿舍中间的地板上。这其中一个瘦弱羞怯的 6 岁的小男孩，就是小卓别林。他苦闷地跟着小伙伴们，声腔音调高低不谐地唱着《普天颂赞》中第 383 首赞美上帝的歌曲：
夕阳西沉，求主与我同居；
黑暗渐深，求主与我同居；
求助无门，安慰也无求处；
常助孤苦之神，与我同居。
3 周之后，卓别林和雪尼又被转到汉威尔贫民孤儿学校。那是伦敦当局出于人道和责任，专门为生活无着的贫民、孤儿办的学校。
进去的孩子要经过体格、智力检查与试读，然后进入学校本部。孩子们生活上被照顾得不错，但校规比兰贝斯区习艺所更严。学文化、体操，还要受军训，小卓别林就是在这里由老师教会写自己姓名的。
然而在那里，如果触犯了校规和有了过失，那就惨了，必须在星期五早晨去健身房，在列队而立的 300 人面前被体罚。轻则藤条重则木板，打的是屁股，少则 3 下多则 6 下，挨罚的孩子轻则哭喊重则晕倒。执行惩罚的是一个退役的粗壮的海军上尉，他喜欢慢条斯理地高举藤条，然后迅速地抽下去，这使孩子们十分恐怖，而上尉却从中寻找乐趣。
有一周，轮到雪尼在厨房劳动打杂。小卓别林有时吃完饭离开餐厅时就去看哥哥，雪尼就偷偷拿一个夹着黄油的面包卷塞给弟弟，小卓别林就把它藏在衣服里带出去享受。
星期四那天，小卓别林正和伙伴们在运动场上游戏，可怕的喇叭吹响了，孩子们马上停下来列队站好。海军上尉像往常一样在扩音器前，慢条斯理地宣布星期五应当受罚的孩子的姓名。
当小卓别林听到是“查尔斯·卓别林”时，顿时被吓傻了，不知自己做错了什么：如果是面包卷事发，那吃藤条的应该是雪尼呀！
第二天，孩子们在健身房排列整齐，板着脸的校长审问小卓别林：“查尔斯·卓别林，有人告你在厕所玩火，你怎么解释？”
这真是天大的冤枉，当时那几个孩子在厕所中烧纸片时，卓别林只是进去小便，不知是哪个坏小子恶人先告状，找他做替罪羊。
校长继续审问：“查尔斯·卓别林你有没有罪？”
才 7 岁的小卓别林一紧张，竟脱口而出：“我有罪！”
于是，他被绑了脚，脸朝下横放在长桌上，由人按着，另一人从他裤子里扯出他的衬衫罩住他的脑袋。海军上尉神气活现地使用了他的特权，疼痛和耻辱使小卓别林几乎停止呼吸，屁股上赫然留下 3 条粉红色伤痕。站在队列中的雪尼，眼见弟弟受罚，难过得哭出声来。
小卓别林却始终一声不吭，虽然不能走路，被抬到垫子上趴着，但他觉得自己胜利了，苦难与挫折使这个 7 岁的孩子变得坚强了。
不久以后，卓别林不得不与哥哥分开。当时贫民习艺所、贫民孤儿学校的男孩年满 11 岁，即可由本人选择将来参加海军或陆军。如果想当海军，他就能被派到一艘训练船上去做见习水手。雪尼当时一心要当海员，这也许还包含了受海军上尉鞭打弟弟的刺激的缘故。因此，他毅然离开了汉威尔贫民孤儿学校，走上了海军训练船。
雪尼走后，又一件倒霉事落到卓别林头上。那段时间学校流行“金钱癣”病，沾染上的孩子，就被剃成光头，上面涂满碘酒，小卓别林觉得那样子怪异而恶心。
偏偏有一次，一个保姆拨开卓别林脑袋上的头发，就发现了“金钱癣”。这回卓别林忍不住大哭起来，因为他原本是一个整洁干净、受过良好教养熏陶的孩子啊！
这次医治用了几周才好，幸好母亲离开了贫民习艺所，等他好了，雪尼也训练完了，母亲把他接了出去。
但哈娜仍然难以找到工作，没过多久，他们母子只得重回贫民习艺所，小哥俩转到另一座孤儿学校。
他们在那儿比汉威尔学校更惨。有一天，雪尼正在运动场上比赛踢足球，突然有两个保姆叫他到场外，悄悄告诉说他妈妈精神失常，已被送进疯人院。
雪尼心中大惊，但怕别的孩子知道，就装作什么事也没发生，又去踢球。等比赛完了，他独自躲到一个角落里大哭，哭完了再去告诉了弟弟。
卓别林听了先是不信，继而感到绝望，怎么可能呢？他问自己，妈妈怎么会疯呢？他的妈妈曾是一个优秀的喜剧演员，那样爽朗坚强、无忧无虑，还那么年轻，怎么会一下子就疯了呢？
卓别林这次没哭，也许是这两年眼泪已经流了不少，也许是经历了太多的变故。他只感到绝望，恍恍惚惚觉得母亲是不是要有意丧失理智、抛弃他们兄弟俩呢？他仿佛看到母亲消瘦犯愁的脸上，那对美丽的大眼睛茫然无奈地盯着他而渐渐远去。
一周之后，事情被证实了，法院裁决由老查尔斯负责抚养两个孩子。校方派车把兄弟俩送到了肯宁顿路 287 号，老查尔斯先生和他的第二个妻子露易丝就住在那里。
其实，老查尔斯先生除了酗酒这个毛病，对孩子还是相当慈爱的。而露易丝这个高大漂亮却愁容满面的女人，则忧郁而烦躁。她已经有一个孩子，家里却又突然多了两张嘴吃饭，平白给她增加了负担和劳累，她的脾气变得更加忧郁暴躁。
而且露易丝也有酗酒的毛病，她常常喝酒和咒骂雪尼，使卓别林觉得异常恐怖，整天战战兢兢，觉得这漫长、悲哀的日子仿佛没有尽头。
哥俩被送进肯宁顿学校读书， 7 岁的卓别林开始接受正规教育。他十分懂事，一放学就回家帮助干活跑腿，周末下午拖地板、洗餐具。
在一个周六中午，卓别林放学回去，家中空无一人。原来父亲和露易丝吵架了，两人都跑出去了，而雪尼放了学也没回来。
卓别林肚子里空空的，他看了看，菜橱里空无一物，那空空洞洞的屋子显得那么冷酷和可怕，他不敢继续待下去了，只好到附近的街上去寻找一点热闹。
他孤单单地走出去，像安徒生童话中卖火柴的小女孩一样，饥肠辘辘地在肯宁顿路上徘徊。菜馆、酒店的橱窗里，烤牛排、烤猪排冒着热气，肉汁卤的土豆金黄诱人。
傍晚，街头艺人吹响了大箫，拉起了手风琴，《金银花和蜜蜂》的乐曲在广场上空悠扬回旋。小卓别林沉醉在这富有情感的音乐里，艺术的独特魅力使他忘了饥饿和孤独。
可是夜已深沉，人们都回家了，艺人们也不见了，卓别林再也没有一点力气了，他孤零零地往回走。
忽然，在家门口，他看见一个人歪歪斜斜地沿着花园小路朝房子跟前走来，还不时地向前倾去，好像随时会倒下来。原来露易丝又喝醉了。
卓别林吓得蹑手蹑脚要上楼去睡觉，可这时，露易丝已经跌跌撞撞地走到了楼梯口。她大声咒骂着不让卓别林进门：“臭小子待在这儿干吗？这儿又不是你的家！”
小卓别林一下呆住了。
“你们今天不许睡在这里。我已经被你们闹够了，给我滚！你和你哥哥都滚出去，让你的父亲去管你们！”
查尔斯先生同样喝醉了，这使他大为恼火，一失手打晕了露易丝。
小卓别林的眼泪再也忍不住了，他毫不犹豫地冲下楼，转身跑出了大门。
这种事不止一次地发生。有一回露易丝把卓别林、雪尼都关在门外，他俩只得睡在一个守更人的炉子边，结果有邻居向“防止儿童受虐待委员会”投诉了露易丝。
过了些日子，老卓别林去各地巡回演出时，露易丝忽然收到了一封通知，说卓别林的母亲恢复了正常，她从疯人院出来了。
又过了两天，房东太太来告诉雪尼和卓别林，说有一位夫人在大门口，正等着他们兄弟俩。两个人一时都愣住了，紧接着，他们连蹦带跳地跑下楼，果然是妈妈！
“妈妈！妈妈！”他们一下子扑到了妈妈怀里， 3 个人兴奋地抱在了一起。母亲满面笑容，仍旧那么美丽，仿佛从来就没有病过。
哈娜把两个儿子接了回去。虽然住在一个腌菜场旁边，每天闻酸味，但团聚的幸福生活，使他们觉得那股味儿似乎并不太难闻。
尽管日子过得还是很清苦，但是能和母亲在一起，卓别林和雪尼就觉得非常快乐。母亲具有非凡的表演才能，在寒冷潮湿的天气里，一家人待在家中，哈娜会给两个孩子讲一个笑话，或是跳一段优美的舞蹈。
这一段时间，他们的生活归于平静，没有太大的艰难困苦。查尔斯先生所在的戏院生意正常些了，他也能准时支付他应付的 10 先令。卓别林、雪尼继续去肯宁顿学校念书，哈娜重新租回缝纫机干活，有空就教卓别林唱歌跳舞，鼓励他参加学校的演出。
学校的生活为卓别林展现了一个全新的世界，他在那里学习了文学、语法、历史、诗歌和科学，知识丰富了他的人生，开阔了他的视野。
