长期遗忘在冷僻的后院，实际过着分居的孤单生活，脾气越来越坏。幼小的林徽因随母亲在冷清后院，常常感到悲伤和困惑。梁从诫这么说他母亲林徽因：“她爱父亲，却恨他对自己母亲的无情；她爱自己的母亲，却又恨她不争气；她以长姊真挚的感情，爱着几个异母的弟妹，然而，那个半封建家庭中扭曲了的人际关系却在精神上深深地伤害过她。”（《倏忽人间四月天》）林徽因的小说《绣绣》写到一对遭丈夫、父亲遗弃的母女，那妻子也有性格短处，读者不难从小说中绣绣形象看到林徽因对她母亲的复杂情感。
母亲性格短处带给林徽因的烦恼，到父亲去世多年仍然存在。何氏对丈夫和姨太太的怨愤，像中国许多女性一样，迁怒到姨太太的子女身上。异母弟林恒从福建到北平投考清华大学，寄住姐姐家。林徽因待他亲如同胞，何氏却不肯释怀，常常与林恒起着无谓的鸡毛蒜皮纠纷。林徽因致好友费慰梅信中抱怨：“最近三天我自己的妈妈把我赶进了人间地狱。我并没有夸大其词。头一天我就发现我的妈妈有些没气力。家里弥漫着不祥的气氛，我不得不跟我的同父异母弟弟讲述过去的事，试图维持现有的亲密接触。晚上就寝的时候已精疲力竭，差不多希望我自己死掉或者根本没有降生在这样一个家庭……那早年的争斗对我的伤害是如此持久，它的任何部分只要重现，我就只能沉溺在过去的不幸之中。”（《致费慰梅信》）
母亲也给了林徽因性格上的负面影响，至少急躁是其一。两个急躁的女性生活在同一屋檐下冲突是不可避免的：
我自己的母亲碰巧是个极其无能又爱管闲事的女人，而且她还是天下最没有耐性的人。刚才这又是为了女佣人。真正的问题在于我妈妈在不该和女佣人生气的时候生气，在不该惯着她的时候惯着她。还有就是过于没有耐性，让女佣人像钟表一样地做好日常工作但又必须告诫她改变我的吩咐，如此等等——直到任何人都不能做任何事情。我经常和妈妈争吵，但这完全是傻冒和自找苦吃。（《致费慰梅信》）
母亲就剩林徽因这么一个亲人，一直跟随林徽因生活，最终白发人送了黑发人。何氏差不多是林徽因驮了一辈子的精神小包袱，关于这对母女关系，哲学家金岳霖写给费正清的信里分析得非常精辟，他这么看何氏：
她属于完全不同的一代人，却又生活在一个比较现代的家庭中，她在这个家庭中主意很多，也有些能量，可是完全没有正经事可做，她做的只是偶尔落到她手中的事。她自己因为非常非常寂寞，迫切需要与人交谈，她唯一能够与之交流的人就是徽因，但徽因由于全然不了解她的一般观念和感受，几乎不能和她交流。其结果是她和自己的女儿之间除了争吵以外别无接触。她们彼此相爱，但又相互不喜欢。我曾经多次建议她们分开，但从未被接受，现在要分开不大可能。
信写在四十年代的昆明。林徽因病逝梁思成续弦，何雪媛还是随梁思成生活，七十年代初跟随了后半生的女婿梁思成又先她而去，何氏又随梁的后妻林洙过日子。周恩来总理得知林徽因母亲仍健在，指示有关部门给予每月五十元生活费。“文革”红卫兵来抄家，抄出何氏衣箱底一柄刻有“蒋中正赠”字样的短剑。这还得了，老太太饱受一顿皮肉之苦。短剑是林徽因异母弟林恒航校念书的遗物，凡航空学校毕业的学员，每人有幸获得这个离校纪念品。此剑无疑是林恒牺牲后林徽因珍藏下来的，林徽因病故传给老太太收存。她生厌的林恒为国捐躯，遗物又使她挨打，老太太想些什么呢？不再是宿怨吧。
八十多岁的何氏老态龙钟了，日常生活依赖好心的梁思成续弦林洙女士照料。她不知道在医院里的女婿已经病故，孤寂地走完她人生的最后半年，更加孤寂地悄然消失。林徽因生母悲剧地度过了一生，是漫长的所谓的“无事的悲剧”。这样无声无息的悲剧，中国女性里很多，多得连她们自己不再意识到是悲剧。
现存最早的林徽因照片是三岁留下的那张，一人立在院子里，靠着气派的座椅，个子仅及椅子扶把，朦胧的眼光注视着陌生世界。后来的一张到了八岁，是她和胞妹麟趾（五岁，不久夭折）及表姐王孟瑜（十四岁）、王次亮（十二岁）、曾语儿（十一岁）的合影。那天林长民带她们逛街，留影纪念。照片有林长民题识，其中说道，“徽音白衫黑绔，左手邀语儿，意若甚暱。实则两子偶黠，往往相争果饵，调停时，费我唇舌也”。
关于林徽因童年的文字材料少得近于零。父亲去世过早，母亲没有文化，几乎没有人确切、具体地记述过她的童年。她自己不会没有记忆，也不会不曾对人说过，但未留下多少文字痕迹，即使对她儿女也不大愿意回首那些往事。林徽因的一篇散文透露她六岁得过水痘，儿童都要经历一回的这个疾病，她家乡叫“水珠”。她竟然不像许多儿童那样感受难忍的病痛，却说：“当时我很喜欢那美丽的名字，忘却它是一种病，因而也觉到一种神秘的骄傲。只要人过我窗口问问出‘水珠’么？我就感到一种荣耀。”在这异乎寻常的感受是她最早显露的艺术气质。
幼小的林徽因和一群表兄弟表姊妹住在杭州祖父大院里，享受了大户人家少爷小姐们都有的欢乐。她的启蒙教育落在同住一起的大姑母身上，大姑母出嫁后依然常年住在娘家。林徽因异母弟林暄曾回忆：“林徽音生长在这个书香家庭，受到严格的教育。父亲不在时，由大姑母督促。大姑母比父亲大三岁，为人忠厚和蔼，对我们姊兄弟亲胜生母。”（致著者信）这位姑母弥补了母亲性格、文化方面的缺陷，此时林徽因的天地有如祖父的庭院一片阳光灿烂。
父亲时常在外，留林徽因在祖父身边，留下一个通信员。她六岁开始代笔为祖父给父亲写家信，今天无法读到这些信了，所幸家人保存了一批父亲给她的回信，此录最早的一封，那年林徽因七岁。
徽儿：
知悉得汝两信，我心甚喜。儿读书进益，又驯良，知道理，我尤爱汝。闻娘娘往嘉兴，现已归否？趾趾闻甚可爱，尚有闹癖（脾）气否？望告我。
祖父日来安好否？汝要好好讨老人欢喜。兹寄甜真酥糕一筒赏汝。我本期不及作长书，汝可禀告祖父母，我都安好。
父长民三月廿日
要说此时的林徽因还是个需要父亲哄骗的孩子，那么从下一封信可以见出，尽管她还只是十二岁儿童，却已长成能够倾听父亲心声的早熟的小姑娘：
本日寄一书当已到。我终日在家理医药，亦藉此偷闲也。天下事，玄黄未定，我又何去何从？念汝读书正是及时。蹉跎悞了，亦爹爹之过。二娘病好，我当到津一作计□。春深风候正暖，庭花丁香开过，牡丹本亦有两三葩向人作态，惜儿未来耳。葛雷武女儿前在六国饭店与汝见后时时念汝，昨归国我饯其父母，对我依依，为汝留□，并以相告家事。儿当学理，勿尽作孩子气，千万□□。
徽儿
桂室老人五月五日
林徽因对知友费慰梅谈论过自己的童年生活，费慰梅这句话或许是那时林徽因情状的记录：“她的早熟可能使家中的亲戚把她当成一个成人而因此骗走了她的童年。”（《梁思成与林徽因》）早熟二字点中了林徽因童年生活的特征。祖父病故以后，父亲常在北京忙于政事，全家人住在天津，林徽因几乎成了天津家里的主心骨，伺候两位母亲，照应几个弟妹，乃至搬家打点行李，全部由这个十二三岁的女孩承担起来了。她成年后在保存的一封父亲给她信上这么批注：“二娘病不居医院，爹爹在京不放心，嘱吾日以快信报病情。时天苦热，桓病新愈，燕玉及恒则啼哭无常。尝至夜阑，犹不得睡。一夜月明，桓哭久，吾不忍听，起抱之，徘徊廊外一时许，桓始熟睡。乳媪粗心，任病孩久哭，思之可恨。”
林徽因所以早熟，除了由于聪慧，主要应该归于几乎是遭遗弃的母亲给她心理蒙上的阴影。纵然她自己深得父亲以及其他长辈的宠爱，但是，当受宠之后回到冷落的后院，面对母亲阴沉怨愤的神情，她不得不过早地体会世态的阴暗。
一九一六年林长民全家开始定居北京，林徽因进了有名的培华女子中学读书。此前京城政局不定，林长民卷入是非，家庭便安置在天津，他乃两地往返。四年前合影的表姐妹都进了培华女中，林徽因又和她们合拍了一张照片，统一的校服，个个亭亭玉立，美丽端庄。四姐妹像幼时一样的亲密无间，如今依旧形影相随。姑娘们星期天上街特别招引目光，有轻薄男子尾随而来，于是不得不叫来身材高大的表兄弟充当保镖。
培华女中是所教会办的贵族学校，教风谨严而得法，原本聪明的林徽因受它良好培育，日后出色的英语水平即起步于此。由大户旧宅跨入这一方充溢朝气、讲究文明的新天地，为不久放飞的才女奠定了坚实基础。置身这样的教育环境，林徽因早早萌生了文化意识，乘父亲远游日本的时候，她翻出家藏的数量可观字画，一件件过目分类，编成收藏目录。编得幼稚是一定的，她在父亲家信上注道：“徽自信能担任编字画目录，及爹爹归取阅，以为不适用，颇暗惭。”
培华女中的林徽因已走出了她的童年。
一九二零年春天林长民赴欧洲考察西方宪制，特意携林徽因同行，旅居伦敦一年有半。这次远行，其实是林长民引领爱女登上她新的人生历程，不论生理还是心理，从此林徽因都告别了她少女时代。
林徽因对此当然毫无意识，林长民则高度自觉。他行前明确告知女儿：“我此次远游携汝同行。第一要汝多观察诸国事物增长见识。第二要汝近我身边能领悟我的胸次怀抱……第三要汝暂时离去家庭烦琐生活，俾得扩大眼光，养成将来改良社会的见解与能力。”（一九二零年致林徽因信）
开春的四月初，父女由上海登上法国Pauliecat邮船，航行在烟波浩淼的海洋，林徽因纵目远眺，视野从未有过如此开阔。开阔的不止是自然境界，还应该是她的胸襟，她第一次感受到了偌大的世界。船行到地中海，五月四日那天，同船赴法勤工俭学的一百余名学生举行“五四运动纪念会”，林长民和王光祈发表演讲。林长民说：“吾人赴外国，复宜切实考察。若预料中国将来必害与欧洲同样之病，与其毒深然后暴发，不如种痘，促其早日发现，以便医治。鄙人亦愿前往欧洲，以从诸君之后，改造中国。”（见《时事新报》六月十四日刊载的通讯《赴法船中之五四纪念会》）林长民的志愿亦即他对女儿的期望，她再次领会父亲携女儿出国的初衷。林徽因置身政治性社会活动，此是有文字可据的第一次。
五月七日邮船抵达法国，父女转道去英国伦敦，先暂时住入Rortland，后租阿门二十七号民房定居下来，八月上旬林徽因随父亲漫游了欧洲大陆。瑞士的湖光山色，比利时的钻石和动物园，法国的灿烂文化以及德国经受一次大战满目的战火遗迹，都让她感到惊奇。林长民日记中的日内瓦湖风致显然有别于林徽因儿时的西湖：
罗山名迹，登陆少驻，雨湖烟雾，向晚渐消；夕阳还山，岚气万变。其色青、绿、红、紫，深浅隐现，幻相无穷。积雪峰颠，于叠嶂间时露一二，晶莹如玉。赤者又类玛瑙红也。罗山茶寮，雨后来客绝少。余等憩Hotelatchardraux时许……七时归舟，改乘Simplon，亦一湖畔地名。晚行较迅。云暗如山，霭绿于水，船窗玻璃染作深碧，天际尚有微明。
（一九二〇年八月十四日）
在伦敦林长民为爱女雇了两名教师辅导她英语和钢琴。英语教师Phillips，林长民译作斐理璞，为人朴实忠厚。斐理璞母女一起住在林长民寓所，她们很快成了林徽因信赖喜爱的朋友。八月下旬林徽因考入爱丁堡一所学校St。MaryCollege，学校距住处阿门二十七号两英里多路，行小路穿过一个公园，出园门即是学校，走大道就得雇车。校长是个七十来岁的孀妇，但热情而诚恳。在这所学校，林徽因的英语愈加娴熟纯正，后来她一笔流利优美的英文赢得了哈佛校长的女儿费慰梅由衷的赞赏。
林长民交游甚广，时常有中国同胞和外国友人来访。自己夫人不在身边，女儿林徽因自然担当了主妇角色。其实这也是林徽因社会交际的开始。这决非寻常的交际，她所结识的是一批中外精英人物，当时的精英或将来的精英：著名史学家H？C？威尔斯、大小说家T？哈代、美女作家K？曼斯菲尔德、新派文学理论家E？M？福斯特以及旅居欧洲的张奚若、陈西滢、金岳霖、吴经熊、张君劢、聂云台……林徽因起步之时就有这么高的平台，是同时代众多优秀女性所不及。
在伦敦，林徽因确立了献身建筑科学的志愿。父亲的房东是位女建筑师，林徽因从她那里领悟到了建筑的魅力。她渐渐明白，房子不仅遮风蔽雨，而且蕴涵着艺术意味，可是中国还没有建立起西方这样的现代建筑科学。另一种说法是，启蒙她建筑学志愿的是一位英国女同学。（见梁从诫《倏忽人间四月天》）
林徽因与英文家庭教师斐理璞（BettyPhillips）的友谊，由斐理璞延及斐理璞的亲友，更深入走近了英国民间。斐理璞姻戚克柏利经营一家糖果厂，林徽因不时得到他的可可糖，前后吃了不下三个木箱。满口的可可余香，多年后林徽因仍感慨系之。另一位柏烈特医生，有五个女儿，她们相处自是另一番亲切。一九二一年夏天林徽因随柏烈特全家往英岛南部海边避暑，一个多月里差不多天天下海游泳。姑娘们泡在温暖的海水里嬉戏，头上是蓝天白云，她一时竟忘却了在伦敦的父亲，真切感受到异帮生活的情趣。暑期一过，林徽因即离开海滨告别柏烈特一家，几星期后就和父亲一起结束了少女时期英伦