他们家乡有山，但山不高，就是一片丘陵。因为靠近洞庭湖，还是以湖田为多，是名副其实的“鱼米之乡”。
当地喜欢种植油菜，阳春三月时，田野里的油菜花都开了，黄灿灿的油菜花迎风招展，送来阵阵扑鼻花香，辛勤的蜜蜂忙着在花间采蜜，走近一点都能听到一片嗡嗡声，在这个时节，他们兄弟最喜欢做的游戏就是冲进油菜地里躲猫猫；到了初夏季节，野草丛生，逮蛐蛐又让他们乐此不疲，只见他们的身影在狗尾巴草中扑来扑去，其乐无穷；秋天的傍晚，他们会学着大人的模样，举着一根钓竿，上面挂一小团棉花，到田间去钓青蛙；当白雪覆盖了大地的时候，他们会找一个竹编的大晒盘用一根竹竿支起一边，竹竿上端系一根长绳，在晒盘下撒上米，当饥饿的麻雀飞过来吃米时，绳子一拉，就能罩住好几只麻雀，拿回去拔毛后油炸着吃，好香。
大哥生性憨厚，不计较，对几个弟弟很是呵护，因此没少替弟弟们挨骂。幺弟（最小的弟弟）猴精猴精，有次他们在外玩耍，看到一棵酸枣树上结满酸枣，他们在下面张望着，看着黄澄澄的酸枣，垂涎欲滴，没想到幺弟蹭蹭几下就爬上去了，摘了下边的几串酸枣后，踩着一根枯枝想爬到更高处，只听到“咔嚓”一响，在大家的惊呼声中，幺弟从天而降。大哥惊叫一声，冲过去扶起弟弟，“哎呀，没摔到哪里吧？”一边察看弟弟的伤情，一边自责“都怪我，刚才没拦着你”，幸亏地上树叶厚，没伤着筋骨，大家虚惊一场，回家都缄口不言。
云帆好静不好动，大多数情况下都是旁观者，更多时候他就守在书房里陪着父亲看书写字。
无疑，云帆的童年是幸福的，大自然给了他足够的馈赠。家乡的湖光山色，家乡的泥地清香，家乡的四季变幻，丰富了云帆的内心世界，让他把对这片土地的热爱，对家乡的眷恋一点点根植于心。
他们家在乡下大约有百来亩地，算是当地的大户人家。云帆家是典型的男主外，女主内的家庭。云帆的父亲在地方上颇有威望，是个有文化的开明乡绅。但他不善农事，家里的田都租给了佃户，秋收时按每亩2担谷收租养家，视收成的好坏可略有波动。他也不管家事，家事全由云帆母亲料理。大多数时间云帆父亲就待在家里读书写字，他尊崇孔孟之道，朱熹的理学、王阳明的心学都是他的最爱。儒家学说深刻地影响了他的人生，而且他还力求“知行合一”，对他人行善积德，对自己克己复礼。父亲的为人处世、家庭里浓厚的儒家文化氛围，潜移默化地影响着云帆，这种影响绵延一生。
妈妈能干，把个大家庭打理得井井有条。妈妈虽然读书不多，但骨子里有一股悲天悯人的善良，每逢家门前来了叫花子，妈妈总是说：“这人一定遇到了难处，好可怜啊！一定不要让他打空转身。”每当听到妈妈这么说的时候，云帆就立马起身跑出去，或送上一碗饭，或送上一升米，进来时还会因为自己抢到这个机会乐滋滋的。这时，妈妈看向他的眼睛里总是溢满赞赏，并会宠溺地拍拍他的背。到了秋收时，若是遇到云帆妈收租，她会把米斗刮得平平的，不占别人的便宜。周围邻居要有什么难处，少不了来找云帆妈排忧解难，因此，云帆妈在当地的口碑很好。
长大后的云帆如此宅心仁厚、如此忧国忧民，这少不了他家庭的滋养。
除了家庭的滋养，更少不了教育的熏陶。
离他们家不远的地方有个私塾，他们兄弟都是在那里发的蒙。私塾先生是邻乡的一位老秀才，饱读诗书，还是江家父亲与当地的几位乡绅颇费一番周折才请过来的。
每个弟子每年学费3元，每逢节日（如端午、中秋等）时，弟子们还会送上节资50—100枚铜钱不等，以示对师长的敬意。
开学的前一天，父亲着人把云帆的课桌椅送去了私塾。
开学那天，云帆带上银锻镶边的青色瓜皮帽，穿上青色长衫，外搭一件银锻滚边的青色小马褂，脑后垂着个小辫，看上去清清爽爽的。由父亲陪着，背着书包去上学，一路上连蹦带跳，别提多高兴了。
跑到私塾，只见里面放了几排孩子的课桌，孩子课桌的前方靠墙有一大方桌，上面供着孔子牌位，老先生坐在方桌旁的太师椅上，桌前地面上放了一个跪拜用的蒲团，旁边小凳上还放了一盆水。云帆走到老师跟前，道一声“先生好！”，老先生站起来给他正了正衣冠，然后云帆在旁边的水盆里洗了洗手，走到方桌前先跪拜孔圣人牌位，后跪拜老先生，接着毕恭毕敬地奉上红纸包好的束脩（即学费），老先生给云帆的眉心点上一颗朱砂开智，拜师的流程就此走完，云帆正式成了老先生的弟子。
老先生治学严谨，所授文章都需背熟，并领悟其要义。除授蒙学常用的课本外，与其他私塾先生不一样的是，老先生喜欢穿插讲一些小故事，如“孔子尽礼”“司马光砸缸”“孟母三迁”“岳母刺字”“文天祥就义”等。在老先生的谆谆教诲下，“仁义礼智信忠孝”的儒家思想在他弟子们的头脑里慢慢萌芽。
云帆悟性好，是老先生颇为钟爱的弟子。他每天早早就到了学堂，擦完桌椅就摇头晃脑地读起书来。《百家姓》《三字经》《千家诗》《蒙养必读》《幼学琼林》《论语》《孟子》等被他背得滚瓜烂熟，其精髓还能说出一、二。有时先生不在，他还会领着其他小孩读书，“三先生”的名字就这样传开了。
不是所有的小孩都这么听话，老先生的手边总备着一把戒尺，坐不住的、背不出书的弟子免不了小手被抽上几下，这些常常挨打的弟子，看着被先生青睐的云帆，心里难免有几分嫉妒。有一天，这几个调皮的弟子想出了一招，瞅着云帆去上厕所了，他们将一个铜盆倒扣在门楣上，云帆毫无防备地推门而入，铜盆不偏不倚掉下来，倒扣在云帆头上，砸得云帆的瓜皮帽掉到地上乱滚，孩子们笑得前仰后合，拍手跺脚，云帆生气地注视着他们，拳头攥得紧紧的，委屈的泪花在眼睛里打转转。“这是谁干的？把手伸出来！”，老先生进来看着这群顽劣学童的恶作剧，气得山羊胡子都翘起来了，戒尺在桌子上敲得山响，小弟子吓得噤声不语，禁不住老先生的厉声呵斥，几个犯事的小弟子无可奈何地伸出了自己的小手，不一会小手掌又添上了几道红印。
老先生对自己的小弟子既严苛又爱护，到了冬天，他的小弟子是可以带烘笼子（竹编的烤火器）进学堂的，云帆就是在老先生这种言传身教下完成了他的蒙学生涯。
云帆的父亲思想开明，及至云帆能上小学的年纪，就送他进了现代学堂，他一路读到了省城的学校。
1905年云帆走进了HUN省优级师范。第一天走进学校，背着行李的他在学校里转悠，他惊奇地发现这个学校除了教室外，还有图书馆、大操场。正当他迷惑宿舍在哪里时，迎面走来一位学长，学长比他高了半个头，他友善地打量着他：“你是新来的同学吗？”“是的，我今天才来，不知道我们住哪里？麻烦你告诉我一声好吗？”云帆用询问的眼神看向学长，“不急，我带你去”。学长接过他手里的行李，领着他朝宿舍走去，两人边走边互报家门，原来学长姓王，是湘乡人。开学第一天就遇到一位这么热心的学长，云帆觉得自己好幸运，从那天开始，他们慢慢走近，直至成为好朋友。
他们求学那会，正是20世纪初，中国已沦为半殖民地半封建社会，国家贫弱，民生凋敝，经济、军事实力远远落后于西方列强。整个国家风雨飘摇，充满动荡与变革，孙中山正在为推翻清政府奔走。
云帆发现，学校操场的东南角有一座小亭子，有一帮子学生总在那里“指点江山，激扬文字，粪土当年万户侯”，他的好友王友棋就在其中。这激起了他的浓厚兴趣，他也常凑过去旁听。原来这帮同学正是“恰同学少年，风华正茂”的年纪，正在“书生意气，挥斥方遒”，他们凑到一起谈论的话题就是对国家命运的担忧，对列强欺侮的愤慨，对洋务运动失败的惋惜，对宪政治国的期盼，对救国救民良策的探讨。
从他们的讨论中，他知道了中国与列强签下了一系列充满屈辱的条约，知道了中国在世界上所处的地位，知道了孙中山先生提出的三民主义，即民族主义、民权主义和民生主义。他们的讨论帮他打开了认知世界的大门，他不再是井底之蛙，他对于自己的国家、国民性，也有了自己深入的思考。
云帆时不时也会提出自己的观点，他认为中国之所以贫弱，除了清政府腐败外，与国民素质不高有很大关联，振兴中国的教育，能够提升国民素质，培养国家精英，这也是拯救中国的有效途径。听到他的观点，不少人投来肯定的目光，与他产生了共鸣。
在这些思想碰撞中，“教育救国”的梦想开始在这帮同学的头脑中孕育。
1908年从学校毕业后，他就开始了积极的教育实践，开始了自己实现“教育救国”梦想的历程。他辗转于长沙、益阳两地，先后执教于长沙长郡中学、益阳信义中学等学校，兼职多时达9所学校。