后来，朝廷多次征召卫玠入朝为官，征召的命令到来，卫玠都不赴任。很久以后，担任太傅西阁祭酒、太子洗马。卫玠的兄长卫璪担任散骑侍郎，在宫内侍奉晋怀帝司马炽。

永嘉四年（310年），当时中原战乱渐起，卫玠因天下大乱，打算搬家到南方，他母亲王氏说：“我不能舍下仲宝（卫璪字）离开！“卫玠把道理讲得深透，为了门户大计，王氏流着泪答应了他。卫玠临别前，对兄长卫璪说：“恭敬父、师、君的道义，是人们所看重的。如今可以说是献身事君，兄长自勉。”于是护送母亲搬到江夏（今湖北武汉）居住。[5]

正始之音

卫玠的妻子乐氏很早去世，征南将军山简见到卫玠，很是器重钦佩他。山简说：“过去戴叔鸾嫁女，只嫁给贤人，不问地位贵贱，何况卫氏是权贵门户有名的人呢！”于是把女儿嫁给卫玠。接着卫玠进入豫章（今江西南昌）。当时大将军王敦镇守豫章，长史谢鲲先前就一直尊重卫玠，相见后很高兴，交谈了一整天。王敦对谢鲲说：“过去王弼在朝中的谈吐像金声，此人在江表的言论如玉振，精微言论，断绝了又续接。没想到永嘉末年，又听到正始年间的声音，何晏如果还在，一定倾倒。”卫玠经常认为人无完人，可以宽恕；不是故意冒犯，可以按情理处理，因而终身看不到他喜怒的容颜。[6]

受士器重

卫玠因王敦豪爽不合群，好居人上，恐怕不是国家的忠臣，于是谋求到建邺（今江苏南京）。京师的人听说其姿容，看他的人挤成人墙。卫玠因劳累成疾而加重病情，于永嘉六年（312年）去世，时年二十七岁，当时的人都说卫玠是被看死的。卫玠死后葬在南昌。卫玠死时谢鲲哭他很悲痛，有人问他为何如此悲伤，谢鲲回答说栋梁断了，因而悲哀。咸和年间（326年―334年），卫玠改葬于江宁（今南京）。丞相王导告论说：“卫洗马确实该改葬。此人是风流名士，海内仰望，可以准备薄祭，来勉励旧日好友。”后来刘惔、谢尚共同议论朝中人士，有人问杜乂可以和卫玠相比吗？谢尚说他们二人怎能相比，他们之间的差距容得下几个人。刘恢又说杜乂是貌清，卫玠是神清。卫玠就是这样受到有识之士的器重。当时中兴名士，只有王承和卫玠为当时第一。