建炎二年(1128年),孔子四十八世嫡长孙、衍圣公孔端友扈跸南渡。
建炎三年(1129年),宋高宗建都临安(杭州),衍圣公孔端友偕从父孔传诣阙上疏,因功赐家衢州。绍兴六年(1136年),宋高宗下诏,权以衢州州学为孔氏家庙,并赐田五顷,以奉祭祀和赡养族中幼单孤寡。
宝祜元年(1253年)仲夏,北归无望,衍圣公孔洙及衢州知府孙子秀奏请新建家庙,宋理宗拨款三十六万缗,诏建家庙于城东北菱湖芙蓉堤上,“其制略同于曲阜”,“广至二百二十有五楹”,次年仲春落成。有玄圣殿、郓国夫人殿、齐国公殿、鲁国太夫人殿,祠祀沂水、泗水二侯于两庑之中,还有思鲁堂和咏春亭等建筑。
至元十三年(1276年),菱湖家庙毁于兵燹,旋迁于城南,但“其制已非宝祜之旧”。至元十九年(1283年),廷议认定孔氏南宗为圣人之宗子,元始祖乃召孔子五十三世嫡长孙、衍圣公孔洙赴京,令其载爵返曲阜奉祀祖庙,孔洙以庙墓在衢为由,让爵于曲阜族弟孔治,元始祖赞其“宁为荣而不违道,真圣人后也”,改任其国子监祭酒归守江南庙祀。从此,孔氏大宗失爵。
至正十九年(1359年)朱元璋攻克衢州,命衢州守将王恺修葺孔氏家庙。
明弘治十八年(1505年),衢州知府沈杰向明孝宗朱祜樘上疏,称:“衢州圣庙,自孔洙让爵之后,衣冠礼仪,猥同氓庶。今访得洙六世孙孔彦绳,请授于官,俾主祭事。”次年,即正德元年(1506年),接位的武宗朱厚照秉承先皇旨意,封孔彦绳为翰林院五经博士,子孙世袭。这样,衢州孔氏大宗在失去爵位224年之后,又得到了封号。
正德十五年(1520年),朝廷拨下巨款,迁建孔氏南宗家庙于先义坊西安县学宫旧址(即今庙址新桥街),次年落成,并建有孔府,占地十亩余。建庙时栽下的银杏树与柏树至今仍枝繁叶茂。
万历十二至十六年(1584年~1588年)间,衢州知府廖希元主持家庙修葺。
康熙十三年(1674年),重建大成殿、廊庑及仪门等,兵部尚书李之芳为之碑记。
康熙二十二年(1683年),清圣祖手书“万世师表”匾额。
雍正四年(1726年),清世宗手书“生民未有”匾额。
乾隆三年(1738年),清高宗手书“与天地参”匾额。
乾隆四十三年(1778年),朝廷拨银修葺家庙、重建庙前跨街牌坊。
嘉庆三年(1789年),清仁宗手书“圣集大成”匾额。
道光元年至三年(1821年一1823年),衢州两任知府周镐、谭瑞东先后集资对家庙进行大修,全城官佐及五县士民踊跃捐银捐物,其中左营守备刘龙标捐资犹巨。此次大修,将思鲁阁从大成殿后移至大成殿西面,并将大成殿加高五尺,部分楹柱改木为石,崇圣祠以下,尽皆拓新,建成今日之规模。清宣宗手书“圣协时中”匾额。
咸丰二年(1852年),清文宗手书“德齐帱载”匾额。
同治三年(1864年),驻衢闽浙总督左宗棠捐银700两修葺家庙,府县两级亦相继拨款。清穆宗手书“圣神天纵”匾额。
光绪七年(1881年),清德宗手书“斯文在兹”匾额。
宣统元年(1909年),溥仪颁“中和位育”匾额。
民国六年(1917年),北洋政府大总统黎元洪手书“道洽大同”匾额。
民国八年(1919年),北洋政府改颁布《崇圣典例》改南宗五经博士、孔子73世嫡长孙孔庆仪为“大成至圣先师南宗奉祀官”,世袭。1923年冬,孔庆仪逝世,孔子74世嫡长孙孔繁豪袭任“大成至圣先师南宗奉祀官”。1944年10月,孔繁豪逝世,孔子75代嫡长孙孔祥楷承袭“大成至圣先师南宗奉祀官”。这年,孔祥楷虚岁6岁。
孔祥楷生于1938年1月,1961年毕业于西安建筑科技大学,曾任河北金厂峪金矿矿长、沈阳黄金学院副院长、衢州市市长助理、衢州市委统战部部长、衢州市政协副主席,现任浙江省政协委员、衢州市孔氏南宗家庙管理委员会主任,主持孔氏南宗家庙的日常工作。
抗战时期,日军二次占领衢州,家庙中乐器、礼器被掳略一空。1947年,国民政府曾拨款维修。1959年和1961年浙江省文化厅和衢县县政府曾拨款维修。1984年,衢州市政府拨款对家庙的主体建筑进行维修。1988年,衢州市政府再次拨款对家庙进行维修,并复建圣泽楼和修葺思鲁阁。1989年12月12日,浙江省人民政府公布孔氏南宗家庙为省级文保单位。1996年11月20日,国务院批准孔氏南宗家庙为全国重点文物保护单位。2000年5月,衢州市人民政府主持复建的家庙西轴线与孔府竣工,耗资1800万元。