在市区小西门40号，有一座清代建筑，叫“修文书院”。书院坐北朝南，占地面积800余平方米。从南而北依次为大门、前厅、后厅、楼房。前厅和后厅设教学课堂，两厅之间有长方形的大天井用于采光，两侧有厢房、走廊，后厅与楼房之间有小天井，两侧又各有厢房，沿楼梯可上二层楼。

　　书院的建筑设计别具一格，梁上雕梁画栋，朝东有两扇小门，可通狮子巷，朝西北也有两扇小门，可通南赛巷。狮子巷通南赛巷一带都属于书院的范围。

　　1985年，全市开展城市文物普查，在一片民房包围之中发现了这座书院。当时，发现这座建筑时只以为它是一座清代建筑，应作为市文物保护单位，对于它的用途，周围的居民众说纷纭。后来，通过调查走访，又查阅了史料，才知道它是清代的修文书院。修文书院能基本保持完好，主要是因为它被包围在四周的街坊民居中，而且民国时这里又曾设立过多种机构。这真好像是藏在深山人未识。

　　据民国《衢县志》记载，衢州可查考的清代书院达24处之多，小西门修文书院只是其中之一。