据记载，衢州唐代天宝年间有68472户，但到元和年间却降到17426户，安史之乱未及衢州，数十年间，降幅为何如此惊人，有学者认为可能系统计之误。不过，当时人丁是国家征派赋役的主要依据，户口的调查登记是政府的首务，律法极严，不该有太大误差。
　　唐代自贞观之治后，开始走下坡路，武皇后和韦皇后相继掌权，淫靡恣肆，自乱朝政。唐玄宗开始还有所作为，但后期信用宦官，骄奢淫逸，终于酿成安史大乱。世局动乱，而初唐时实行的均田制，由于高官豪绅的巧取豪夺，已没有多少土地给农民承包了，到开元、天宝年间，土地兼并发展到了空前剧烈的程度。唐玄宗下诏书说：“王公百官及富豪之家，比置庄田，恣行吞并，莫惧章程。……致令百姓，无处安身。”如贞元十年（794）陆贽罢相过衢州，一出手就买田千亩。普通农户只剩下五亩十亩地可承包，没法糊口，只好变身佣户，给地主打工。当时朝廷还垄断盐价，大肆搜括，如唐玄宗时盐价每斗十钱，肃宗加一百钱，到德宗时升至370钱，老百姓简直没法过日子了。“二月卖新丝，五月粜新谷。医得眼下疮，剜却心头肉。”就是当时民生的实录。
    安史之乱元气大伤，北方遭受了极大的破坏，而江南、四川等地就成了国家税赋的重心。为了满足官僚贵族的奢侈生活，朝廷改租庸调法为两税法，对江南征以重税，由此也引发了百姓的抗税斗争。宝应元年（762），浙东农民拥戴袁晁，起来反抗朝廷的横征暴敛，在明州翁山县（今舟山岛）打起了反抗的义旗。不久，攻克台州，声威大震。义军得到了浙东百姓的响应，很快发展到数万人，并迅速向明州、越州、温州等周边地区扩展，接着又攻占婺州、杭州、苏州、常州等地。袁晁还派兵进入衢境，攻克衢州城，并由须江县（今江山）一直攻至江西上饶。一路所至，贪官污吏望风披靡，义军很快发展到20多万人。对于尚未彻底平定“安史之乱”的唐王朝来说，在其腹地、主要赋税征集地的这场起义，是无论如何也要迅速镇压的。同年12 月，唐中央政府以名将李光弼为统帅，兵分数路镇压起义。缺乏军事素质的义军难敌历经百战的朝廷军队，李光弼部将张伯义首先率军于衢州城大破义军，后来部将王栖曜又擒获了义军首领袁晁。唐广德二年（764）十一月，袁晁被害，起义最终失败。时衢州刺史殷日用，招抚流亡，“凡增万余室而不为众”。
　　人祸偏逢天灾，元和年间，衢州大旱，饿殍遍地，刺史元锡给皇帝打报告说：“顷属旱灾相继，夭丧过半。”饿死的居民超过半数，这是何等酷烈的惨状！但统治者依然漠视民生，过着纸醉金迷的腐朽生活。且看著名诗人白居易留下了一首名为《轻肥》的诗，是白居易《秦中吟》十首中的一首，记叙作者“贞元、元和之际”，在长安“闻见之间, 有足悲者。因直歌其事，命为《秦中吟》”。此诗揭露的是宦官掌权后的骄奢生活和飞扬跋扈的骄横神态。全诗如下：“意气骄满路，鞍马光照尘。借问何为者，人称是内臣。朱绂皆大夫，紫绶悉将军。夸赴中军宴，走马去如云。樽垒溢九酝，水陆罗八珍。果擘洞庭橘，脍切天池鳞。食饱心自若，酒酣气益振。是岁江南旱，衢州人食人！”
　　白居易是受衢州浸润的第一位大诗人，其父季庚于唐代贞元中任衢州别驾，白居易侍父在衢，“昼课赋，夜读书，间又课诗，不遑寝息矣。以至于口舌成疮，手肘成胝”，整个儿泡在书堆里。正因为白居易少年时寓居衢城，他对衢州的情况较熟，感情很深。他的诗文中有许多相关篇章与衢州有关。如《传法堂碑》、《岁暮枉衢州张使君书并诗因以长句报之》、《江郎山》等。此诗极写达官贵人骄奢淫逸，灾区百姓的水深火热。诗题《轻肥》，取自《论语·雍也》中的“乘肥马，衣轻裘”，用以概括豪奢生活。内臣者，宦官也。宦官不过是皇帝的家奴，凭什么骄横神气一至于此？原来，宦官这种脚色居然朱绂、紫绶当上三五品以上的大官，掌握了政权和军权，怎能不骄？怎能不奢？通过内臣们军中宴的场面主要写他们的奢，“食饱心自若，酒酣气益振”两句，又由奢写到骄。食饱、酒酣，意气自然益发骄横，不可一世了！结尾笔锋陡然一转，当这些“大夫”“将军”酒醉肴饱之时，江南正在发生“人食人”的惨象，这首诗运用了对比的方法，把两种截然相反的社会现象并列在一起，诗人不作任何说明，不发一句议论，而让读者通过鲜明的对比，得出应有的结论。与杜甫的“朱门酒肉臭，路有冻死骨”，可并称为现实主义诗篇的两把匕首。