常衮登第后由太子正字授补阙起居郎，永泰元年（765年）授中书舍人。大历十二年（777年）拜相，杨绾病故后，独揽朝政。以文辞出众而又登科第为用人标准，堵塞买官之路。对朝中众官俸禄亦视其好恶而酌定。封河内郡公。德宗即位后，被贬为河南少尹，又贬为潮州刺史。不久为福建观察使。常衮注重教育，增设乡校，亲自讲授，闽地文风为之一振。建中四年（785年）死于任上。享年五十五岁，追赠为尚书左仆射。
林香雨气新，山寺绿无尘。遂结云外侣，共游天上春。
鹤鸣金阁丽，僧语竹房邻。待月水流急，惜花风起频。
何方非坏境，此地有归人。回首空门外，皤然一幻身。
可怜云木丛，满禁碧濛濛。色润灵泉近，阴清辇路通。
玉坛标八桂，金井识双桐。交映凝寒露，相和起夜风。
数枝盘石上，几叶落云中。燕拂宜秋霁，蝉鸣觉昼空。
翠屏更隐见，珠缀共玲珑。雷雨生成早，樵苏禁令雄。
野藤高助绿，仙果迥呈红。惆怅缭坦暮，兹山闻暗虫。
结发事疆场，全生到海乡。连云防铁岭，同日破渔阳。
牧马胡天晚，移军碛路长。枕戈眠古戍，吹角立繁霜。
归老勋仍在，酬恩虏未忘。独行过邑里，多病对农桑。
雄剑依尘橐，兵符寄药囊。空馀麾下将，犹逐羽林郎。
囷轮江上山，近在华容县。常涉巴丘首，天晴遥可见。
佳游屡前诺，芳月愆幽眷。及此符守移，欢言临道便。
既携赏心客，复有送行掾。竹径入阴窅，松萝上空蒨.
草共林一色，云与峰万变。探窥石门断，缘越沙涧转。
两山势争雄，峰巘相顾眄。药妙灵仙宝，境华岩壑选。
清都西渊绝，金地东敞宴。池果接园畦，风烟迩台殿。
高寻去石顶，旷览天宇遍。千山纷满目，百川豁对面。
骑来云气迎，人去鸟声恋。长揖桃源士，举世同企羡。
执契静三边，持衡临万姓。玉彩辉关烛，金华流日镜。
无为宇宙清，有美璇玑正。皎佩星连景，飘衣云结庆。
戢武耀七德，升文辉九功。烟波澄旧碧，尘火息前红。
霜野韬莲剑，关城罢月弓。钱缀榆天合，新城柳塞空。
花销葱岭雪，縠尽流沙雾。秋驾转兢怀，春冰弥轸虑。
书绝龙庭羽，烽休凤穴戍。衣宵寝二难，食旰餐三惧。
翦暴兴先废，除凶存昔亡。圆盖归天壤，方舆入地荒。
孔海池京邑，双河沼帝乡。循躬思励己，抚俗愧时康。
元首伫盐梅，股肱惟辅弼。羽贤崆岭四，翼圣襄城七。
浇俗庶反淳，替文聊就质。已知隆至道，共欢区宇一。
山水佳新霁，南楼玩初旭。夜来枝半红，雨后洲全绿。
四运相终始，万形纷代续。适临青草湖，再变黄莺曲。
地穴穿东武，江流下西蜀。歌闻枉渚邅，舞见长沙促。
心阻意徒驰，神和生自足。白发悲上春，知常谢先欲。