元世祖中统二年三月的一天，忽必烈问大臣窦默：“朕欲求得如唐朝魏征那样的人，我朝有没有？”窦默不假思索张口就说：“像魏征那样犯颜谏诤、刚毅不屈的人就是许衡了。”

  忽必烈对许衡是非常了解的。忽必烈还未称帝前，任秦中王时，想找一位既有渊博的学识又有高尚德操的贤才，来负责教化饱受战争之苦的秦中百姓，于是就召许衡任京兆提学。

  所以，这次窦默举荐许衡，正合忽必烈心意。于是，忽必烈下旨又召许衡至开平，共商大计，任命许衡为太子太保。当时的丞相是王文统，他的想法与许衡的政治主张存在很大分歧。一天，窦默对忽必烈说：“王文统学术不正，必祸天下，不可处以相位。”忽必烈问：“谁能为丞相？”窦默答：“许衡。”王文统为人刻薄善妒，他嫉妒许衡渊博的学识和高尚的德操，担心日后许衡取而代之，便暗地里传播谣言诋毁许衡。疾恶如仇的许衡不愿与此等小人为伍，毅然辞职。许衡辞职第二年，王文统与他人合谋叛乱未遂，被处死。

  元朝初立，汉族与蒙古族之间的民族矛盾十分激烈，尤其在是否行使“汉法”方面，忽必烈一直举棋不定。

  以许衡等人为首的汉族大臣极力劝谏忽必烈采用“汉法”。许衡还写了一篇文章《时务五事》上奏忽必烈。文中指出,考证中国的历史，只要行“汉法”的朝代都长久，否则都短命。蒙元政权要想得天下，非行“汉法”不可。许衡所说的“汉法”，就是要以儒家学说的“礼治”“德治”“仁治”来治理国家。具体到治国措施上就是：重农桑、宽赋税、省徭役、兴修水利、提倡垦殖，以使百姓安居乐业。

  而以阿合马等人为首的蒙元大臣们则反对行使“汉法”。阿合马是忽必烈的大臣，官至丞相。元世祖至元三年，朝廷设置总理财政的制国用使司，阿合马以平章政事兼领使职，开始总揽全国财政大权。他施行的敛财政策就是：增盐税、滥发纸钞、增课税、推行专卖制度等。

  阿合马还大肆培植党羽，排斥打击异己。洛阳宿卫官秦长卿上书揭露阿合马的罪行，被阿合马杀害。江淮行省左丞崔斌上书弹劾阿合马也被杀。阿合马对支持行“汉法”的右丞相安童怀恨在心，耍尽阴谋诡计，多次在忽必烈面前诬陷诋毁安童，迫使安童辞职。

  阿合马及其同党执掌全国财政大权期间，横征暴敛，竭泽而渔，民不聊生，天下怨愤。阿合马施行的敛财政策与许衡倡导的“汉法”是格格不入的。以“汉法”派为首的许衡忍无可忍，怒起抗争。

  至元七年，许衡被任命为中书左丞。至元八年，阿合马出任中书平章政事，领尚书省六部事，权倾朝野，大臣们都怕他。性格耿直的许衡却毫不畏惧，每次与阿合马发生冲突，皆义正言辞，毫不退让。

  至元十年，阿合马向忽必烈上奏，想让他的儿子为同签枢密院事，这是一个掌握军权的重要官职。许衡坚决反对，说：“国家之事，最重要的是财权、民权和兵权。现在阿合马已掌握了财权和民权，又想让他儿子掌握军权，这是不可以的。”忽必烈问道：“许爱卿是担心他造反吗？”许衡回答：“他虽然不反，但这是造反所具备的条件。”阿合马知道后，当面质问许衡：“你凭什么说我想造反？”许衡答：“我说只要是造反的人都是拥有大权的人。你不造反，为何要想独揽大权于一身？”阿合马反咬一口：“你才想造反。人人都喜好的势力、爵禄、声色，这些你都不喜好。你是想收买人心，不造反是什么？”许衡掷地有声地回答：“如果你说的这些也都有罪，我就辞职。”

  阿合马由此忌恨许衡，寻机报复。

  至元八年，忽必烈设立太学，命许衡为集贤大学士兼国子祭酒，主持国家的最高学府国子监。许衡主持国子监期间，教授许多蒙古子弟，让他们认真学习先进的华夏文化。

  至元十年，正在许衡认真经办国子监时，阿合马却找种种借口断了国子监的资金和粮食供给，致使许多学生离去。阿合马这样做，既报复了许衡又破坏了“汉法”。许衡愤而上书辞职，宁愿回家务农，也不愿与奸臣同朝为官。

  阿合马祸国殃民，朝野共愤，太子设计杀死了他。忽必烈知道了阿合马的罪行后龙颜大怒，下旨没收其家产，杀其党羽。