在进军祁门的时候，曾国藩派李元度任皖南道，领兵驻守徽州。李元度是曾氏最亲信的幕僚和门生之一，从曾国藩创办湘军开始，他一直追随左右，即使最危急的时刻都没有离开。曾国藩在靖港被太平军打得大败，要跳水自尽，幸亏李元度把他救起来。曾国藩称他是自己“三不忘”的恩人。
李元度是典型的读书人，不适合领兵作战，因此，尽管他和曾国藩关系非常密切，曾国藩却没有大力提拔他，这也是为了保护他。但李元度却一直存有梦想，强烈要求独当一面。曾国藩无法，只得答应。在临行前，曾国藩与他约法五章，要他坚壁自守，不要轻易出战。谁料一到徽州，李元度就把这些告诫扔到脑后，听信部下怂恿，擅自带兵出城击敌，结果惨败，所属六七千人被太平军全部消灭，徽州落入太平军手中。当时曾国藩被围祁门，形势极其危险，对此事一无所知，还指望突出重围，去徽州安身。
徽州失守后，李元度徘徊在浙江边境迟迟不归，没有人知道他的死活。但是，不久他又出现在曾国藩大营中。回来后，又在检讨报告中文过饰非。在对他进行调查之前又径自离营他去。对其兵败失地，曾国藩本来已十分恼怒，而兵败后不等待处分，反而私自回家，更使他火冒三丈。曾国藩一怒之下，上疏奏劾，吩咐李鸿章起草奏章，准备严词参劾，请斩李元度以明军法，并自劾用人不当，请求朝廷处分。