李严最开始是在刘表帐下任职，并且仕途还比较顺利，做到秭归县令，一直到镇守荆州的刘表去世后，因为不愿投降曹操而辗转来到益州拜在刘璋麾下。最初拜在刘备麾下时，李严也因为种种的原因没有得到重用，一直到建安二十三年，马秦、高胜等人趁刘备与曹操争夺汉中后方空虚而发动叛乱时，李严临危不惧，不待援军到来，率本郡五千余人平定了高、秦之乱，才让刘备真正的认识到他身上才能，因此封其为辅汉将军。