在此之前，当地在镇压贼匪时，往往调用远处的狼达土军。从出兵到镇压完成往往一年有余。而且在狼达土军走了以后，贼匪很快又会出现。这样一来，剿匪耗资巨大，而且从远处调来的狼达土军骄横，难以管制，所以大多数时候都是得不偿失。

因此，王阳明命令兵备官从各地挑选骁勇善战之士，冠之以“乡勇”之名，每县多者十人，少者七八人。这样一来，江西、福建两省就各组成了五六百人的乡勇队伍；广东、湖广两省各组成了四五百人的乡勇队伍，再从中选择杰出优秀通晓兵略之士提拔为将官。选拔来的乡勇平时跟随兵备官驻屯训练，没事的时候坚守城寨，有事的时候机动出击。