Родился 11 сентября 1908 года в селе Славянка Ленинского, ныне Есильского района Русский. Здесь окончил школу, работал в колхозе. Когда началась война, А.М. Ершов ушел на фронт. Был трижды ранен. Награжден орденом Красной звезды и медалью «За победу над Германией».
За исключительную стойкость, мужество и геройство, проявленные при форсировании реки Неман, Указом Президиума Верховного Совета СССР от 24 марта 1945 года сержанту Ершову Александру Матвеевичу присвоено звание Героя Советского Союза.
17 июля 1944 года при форсировании реки Неман беззаветную храбрость, мужество и преданность Родине проявил в числе других командир отделения 371-й стрелковой дивизии 5-й армии сержант Александр Матвеевич Ершов. Под сильным артиллерийским и пулеметным огнем, при массированном налете немецкой авиации он первым со своим отделением переправился на левый берег реки. Отражая натиск контратакующей роты, отделение А.М.Ершова подпустило солдат противника на близкое расстояние и в упор расстреляло их, были пущены в ход и гранаты. Кончились боеприпасы. Враг обрушил на горстку смельчаков огонь всех своих боевых средств.
Не колеблясь, командир отделения повел своих солдат в рукопашную схватку… Штыком и прикладом он лично уничтожил 12 фашистов, показывая пример мужества и геройства. Враг не выдержал рукопашной схватки и отступил, оставив на поле боя до 100 трупов солдат и офицеров. Другие подразделения дивизии в это время переправились на левый берег Немана, перешли в наступление и захватили необходимый плацдарм.
После демобилизации А.М. Ершов работал бригадиром животноводческой фермы совхоза «Заградовский» ныне Есильского района. С января 1969 года на пенсии. Умер 21 февраля 1980 года и похоронен в селе Славянка.