Ермолов не мог увлекаться светскою жизнию; он беспрестанно занимался военными науками и назойливо просил графа Самойлова зачислить его в артиллерию, что, наконец, и было исполнено.
Восстание в Польше оторвало Алексея Петровича от его научных занятий: он участвовал в этой кампании и получил орден св. Георгия за штурм Праги.
В следующем году он был отправлен за границу, в Италию, где, будучи прикомандирован к главной квартире австрийского главнокомандующего, участвовал в войне австрийцев с французами. Едва только он успел вернуться в Россию, как в 1796 году принял участие в новом походе персидском, под предводительством графа Валерьяна Зубова.
Начавши службу так удачно, Алексей Петрович с шестнадцати лет приобрел самостоятельность и репутацию, которые сулили ему блестящую будущность. Но судьба неожиданно подставила ему ногу.
Смоленский губернатор сделал донос на Каховского, брата Алексея Петровича по матери. Тот был взят по этому доносу под арест, а вместе с ним был арестован и Ермолов: его взяли и отвезли в Калугу.
Но чуть только Ермолов явился в Калугу к губернатору, ему было объявлено всемилостивейшее прощение государя и возвращена шпага. Тем не менее, однако, Ермолов счел себя всем этим крайне оскорбленным и требовал от генерала Линденера объяснений, которых тот ему, разумеется, не дал, но зато тотчас же секретно донес о нем как «о человеке неблагонадежном». Последствием этого нового доноса было то, что за Ермоловым в Калугу был прислан из Петербурга курьер, который и отвез его прямым трактом в Петропавловскую крепость, где Ермолов потомился под стражею, а затем он был сослан в Кострому.
Там он нашел другого изгнанника, Платова, впоследствии графа и атамана Войска Донского.
В ссылке Ермолов пробыл целые три года, и это время далось ему не легко. Он был исключен из службы и потерял из виду всех родных и брата своего, Каховского. Знакомые и приятели за немногими исключениями отреклись от него и даже не отвечали на его письма. Таков свет, таковы люди!