Сильный волею, энергический Ермолов, однако, не пал духом от всех этих передряг. От нечего делать он принялся за изучение латинского языка у протоиерея Груздева, читал и переводил Юлия Цезаря и, кроме того, стал учиться играть на кларнете. По восшествии на престол императора Александра I он был освобожден вместе со всеми лицами, замешанными в деле Каховского. Тогда Ермолов приехал в Петербург, но там уже выступили на сцену новые лица и новые интересы, среди которых он был чужим на пиру. Генерал Ламб, президент военной коллегии, впрочем, взялся по старому знакомству похлопотать об Ермолове.
После долгих хлопот и не прежде, чем, по выражению Ермолова, «он наскучил всему миру секретарей и писцов», являясь ежедневно в военную коллегию, Ермолов был принят тем же чином на службу в 8-й артиллерийский полк и получил роту, квартировавшую в Вильне.
Время, проведенное Алексеем Петровичем в ссылке, отразилось навсегда на его характере неизгладимыми чертами. Он стал сосредоточен, задумчив и полюбил уединение.
«Я редко или почти никогда весел не бываю, сижу один дома, – писал он одному из своих друзей. – Я сыскал себе славного учителя на кларнете и страшно надуваю, и по-латыне упражняюсь».
Кроме того, аресты и ссылка развили в нем мнительность, и всякая безделица беспокоила его и заставляла страшиться новых неприятностей в том же знакомом роде. Вот один интересный случай, который рассказывает г. Дубровин. Один из офицеров Алексея Петровича проиграл 600 рублей казенных денег. Ермолов тотчас же арестовал его, взыскал деньги с выигравших и, уступив просьбам, а главное, «избегая случая сделать человеку несчастие, сам собою испытавши, сколько тягостно переносить оное», согласился скрыть это дело и не доносить начальству о проступке офицера. По частному письму его к начальнику офицер был переведен по неспособности в Кизлярскую гарнизонную роту. Офицер обиделся за то, что его признали неспособным, и решился лучше во всем признаться. Ермолов страшно встревожился; ему мерещились всяческие беды за сокрытие преступления подчиненного, и он не прежде успокоился, как тогда, когда офицер согласился не поднимать этого дела и ехать в Кизлярский гарнизон.