В Петербурге молодой и красивый адъютант встретил радушный прием. Наружность Алексея Петровича, прекрасная, одухотворенная, внушительная и до самых преклонных дней его старости удерживавшая на себе внимание мужчин и женщин, тогда, в пору его расцвета, привлекала на него всеобщее внимание: он был высокого роста и отличался необыкновенною физическою силою и крепким здоровьем. Его большая голова, с лежащими в красивом беспорядке волосами, маленькие, но проницательные и быстрые глаза делали его похожим на льва. Взгляд его, в особенности во время гнева, был просто страшен: из глаз его буквально сверкали молнии. Горцы говорили впоследствии о Ермолове: «Горы дрожат от его гнева, а взор его поражает на месте, как молния».
Как человек домашний у графа Самойлова, Алексей Петрович быт: членом высшего петербургского общества и каждое утро слыхивал самые откровенные и бесцеремонные отзывы, как нынче говорят, «высокопоставленных лиц», которые по вечерам наполняли зал у Самойлова и которых там, словно всерьез, просили «принять дань якобы подобающего им глубочайшего почтения». Шестнадцатилетний юноша присматривался не только к тем, которых осмеивали заочно, но и к тем, кто осмеивал их, и по врожденной ему проницательности угадывал все нравственное ничтожество среды, в которой вращался. Прошло очень немного времени, и Алексей Петрович стал открыто относиться к этим людям с едким сарказмом, ирониею и насмешками, что, разумеется, очень скоро наплодило ему врагов. Алексей Петрович Ермолов терпеть не мог немцев и, по-видимому, беззлобно, но непереносно проходился на их счет, где только к тому представлялся хоть малейший повод. Остроты, которыми Алексей Петрович осыпал немцев, переходили из уст в уста и, конечно, многим не нравились, а «немец немцу, по пословице, всюду весть подавал», и покойный Ермолов под старость не раз говорил шутя: «Нет, господа русские, если хотите чего-нибудь достичь, то наперед всего проситесь в немцы».