Панин не скрывает, что всегда заводил множество кратковременных романов. В результате некоторых из них он обзавелся четырьмя дочками, о последней из которых узнал совсем недавно. Кроме того, девочка, вероятно, так и не узнает о своем биологическом отце: мать воспитывает ее совместно с другим мужчиной, так что вмешиваться в их жизнь Панин не собирается.
Впервые Алексей Панин стал отцом в 2007 году, матерью Ани стала модель Юлия Юдинцева, у которой он через суд выиграл право на опеку над девочкой.
Вторая и третья дочери родились в 2011 году с разницей в два дня: Машу родила гинеколог Татьяна Савина 19 апреля, а 21 апреля появилась на свет София от Ольги Маруженко. Обе девочки живут с матерями и почти не видятся с отцом. Теперь же появилась и четвертая малышка.
Актер шутит, что уже перевыполнил план и пора бы ему остановиться.