Впервые в Пирогове Л. Н. Толстой побывал десятилетним ребенком. Возможно, под влиянием пироговских впечатлений им было создано незаконченное детское сочинение «Рассказы дедушки». При разделе имущества между братьями и сестрой Толстыми в 1847 году большая часть пироговской усадьбы с господским домом и конным заводом перешла к Сергею Николаевичу, а часть земли за Упой и мельницу получила Мария Николаевна.
Большое и Малое Пирогово сосуществовали в двух верстах друг от друга. Л. Н. Толстой сам выбрал место для будущей усадьбы сестры над «глубоким ключом», где однажды купался в Упе, вымерил аллеи и дороги, обсадил их березами и соснами. Здесь Мария Николаевна и построила свой дом с мезонином. После ухода в монастырь она продала землю крестьянам, а хутор уступила дочери Л. Н. Толстого Марии Львовне, вышедшей замуж за ее внука.
Лев Николаевич любил приезжать в Пирогово, где «особенно приятна тишина» «с целью большей свободы для писания». Здесь он работал над «Юностью» и «Казаками», «Отъезжим полем» и «Крейцеровой сонатой». Замысел всемирно известной повести «Хаджи-Мурат» родился именно во время пребывания Толстого в пироговском имении в июле 1896 года. Из его дневника мы узнаем, что писатель, возвращаясь с прогулки, увидел изломанный репей, который напомнил ему Хаджи-Мурата.
После революции судьбы двух Пироговых сложились по-разному. В усадьбе Сергея Николаевича Толстого господский дом был разграблен и сожжен. Судьба Малого Пирогова сложилась удачнее: дом Марии Николаевны Толстой «из красного неоштукатуренного кирпича, с зеленой крышей» сохранился здесь практически в первозданном виде. В 1999 году усадьба Малое Пирогово стала филиалом музея-усадьбы «Ясная Поляна». Здесь начались работы по реконструкции усадебного комплекса, а с 2008 года дом М. Н. Толстой начал принимать гостей в качестве музея. В настоящее время в большинстве его комнат воссозданы исторические интерьеры.