Дом Волконского – самое старое каменное здание в усадьбе. Предполагается, что в нем некоторое время жил дед писателя князь Н. С. Волконский в то время, когда шло строительство предназначенного для него большого дома с флигелями. Вероятно, дом был возведен не Волконским, а появился ранее. При князе в центральной части дома располагались мастерские по изготовлению полотна, ковров, обработке кожи. При Толстом здесь жила прислуга, находились прачечная и «черная кухня». В восточном крыле Дома Волконского размещалась художественная мастерская дочери Толстого Татьяны Львовны.

Дом Волконского, как и некоторые другие яснополянские постройки, упоминается Толстым в повести «Поликушка»:

«Поликей, как человек незначительный и замаранный, да еще из другой деревни, не имел протекции ни через ключницу, ни через буфетчика, ни через приказчика или горничную, и угол у него был самый плохой, даром что он был сам-сём с женой и детьми. Углы еще покойным барином построены были так: в десятиаршинной каменной избе, в середине, стояла русская печь, кругом был колидор (как звали дворовые), а в каждом углу был отгороженный досками угол».

В настоящее время в здании располагается администрация и научная библиотека музея. В выставочном зале Дома Волконского работают временные выставки. Посетить их можно самостоятельно.