Къщата се е намирала в т. нар. „Бановата“ махала на Банско, където братът на Паисий – хаджи Вълчо – богат търговец и дарител на Хилендарския и Зографски манастир, строи още няколко къщи. Има запазена скица на родната къща на автора на „История славянобългарска“, направена от учителя Ангел Балев.
На мястото на къщата на Паисий по-късно е поставен камък, който стои и до днес пред вратата на днешния музей.
Самият Паисий е от богат род на търговци на памук, той е най-малкият от тримата братя, истинското му име е Петър Банов, десетина години по-рано е роден Вълчо – богатият търговец, най-голям е Лаврентий, който е двадесетина години по-стар от Петър. И тримата са от Бановия род, един от най-старите в Банско. Екатерина, майката на тримата братя е от рода на владиците в Банско – Кундевия род. Братята й са служили в Рилския манастир.
Най-малкият Петър е получил вероятно образованието си в килийно училище в Банско, след което заминава за Светата Рилска обител, където е прекарал голяма част от живота си.