Žibritov leží v JV časti Štiavnických vrchov na rozhraní Skalky, Sitnianskeho predhoria a Krupinskej planiny. V roku 1342 obec patrila hradu Litava, od 1. polovice 16. storočia panstvu Sitno. V roku 1576 ju zničili Turci a postavili tu obrannú pevnosť. V strede obce dodnes stojí malá bašta, ktorá je pozostatkom bývalého zámočka s kostolom. Slúžila ako strážna a obranná veža v období tureckých nájazdov. Obyvatelia sa v minulosti zaoberali predovšetkým výrobou drevného uhlia, ktoré bolo potrebné pre okolité huty. Dôležitým zamestnaním bolo tiež poľnohospodárstvo, ovocinárstvo a okrajovo aj vinohradníctvo. Mnoho chlapov pracovalo v lesoch.