Beslutningen om å legge ned driften ved Skarragruvene ble tatt i 1798, og to år seinere stanset også driften ved Pukkverket. I løpet av 1800-tallet ble det gjort flere forsøk på å gjenoppta driften, men ingen greide å få til lønnsom drift. Men husmannsplassene levde videre, og flere av sakkerhusene ved Skarragruvene var fortsatt bebodd på 1860-og 70-tallet. Først på 1900-tallet, da Eiker var i ferd med å bli et industrisamfunn, ble husmannsplassene i området fraflyttet.
På 1980-tallet var Skarragruvene i fred med å bli glemt, og flesteparten av de interessante kulturminnene i området var gjemt av busker og kratt. Det var Arne Thorkildsden, pensjonist og kulturminneregistrator, som sørget for at historien om Skarragruvene kom fram i lyset igjen. Han fikk med seg både grunneierne og kommunen på tanken om at gruveområdet burde bevares som et kulturminne, og etter hvert ble det dannet en venneforening. Det ble gjort en stor innsats for å rydde vekk vegetasjonen rundt de mange kulturminnene, og spesielt ble det lagt ned en stor arbeidsinnsats for å restaurere den hundre meter lange vannrenna ved Pukkverket, et arbeid som ble ledet av den pensjonerte byggmesteren Thor Ulveland. Det ble også gjort en stor innsats for å samle dokumentasjon om gruvenes historie, og et hefte ble utgitt i samarbeid med Norsk Bergverksmuseum. Mange skoleklasser ble vist rundt i området, og det ble arrangert åpne søndagsturer.
Etter noen år viste det seg imidlertid at det var vanskelig å holde aktiviteten oppe. "Skara Sølvgrubers Venner" meldte seg kollektivt inn i "Sølvverkets Venner" på Kongsberg, men i mange år var innsatsen begrenset til å holde stiene farbare.
For et års tid siden ble det imidlertid tatt et initaitiv som har ført til ny aktivitet i området. Stein Andersen, Rolf Ødegård og Knut Arne Kolberg lanserte planene om et historisk spel - "Hesten med sølvskoa". Det ble oppført i september 2007 ved Kolbergsetra like ved Skarragruvene. I forbindelse med ette ble det også gjennomført en "skattejakt" i selve gruveområdet.
Samtidig har Ormåsen skole tatt initiativ til å rydde vegetasjon rundt kulturminnene, og skole har fått støtte til dette av Stiftelsen Norsk Kulturarv. Dessuten har kommunen bevilget midler til å sette opp seks kulturminnetavler, med informasjon om gruvenes historie. De er blitt satt opp høsten 2007, samtidig som ei rundløype i området er blitt merket. Dermed ligger alt til rette for spennende kulturvandringer ved Skarragruvene neste sommer.