Datter av Syvert Christiansen Hejern (1816-1907) og Sara Thomasdatter Ask (1818-1860) fra Norderhov på Ringerike. Da Anne Mathea mistet moren fire år gammel,  ble hun satt bort til en slektning, Andreas Ask 1828-1865) , som var dyrlege i Hokksund. Deretter kom hun som pleiedatter til husmannsenken Marte Pedersdatter (f.ca.1797) på Stenbergeie ved Krokstadelva.

Konfirmert i Haug kirke 1869 med attest ”Kundskab meget god og Opførsel upaaklagelig”. Gift 1874 på Modum med landhandler Anders Olsen (1838-1914), og fra 1892 bosatt på gården Alfheim på Modum. De hadde følgende barn: Stephan Olsen (1874-1969), Ole Olsen (1876-1950), Thomas Alfheim (1878-1965), Sarah Sophie Alfheim (1888-1969), Carl Olsen Alfheim (1882-1984), Johannes Oliver Olsen (1885-1900), Anna Mathea Alfheim (1887-1959), Andreas Alfheim (1891-1929) og Dagny Alfheim (1896-1913).