Født i Kongsberg og voksede op i Stavanger og Drammen. Hendes far, der var toldkasserer, døde, da hun var 12 år. 1824 blev hun gift med barndomsvennen og teologen Gabriel Kielland.
Hun er kendt som stifter af den første missionsforening i Norge. Som gammel og blind dikterede hun sine erindringer til børn og børnebørn. Hun fortæller om barndom, skolegang og leg, formidler kulturhistorisk stof fra et liv som præstekone i den sydvestlige del af Norge og giver et godt billede af en personlig kamp for at dele ægtemandens strenge religiøsitet. Hjerteblade. Et Udtog af mine Smaadigte blev udgivet sammen med Erindringer fra mit Liv i 1899.
Udvalgt litteratur om forfatteren
Kristine Frost: "Gustava Kielland" i: Marie Høgh og Fredrikke Mørck (red.): Norske kvinder. En oversigt over deres stilling og livsvilkaar i hundredaaret 1814-1914, 1914
Elisabeth Aasen (red.): Fra gamle dage. Memoarer, dagbøker, salmer og dikt av kvinner ca. 1660-1880, 1983
Elisabeth Aasen: "Mit liv var saa stille, simpelt, ensformigt ..." i: Margaretha Fahlgren og Lisbeth Mikaelsson (red.): Livet som tekst, 1991
