Skärva är en av det svenska 1700-talets märkligaste och mest särpräglade arkitektoniska skapelser. Här kombineras lokal, folklig byggnadstradition med klassisk arkitektur. Den timrade huvudbyggnaden är en låg ryggåsstuga, ursprungligen rödtjärad och torvtäckt, till vilken anslutits en tempelportik. Herrgården uppfördes under åren 1785–86 som lantboställe för varvsamiralen Fredric Henric af Chapman. af Chapman ritade anläggningen i samarbete med filosofen, tecknaren och generalamiralen, Carl August Ehrensvärd.

Herrgården omgärdas av en vacker engelsk park med ett tempelliknande lusthus från början av 1790-talet, med en målad figurfris i pompejansk stil. Här finns också det gotiska tornet, ett kloctorn i trä från 1790-talet i nygotisk stil. Från den lilla hamnen vid Skärva skeppades gårdens produkter in till staden för försäljning.