Under 1600-talet hade flera vretar och fäbodar ut på Brynäs slagits ihop till en lantgård, som 1714 förvärvades av släkten Ennes. Den första herrgårdsbyggnaden på platsen uppfördes i en våning under 1700-talet. 1815-16 påbyggdes den till tre våningar i nyklassicistisk stil med valmat tak. Inredningen tillkom på 1830-talet, och var magnifik med franska tapeter, väggmåleri med landskap och ett praktfullt möblemang.
Herrgården omgavs av en engelsk park, som anlades i början av 1800-talet. Den var utformad med alléer, ädla lövträd, blomstergårdar, ett lusthus och en ruddamm. Till egendomen hörde också stora markområden och flera byggnader, bland annat ladugård, stall, trädgårdsmästarbostad, bostäder för tjänstefolket, köksbyggnad, sjöbod med brygga och badhus.
Rester av parken med sina lövträd, alléer, stenmurar och den igenfyllda ruddammen kan anas än idag, liksom husgrunder efter rättarebostaden, jordkällaren och en vedbod. Husgrunderna efter själva herrgården och den intilliggande köksbyggnaden är däremot borta.
Brynäs herrgård har under åren tillhört de välkända Gävlefamiljerna Garberg och Rettig samt skeppsredare E Brodin. 1921 köptes herrgården av Ab Brynäs gård. 1936 övertogs fastigheten av Gävle stad och herrgården byggdes om till bostad för sex familjer. Köksbyggnaden intill gjordes om till bostäder för fem familjer. Herrgården revs 1964 efter en lång tids förfall. På Länsmuseet Gävleborg finns delar av herrgårdens inredning bevarad, samt trädgårdsskulpturen Flora, som stod i den engelska parken.
På Länsmuseet Gävleborgs webbplats kan du se en karta som visar var Gävleskyltarna är utplacerade.