Anders Berggren född 22 december år 1777 var en mycket framgångsrik man och lät sig bygga Berggrenska Gården. Ja det var så Berggrenska kom till från första början. År 1807 köper Anders Berggren tomterna 3 och 4 för 666 riksdaler och år 1811 ritar stadsmuemästaren Loëll ett stort tvåvåningshus att uppföras på de inköpta tomten. År 1813 godkänner magistraten en något ändrad version av Loëlls ritning, gjord av stadsbyggmästaren Carl Wahrberg.
1816 flyttar Anders Berggren in i sin ståtliga köpmansgård tillsammans med pigor och drängar. Anders Berggren avled år 1848 och hans väl fungerande Rederi drevs vidare i bolagsform under namnet Anders Berggren & Compani av äldste sonen Anders Johan och änkan Jeanette som hade tagit detta mer välklingande namn i utbyte mot dopnamnet Johanna.
1855 kom första hotet mot gårdens existens. Enligt Norrlandspostens dramatiska referat hördes på kvällen den 28 juli häftiga brandsignaler över Gävle stad. Elden stod högt i skyn i uthuset mot kyrkogatan och rasade med en förtvivlad fart på en foderskulle. Men tack vare flera duktiga sjömän lyckades man få stopp på den stora branden. Men den fina Köpmansgården skulle inte klara sig helt från bränder. I den stora branden som härjade på den norra sidan ån 1869 förstördes nästan all i stan förutom den stora huvudbyggnaden som syns på bilderna.
Efter 80 år som köpmansgård fick nu gården en helt annan användning. Från början på 1890-talet och fram till till början på 1980-talet har flera olika skolor haft sin verksamhet på Berggrenska Gården. Hösten 1892 startade Borgarskolan sin verksamhet i gården och med det kom också förändringar i byggnationen, framför allt flyglarna.
Invändigt har ombyggnationer skett i flera etapper. Den största ombyggnaden skedde på 1890-talet då Borgarskolan inredde sina lokaler. Fasadernas karaktär och utseende har i stort sätt behållits bortsett fån den västra flygelns fönster som bytts ut till större fönster. 1984-86 gjordes också omfattande ombyggnader. I en första etapp inredes den västra flygeln till café. Den andra etappen gällde restaurering av gårdens murverk. I den senaste ombyggnadsetappen åtgärdades huvudbyggnaden, stenhuset och östra flygeln, samtidigt som en utbyggnad av stenhuset revs.
Gävle kommun har ägt Berggrenska gården under många år men under mars månad 2006 köpte Claes Hallén (Nole Fastighets AB) den byggnadsminnesförklarade gården av Gävle kommun. I dag är Berggrenska Sveriges äldsta galleria med över 13 butiker/verksamheter.