Konstföreningen i Borgå – Porvoon Taideyhdistys ry perustettiin vuonna 1966, koska tarvittiin rekisteröity yhdistys vastaamaan kaupungin taidenäyttelytoiminnasta. Epämuodollinen taiteilijaklubi oli kuitenkin koonnut porvoolaisia taiteilijoita yhteisiin illanviettoihin Grandin taloon jo 1950- ja 60-luvuilla. Klubin järjestämissä tapaamisissa kävivät usein mm. kuvataiteilijat Åke Hellman, Karin Hellman, Stig Fredriksson, Helga Sonck-Majewski, Ivan Wallensköld-Rotkirch, Ralf Sandqvist, Rabbe Enckell, Eva Olssoni, Juhani Linnovaara ja Ragnar Ekelund. Useat näistä taiteilijaklubin kävijöistä liittyivät Porvoon Taideyhdistykseen sen perustajajäseninä.

Yksi keskeinen lähtökohta yhdistystä perustettaessa oli se, että Porvoon kaupunki tarjoaisi Kaivokadulla sijaitsevasta, nykyisin Porvoontalona tunnetusta entisestä kansakoulusta tiloja Taidehalliksi. 1970-luvulla näyttelytoiminta laajentui myös Vanhaan Kappalaisentaloon.

Vuonna 2011 kaupungin näyttelytoiminnan järjestäminen siirtyi kaupungin kulttuurituotannolle samalla kun uusi Taidehalli Porvoon Taidetehtaalla avautui yleisölle.

Porvoon Taideyhdistys pyöritti taidelainaamotoimintaa vuodesta 1998 vuoteen 2021, kunnes toiminta siirtyi Porvoon Taiteilijaseuralle. Historiassaan Porvoon Taideyhdistyksen toiminnan keskiössä ovat olleet kuvataiteet, nykyisin yhdistys on laajentanut toimintaansa myös muihin taiteen aloihin, kirjallisuuteen, musiikkiin, elokuva- ja videotaiteeseen, tanssitaiteeseen ja muihin esittävän taiteen muotoihin. Porvoon Kuvataideharrastajat on vuonna 2003 perustettu Porvoon Taideyhdistyksen sisällä toimiva ryhmä.