Greznā eklektikas un neogotikas stilā celtā baznīca ir viena no retajām vēsturiskajām baznīcām ārpus Vecrīgas. Viduslaikos ceļotāju patroneses svētās Ģertrūdes (626–659) vārdu deva baznīcām, kas atradās ārpus pilsētas nocietinājuma vaļņiem.
Pirmo reizi baznīcas vārds minēts 15. gadsimta sākumā. Dažādu karu laikā un mainoties varām baznīcas ēka vairākkārt cietusi – pastāvēšanas laikā nopostīta un pēc tam atjaunota septiņas reizes. Tagadējo baznīcu iesvētīja 1869. gadā, ēkas arhitekts – Johans Daniels Felsko.
No 1767. līdz 1769. gadam Ģertrūdes baznīcas mācītāja adjukts bijis Johans Gotfrīds Herders (1744–1803) – ievērojams Veimāras dzejnieks, teologs un filozofs. Viņam par godu nodēvēts arī laukums Vecrīgā. 1769. gada 17. maijā šajā baznīcā viņš teicis savu atvadīšanās svētrunu, kas iekļauta arī Herdera kopotajos rakstos.
20. gs. sākumā netālu no Vecās Sv. Ģertrūdes baznīcas draudze uzcēla Jauno Sv. Ģertrūdes baznīcu, kas uzskatāma par vienu no pēdējām eklektisma celtnēm Rīgā. Kopš tā laikā Sv. Ģertrūdes baznīca arī ieguvusi Vecās nosaukumu. Šodien baznīca pieder Evaņģēliski luteriskajai baznīcai, tajā saimnieko draudze, notiek arī dažādi koncerti.