A Kálvária keletkezésének pontos ideje nem állapítható meg, semmiféle pontos adat nincsen. Egy 1790-es feljegyzés szerint, fából faragott három kereszt állott a Kálvária dombon. A fakereszteket vihar döntötte le és ezek helyébe kőkereszteket állítatott, a saját költségén az akkori bujáki mészáros: Markovits János. Krisztus keresztje mellé szobrok is kerültek János apostol és Szűz Mária szobra. De a szépen felújított Kálváriát 1801. január 30-án, ismét hatalmas viharos szél rongálta meg, amely ledöntötte Krisztus keresztjét és az egyik lator keresztjét is, a többi szobor épségben maradt. De jelentős újjáépítéssel 1802-ben, minden újra el is készült.
gy a Szent Anna tiszteletére álló kápolna is, 1802-ben a Kálvária újjáépítésekor készült el. A Kálvária új kőfala mellé építették a barokk stílusú kápolnát, mellé pedig egy kis lakást amit, remetelaknak neveztek el. A kápolna teljesen berendezett volt. Főoltárral, értékes oltárképpel, padokkal, szobrokkal, gyertyatartókkal. A kis lakásba „remete” költözött, aki nem más volt mint a falu szegénye. Feladata volt a kápolna őrzése és gondozása, a harangozás, valamint reggelente a templomban a misék alatt az orgona fújtatása. Ezért a bujáki hívek gondoskodtak róla természetbeni adományaikkal. A Kálváriát 8 sarkos kőfallal vették körül amibe, boltozatos fülkéket készítettek a stációképek számára. A felszentelése nagy ünnepélyességgel történt 1802. szeptember 19-én vasárnap. A környékbeli falvakból papjaik vezetésével búcsújárással gyalogosan jöttek a hívek, még Kállóról és Herencsényből is, úgyhogy a részvevő hívek száma 3000 fő volt. Ezek után a Rómában 1803. február 10-én kelt engedély Szent Anna ünnepének miséjére és a Szent Kereszt felmagasztalásának ünnepére teljes búcsút engedélyezett, így mind a bujáki Kápolna mind a Kálvária búcsúkiváltsággal rendelkezik.
2014. tavaszán került éjszakai megvilágítás a kápolnára, valamint új stációkép sorozatot adományoztak a bujákiak a Kálváriának, a kápolnának pedig új mészkő főoltára lett.