Pierwszy kościół w Sworach istniał już w 1272 roku. Znajdował się przy klasztorze augustianów, nie znane są jednak jego dzieje. Wiadomo jedynie, że był pw. Św. Jana Chrzciciela. Kolejną świątynie wybudowano w 1333r. pod rozszerzonym wezwaniem św. Jana Chrzciciela i św. Bartłomieja Ap. W 1617r. kościół w Swornegaciach stał się filią kościoła w Konarzynach. Msze święte, co trzecią niedzielę odprawiał tu proboszcz z Konarzyn. Ten drewniany kościół został zniszczony przez pożar w 1695r.w II poł XVII. Odbudowano ją jednak i już w pierwszych latach XVIII wieku Swornegacie cieszyły się nowym drewnianym kościołem. Dokładna data wzniesienia tego kościoła jest nieznana.
W archiwum parafialnym w Konarzynach zachowała się jedynie notatka sporządzona przez ks. Marcina Głomskiego, od 1688r. proboszcza z Konarzyn, „Yez tez y Swornegac wioska, w której iest koscioł, który był zgorzał fundity. Ten koscioł iam zbudowal de proprio Ciesli płacąc, y piwo dając, oprócz iedzenia które wies koleją ciesli y pachołkom dawala. Od dzwonow przelania alem w Gdansku Rzemięsnikowi sto talarow dobrey monety. Wto wchodzi Ołow y szkło do okien. Za dachówkę na koscioł dalem de proprio Talarow osm. Inszym expens nie wspominam, ktorem łozył na chwalę Boską”(Źródło: Sadkowski T., Wdzydze. Kościół ze Swornegaci, Wdzydze Kiszewskie 1995, s.5.).
Zdjęcie to pochodzi z okresu, kiedy w Swornegaciach można było podziwiać dwa kościoły – stary i nowy, stojące obok siebie. Obecnie stary kościół można podziwiać w Parku Etnograficznym we Wdzydzach Kiszewskich.
Budynek stanął na miejscu dzisiejszej kaplicy cmentarnej. Był oddalony od zabudowań wsi, a mieszkańcy szybko zadbali o jego wyposażenie i upiększenie. W ciągu stu lat świątynia otrzymała nową ambonę, chrzcielnicę i małe organy.
Barokowy kościół w Sworach można było oglądać aż do lat 80' XX wieku. Był jedną z lepiej zachowanych świątyń drewnianych w tej części Kaszub. Później budynek, przy zachowaniu wielu środków ostrożności, przetransportowano do Parku Etnograficznego we Wdzydzach Kiszewskich. Można również dziś podziwiać go tam, w niemal niezmienionej formie.
Na początku XX wieku w Sworach rozpoczęła się budowa nowej świątyni: większej, murowanej, w stylu neobarokowo -modernistycznym . Nowy kościół pod wezwaniem wczesnochrześcijańskiej świętej - Barbary (poprzedni miał również tą świętą patronkę) zaczęto wznosić w 1912r. Budynek ten przetrwał lata wojenne i w niemal niezmienionym stanie można podziwiać świątynię do dnia dzisiejszego.
Na szczególną uwagę we wnętrzu kościoła zasługuje kilka elementów. Po pierwsze polichromie (ozdoby malarskie ścian), których autorem jest Władysław Drapiewski. Warto zwrócić uwagę na nawiązanie do motywów i kolorystyki popularnej na Kaszubach. Początek XX wieku był czasem, kiedy rodziło się już zainteresowanie naszym regionem.
Kolejny ciekawy element to oświetlenie kościoła. Główny żyrandol został zrobiony z poroża, ale uważnie zwiedzając, można zobaczyć również mniejsze elementy oświetlenia zrobione z tego materiału. Pomysłodawca oświetlenia był ksiądz – Benedykt Gierszewski.
I wreszcie sklepienie kościoła. Mimo nawiązania do baroku, sklepienie świątyni nie przypomina XVII czy XVIII- wiecznych przykładów. Na początku XX wieku takie rozwiązania ( sklepienie kolebkowe) stosowano w wielu kościołach np. budowanym w tym samym czasie kościele pw. św. Jacka w Bytomiu.