Первое упоминание о костеле в Лишкяве относится в началу XVI в. В 1677 г. владелец местной усадьбы Владас Юргис Косила подарил свое имущество вместе с деревянным костелом сейнским доминиканцам. Доминиканцам пришлось побороться за имущество в судах, поскольку родственники помещика вовсе не желали с ним расставаться. В XVIII в. Доминиканцы построили монастырь и каменный костел в стиле позднего барокко, который мы видим и сегодня. Правда, в 1808 г. в нем случился пожар от удара молнии. Костел издавна славится чудотворной иконой Богородицы в одном из боковых алтарей.

Неоготический костел Пресв. Девы Марии Шкаплерной был построен в 1931 г., и его очень любили посещать маршалок Польши Юзеф Пилсудский, языковед Юозас Бальчиконис, поэт и писатель Винцас Миколайтис-Путинас и многие другие известные общественные деятели Литвы. Костел Пресв. Девы Марии Шкаплерной – величественное здание, дающее бесценную возможность расширить свои познания в архитектуре и культуре.

Магнат Казимир Ляонас Сапега в 1650 году основал костёл в стиле литовской готики. На то время это был так называемый костёл без прихода, его Мярки́нский филиал. Святой апостол Варфоломей – это один из двенадцати апостолов, упомянутых в Новом Завете.

В 1676 году Микалоюс Пацас построил ещё один храм, а в 1762 году на том же месте уже стоял деревянный молитвенный дом. Упомянутые строения, к сожалению, не сохранились. Однако в 1910 году оригинальный костёл святого Варфоломея в Друскининкай был восстановлен – благодаря стараниям ксендза Пранцишкуса Бярнотаса и добровольным пожертвованиям. Обретший вторую жизнь костёл открыли для прихожан и всех верующих.