Находится здесь самый древний храм на Сувальщине - костел конца XVI века. Составляет он оригинальное сочетание ренессанса с поздней готикой. Самым ценным элементом снабжения костела является масляная картина Божьей Матери с Младенцем из половины XVII века. По легендам скопировать ее не возможно. Художники пробовали это сделать несколько раз, но не могли справиться с этой задачей. Однажды после выполнения задачи, когда казалось, что работа уже закончена, краска стекла из картины, в другом случае, когда краска была уже почти сухой отслаивалась от картины отпадающими кусками. Испытания перекращено и признано, что этой картины скопировать не возможно.
С костелом в Красноборе связана также другая легенда. Рассказывали, что костел был найден среди пущи, через лесника, который в погоне за ланью, добежал в дикую глушь. Зверь свил себе логово за алтарем. Стены костела крепко обросли мхом и почти не отличались от окружения. Вокруг костела, признанного чудесным, с течением времени построено поселение Краснобур. Эта легенда свидетельствует о древности храма.