Здравствуйте!
Ситуация нехорошая, все последствия должны быть прописаны в тексте самого договора, который Вы так неосмотрительно подписали. Но то, что Ваша подпись стоит под договором, даёт основания считать, что суд, скорее всего, примет сторону агентства. Если услуга не оказана, и у Вас есть возможность это доказать, то попробуйте не платить и предложите агентству встетиться в суде.
Очень важно разбираться, кого можно расстраивать, а кого - нельзя. Проявите жёсткость - агентство должно понять, что Вы настроены серьёзно.

"агентство подсунули мне договор который я подписала, сказав что это формальность, от незнания я подписала, а оказывается что должна буду заплатить им 50 тыс от продажи квартиры, если я расторгну этот договор то 30 тыс." - надо читать этот договор и смотреть что именно вы там наподписывали. покажите его какому-нибудь юристу. только нормальному, а не такому же как это агентство;
"Как быть? Что делать?" - скорее всего платить. особенно если речь идет о небольшом регионе - там, как правило, у такого рода жуликов схема отработана с привлечением кого-нибудь из кривоохранительных органов;
"Если я после сделки не заплачу им 50 тыс, что меня ждёт?" - взыскание через суд, скорее всего;
"Это не справедливо, никаких документов они мне не делали" - ну что делать, за образование приходится платить. зато теперь будете добуквенно вычитывать каждую бумажку, которую подписываете.
поговорите с практикующим юристом, пусть он посмотрит этот договор. возможно, там есть какие-то зацепки, которые помогут вам отбиться в суде. маловероятно, конечно (скорее всего жулики предусмотрели все мелочи), но вдруг...