Не получается вернуть страховую премию при досрочном погашении кредита

Брал кредит на 5 лет, но сумел досрочно погасить его за два года. Поскольку страховую премию удерживали сразу за весь срок, то вполне естественно, что я хотел вернуть страховку за три года. Обратился в казанское отделение «Промсвязьбанка». Менеджер предложил написать заявление, но намекнул, что вернуть деньги практически нереально, разве что в судебном порядке. Но неужели нельзя решить вопрос без судебной волокиты? Я же не имел задолженностей, все исправно платил. И что же теперь, я не могу премию страховую забрать?