Я то же протираю спиртом, саму плату и резиновую накладку и никогда контакты не "сносил". Как правило этого достаточно, но бывают безнадежние случаи и для этого понадобится "ремкомплект для пультов". Обычно в состав входят кружочки из токопроводящей резины + силиконовый клей.
http://tda2000.ru/catalog/pult/22374/