с дурами не общаюсь, т.о. меня они не напрягают.
или со мной они не дуры или мне насрать, что они дуры и меня это, соответсвенно, не напрягает 
напрягает чрезмерная требовательность во всех ее проявлениях. типа в
обязательном порядке руку подавать, когда из машины выходим, дверь открывать если куда-то заходим и т.п. (из-за этих заморочек расстался с потрясающим человеком). или там навязывание своего общества (повышенное требование внимания к себе). или... и так далее.