Вот есть люди, которые просто бесят. Однажды (или сразу же) ты понимаешь, что тебе рядом нехорошо, неуютно, неприятно, и стараешься избегать.
Иногда потом оказывается, что это ты несправедливо и нехорошо (а ещё потом - что справедливо и хорошо, но не будем углубляться), но, в целом, с этими всё понятно.

А есть люди, которые безумно бесят, от которых трясёт до желания кричать, лезть в драку и я даже не знаю что. Т.е. не только этих людей, но я вот сейчас об этих - о тех, которые безумно бесят, но из жизни их не выкинешь не потому, что встречаешься каждый день (неделю, месяц, год, нужное подчеркнуть), а потому, что они сделались частью этой самой жизни, и их вспоминаешь, когда разговор заходит о чём-то таком, что вы обсуждали, о чём спорили и даже ссорились, а то и соглашались.
Вот от таких людей по-настоящему больно. Больно - когда они рядом, потому что они делают больно. Больно - когда их рядом нет, потому что без них тоже больно. Что делать с этим, я пока не знаю.