Las personas son seres sociales, he estado en tu lugar muchísimas veces, muchas personas me han dejado de hablar, incluso han discutido conmigo por esa misma razón, yo a veces me desaparezco y no vuelvo hasta sino días después, y eso como que a las personas no les termina de convencer del todo.
¿Alguna solución? Pues rodearte de gente que entienda como eres y no te excluya o te dejen de hablar, es complicado pero a la larga es lo mejor.
O luego está la otra alternativa, empezar a ser más social y menos disfrutar de tu espacio seguro