¿Por qué siempre me pasa lo mismo con los hombres?

Empece a salir con un chico que me gana con pocos años y ya vamos para el año de andar saliendo, bueno ambos entramos a un curso de inglés hace 2 semanas (nos vamos juntos al salir del inglés) y hay una mujer casi de su edad o más grande que está casada y tiene dos hijos. En una dinámica la maestra nos hizo decir nuestro nombre y apellido, pocos días después, mientras me esperaba afuera, cuando salí estaba hablando con esta mujer y cuando llegue se despidieron normal (nada de saludo o de beso) y ya en el camino empezo a hablarme de que le pregunto si era pariente de algún compañero de si trabajo porque ella se apellida igual y que su apellido no es común (pienso que puso atención en como se apedillaba cuando ella lo menciono, yo ni me acuerdo de ni los nombres de los demás compañeros) Yo no le dije nada y cambio el tema. El problema es que ya no me siento agusto, porque siento que ahora en la salida estará hablando con ella y cuando esté conmigo, hablará de ella.
Con mis ex parejas era lo mismo, sus platicas eran hablar de otra chica cuando estábamos juntos y llegábamos a discusiones porque les decía que ya no hablarán de ella o si les gustaría que yo hiciera lo mismo. Y la chica tenía pareja pero le daba entrada a mí novio, que ahora es mi ex pareja. Coqueteban entre ellos incluso en las redes sociales aunque yo lo viera.
No me gusta compararme ni que me hagan sentir que no soy suficiente, pero estas situaciones, me hacen sentir así. No sé qué hacer, temo que se empiecen a gustar y suceda lo mismo. ¿Algún consejo? Gracias por leer.