友人との相性に関して

以前何度か説明しているかもしれませんが、当方男性ですが同性とも恋愛ができます。(すなわち両性愛者です)
元々他人にあまり無関心で人に対して期待もしていないため、極めて好きな相手以外には怒りを表に出すことがなく、静かに距離を置いたり縁を切るタイプでした。
ところが1999年生まれの7月16日の友人にはそうなれず、困っております。

彼は時々無神経・マウンティングを取るような言葉をあえて言ってきたり、人のプライバシーを言いふらすようなタイプであるため、イライラしていましたし意図的に距離を置こうとしていましたし、彼が大阪転勤になったことで距離をおけるいい機会だとも思っていました。

一方でこちらが距離を置こうとすると彼が要件もなく電話したいと言って電話をかけてきたり、いつ大阪に来てくれるの、と何回も言って来ており、愛嬌はあるので憎めずに困っています。

性的に関心がないわけでもないですが、決してタイプでもないですし、向こうから強く誘われて or 流れですることになったら関係持ってもいいかも、程度です。ちなみに相手は童貞ですが、彼に冗談・からかい半分でセックスを何回も誘っていたことから、彼にカミングアウトはしていないですが当方がバイセクシャルであることも察されていると思います。

彼と関わると腹立たしい思いをして感情的な負担が大きく、距離を置きたい一方で、いざ彼が甘えた態度を取ると拒絶できず、困っています。
なぜこのような事態が起きているのか、また相手は何がしたいのか教えてもらえますでしょうか。
よろしくお願いいたします。