Любовник сравнивает меня с его гражданской женой

Любовник сравнивает меня с его гражданской женой

Здравствуйте!
Хотела бы услышать мнение со стороны. Ситуация такая. Мне 24 года. Уже больше года встречаюсь с не свободным мужчиной. Его зовут Дмитрий, ему 45 лет. Не могу назвать его женатым, потому что с этой женщиной они находятся как бы в "гражданском" браке и не записаны официально. Живут вместе 10 лет, детей нет. Когда мы с ним познакомились, он предпринимал активные действия в мою сторону, ухаживал, дарил подарки и т.д. Предложил быть его любовницей и я согласилась, потому что он мне сильно понравился и такие свободные отношения меня устраивали на тот момент, из-за недавнего расставания с бывшим парнем. Первые полгода он говорил мне постоянные комплименты о том какая я красивая, замечательная, умная. Говорил, что любит. И меня и "жену", якобы. Сделал для меня много хорошего, устроил на работу (инженер). Помогал по дому и с какими то другими проблемами. Я видела, что я ему не безразлична.
Последние пару месяцев его поведение и разговоры поменялись. Начал периодически вспоминать свою "жену". А неделю назад состоялся разговор, от которого не могу отойти до сих пор. Зашла речь о том как я одеваюсь на работу. Поясню - ничего особенного, макияж не делаю, одежда удобная, джинсы, футболка, кроссовки. Он мне сказал, что я одеваюсь неженственно и ему не нравится. Ну это ладно, на вкус и цвет как говорится. И потом началось:
"Вот например моя встает каждый день в 5 утра, чтобы привести себя в порядок, накраситься, одеться. Всегда в платье, на каблуках."
"Она за последнее время сильно выросла в профессиональном плане, а ты ничего не делаешь, не хочешь развиваться".
"Да мы с ней не женаты, но это моя любимая женщина, моя судьба".
Поясняю - она объективно не красивая, ей 35 лет, работала продавцом, сейчас товаровед. Я ему высказала крайнее свое недовольство, ответила, что если бы у меня была такая же внешность как у нее, я бы тоже в 5 утра вставала и замазывала это все.
К чему это все говорить? У нас были хорошие, спокойные отношения, от которых было обоим приятно.
Я спросила его позже, зачем мне это говорить, мне не приятно. На что он отшучивается и говорит, что я злая пессимистка которая не понимает шуток.
Просто не могу понять, что могло произойти с человеком, ведь мне правда казалось, что он ко мне как минимум не равнодушен. Сейчас нас многое связывает, в том числе и работа. В чем причина такого поведения и как мне поступить. Буду благодарна за советы. Спасибо.