Выставляю новые навыки, сохраняю. А через пару боёв опять возвращаются старые, что делать?

Не сохранять навыки в комплектах , в настройках

Комплект сохрани с новыми навыками. А не просто в навыках меняй.

Это как

В основных настройках сними галочку в пункте

Не применять навыки из комплектов

Далее выставь нужные навыки и сохрани комплет.

Тогда всё должно работать исправно

Надеть комплект-сохранить-выбрать навыки при надетом комплекте-сохранить.
И так с каждым комплектом.

Или,как сказано выше,отключить привязку навыков к комплектам и каждый раз выставлять нужные ручками.