fee - это не плата

Fee - вознаграждение, гонорар, чаевые, платёж, плата.

to pay fees - платить взносы

fee - сборы, пошлина, вознаграждение

pay fee - оплачивать взнос, оплачивать пошлину

Посмотрите в этом же словаре, есть перевод о том, что fee можно перевести как плата. В чем проблема то?

Проблема в том, что данное словосочетание используется со значением оплаты сбора или пошлины и т.п. взносов. Все.

плата кому-либо - payment to somebody

А как же в предложении I can't afford paying such a high fee to a doctor. Учебник лжёт?

"Я не могу себе позволить столь высокую плату за услуги доктора".
Всегда данное словосочетание подразумевает оплата по установленному тарифу/ставке

Учебник может не давать объяснения тонкостей значений и практически всегда дает общее представление для простоты усвоения материала