В чем разница?
I am glad to have kept silent.
I am glad to have kept silence.

в первом случае - "был / продолжал быть тихим / молчаливым" (прилагательное), во втором - "хранил молчание" (существительное)

По сути, в смысле разницы нет, если речь не идет о допросе. Просто вариации выражения.

разве перед прилагательным не должен стоять глагол ''to be''?

здесь не выражение to be silent, а to keep silent

I am glad to have been silent - недопустимое выражение?

Смотря что именно Вы хотите сказать. И важен сам факт молчания или его результат. Отсюда и форма глагола

Я рад, что промолчал.

I'm glad that I remained silent

или I'm glad I kept silent.

Если:
be silent - молчать
was silent - молчал
то в перфекте, слово ''промолчал'' должно быть ''have been silent'',
или есть варианты?

ПРОмолчал Вам же надо, а не молчал

В таком случае, поставьте пожалуйста, слово ''silent'' в перфект!

у прилагательного не бывает таких форм

I don't know, but I have been able to locate the nature of their connection.
Я не знаю, но мне удалось найти природу их связи.

I have been afraid that you would leave me. Afraid that if we had a child you would love it more than me.
Боялся, что у тебя появится ребёнок, которого ты полюбишь больше, чем меня.
I have never been afraid of anything in my life except of being a traitor.
Я ничего никогда не боялся в своей жизни кроме как быть предателем.

My whole stay has been full of nice surprises.
Всё мое пребывание здесь полно приятных сюрпризов.

Во всех Ваших примерах изменяется ГЛАГОЛ, а не причастие или прилагательное. У Вас спросили, какой смысл вкладываете, в соответствии с этим Вам дали 2 варианта с соответствующей формой глагола. Если не устраивает, делайте по-своему, проблем не вижу.

Гивенталь И. А. - Как удивиться и возмутиться по-английски. Учеб. пособие - 2011
УРОК З
Техника речи 1
1.
Я рад, что промолчал.
I am glad to have kept silent. /I am glad that I have kept silent.
Здесь автор приводит пример перфектного инфинитива. Так вот,
я хочу понять, почему здесь ''have kept silent'' а не ''have been silent''?

Так, потому что так верно.
Почитайте о смысловых оттенках, которые дают разные временные формы, все станет ясно

*I have kept silent.* - Результатов: примерно 293 000 000 (1,01 сек.)
*I have been silent.* - Результатов: примерно 385 000 000 (0,27 сек.)

Словари ABBYY Lingvo:
have been silent - 44 примера
have kept silent - 0

Да делайте, как знаете, в чем проблема

Да делайте, как знаете, в чем проблема

Нет проблем. Склонен считать, что в книге опечатка.

Дело Ваше :-) но я сомневаюсь в Вашей правоте. Тут роль играет только скрытый смысл каждого времени: have been ... - делал и продолжаю делать, have + Participle II ... - делал, но вот результат сегодня. Все.