Afraid so, afraid not, afraid to, afraid of

I'm afraid of flying.  I'm afraid of crashing.

O adjetivo afraid tem duas aplicações totalmente diferentes.  Por um lado, afraid é um sinônimo de frightened e scared: com medo. Por outro lado, é uma maneira educada de introduzir uma informação indesejada ou negativa:  sinto muito, mas...

Afraid = com medo

Precisamos da preposição of depois de afraid para mostrar a fonte do medo. Harry is afraid of the dark.  O Harry tem medo do escuro.  The children are deeply afraid of him.  As crianças tem um medo enorme dele.  

Afraid to + verbo.   They are afraid to drink the water at that restaurant.

Afraid to + verbo mostra a ação que nos causa medo.  Pode ser uma ação específica que nos confronta neste momento.   She was afraid to walk down that dark street.  Ela tinha medo de andar naquela rua escura.  Andar naquela rua causou medo nela.  They are afraid to drink the water at that restaurant.     Eles tem medo de tomar água naquele restaurante.   Tomar aquela água mete medo neles.  

Afraid of + verbo+ing:    Gerry is afraid of driving. 

Afraid of + verbo+ing frequentemente indica um medo geral, talvez uma fobia.  Jane is afraid of flying.  A Jane tem medo de voar.     Jack is afraid of sleeping in any bed but his own.  O Jack tem medo de dormir em qualquer cama que não seja a sua.   Em muitos casos, porém, tem quase  nenhuma diferença entre to + verbo e  of + verbo+ing depois de  afraid.   Hal was afraid to go back to the States.  Hal was afraid of going back to the States.  O Hal tinha medo de voltar para os Estados Unidos.  Afraid to go back = talvez medo de empreender uma viagem específica numa hora específica; afraid of going back = possivelmente um medo geral, não relacionado a uma viagem específica, mas a diferença é mínima.

Afraid of + verbo+ing:   She was afraid of making a bad impression.  

Afraid of também pode introduzir uma possível consequência negativa de (não) fazer algo.  John refused to speak German.  He was afraid of making a mistake.  O John se recusou a falar alemão.  Tinha medo de errar.  O medo é do possível resultado de falar alemão:  errar.  Mary Anne smiled during the party.  She was afraid of making a bad impression.  Mary Anne sorriu durante a festa.  Tinha medo de deixar uma impressão negativa.  Aqui, o medo era do resultado de não sorrir: deixar uma impressão negativa.

I'm afraid that: sinto muito, infelizmente

Às vezes temos uma notícia ruim a comunicar e não queremos inquietar ou ofender o destinatário.  Neste caso, começamos a mensagem com I'm afraid that.    I'm afraid that your contract with us will not be renewed, Miss Peters.  Sinto muito, Srta. Peters, mas seu contrato connosco não será renovado.  I'm afraid your flight has been cancelled, Mr. Philips.  Infelizmente, seu voo foi cancelado, sr. Philips.

Afraid not:  infelizmente, não.  Afraid so: infelizmente, sim. 

Para abrandar o impacto de um sim ou não indesejado ou mostrar a nossa solidariedade, temos a opção de usar afraid.
Are you going to fire me?  I'm afraid so.  Vai me mandar embora?  Infelizmente, vou.     Is it going to be cool tomorrow?  I'm afraid not.  Vai fazer frio amanhã?  Infelizmente, não.

I'm not afraid vs. I'm afraid not.

Agora deve ser claro que estas duas frases são bem diferentes.  I'm not afraid = Não tenho medo.  I'm afraid not - Infelizmente, não.