Não se preocupe tanto com o Time To First Byte
O pessoal da CloudFlare fez um teste muito interessante, provando que a medida TTFB (Time To First Byte) não é tão precisa para provarmos que a resposta do servidor de um site é rápida. O que eles fizeram: em um servidor de teste eles criaram um delay de resposta HTTP...