Quanto mais links externos de qualidade tiver seu site, mais o seu site irá crescer dentro dos buscadores.

A soma geral de todos os fatores que faz o site estar em posições relevantes em um sistema de busca, no google, é o Page Rank.

Você pode consultar seu pagerank no link: http://www.marketingdebusca.com.br/pagerank/

Por isto, é muito importante fechar parcerias com troca de links em outros sites, bem como, o cadastro do seu site em sistemas de diretórios, etc.

Procure sempre desenvolver seus sites com páginas leves, imagens leves, e rico em conteúdo!

Utilize poucas imagens, as indispensáveis coloque com qualidade reduzida em jpg, pois certamente não dá para perceber diferença visual, porém em kbytes se torna visível.

Você não está sozinho! Existem sites que ajudam nesta dificil tarefa de deixar o carregamento do site mais rápido.

Web Site Optimization
http://www.websiteoptimization.com/services/analyze/

Com esta ferramenta você pode ver o peso do seu site em diversas conexões, como discada, banda larga de 128kb e aproximadamente 2mb.
O site também faz uma análise da página e dá dicas e recomendações (somente em inglês).