Barrapunto

Perdon, creo que mezclas chicha con limonada...

El tener un diseño mas o menos austero no tiene mucho que ver con la complejidad tecnologica del sitio, mas bien con el consumo de ancho de banda y en el fondo ayuda a dar una impresion de mas rapides en los request.

Yahoo no es solo un buscador y no tienen hecho todo en un mismo lenguaje. Siempre se han caracterizado por crearse sus propios metalenguajes con un api en C/C++ e incrustarlos en apache pero un dia decidieron que no les era rentable seguir haciendo esto y empezaron a usar PHP. Aqui tienes las razones [yahoo.com].

En el caso de google el gran trabajo esta en los servidores que estan detras de los sencillos apaches que reciben los millones de requests y en su arquitectura de red. La verdad es que no tengo ni idea, pero presumo que por detras tendran servidores de busquedas completamente en C y por delante algun modulo en C usando la API de apache. Aunque en las tareas de crawleo y parseos no creo que se use otra cosa que perl, python o ruby. Salta de lo que suelen pedir en sus ofertas de empleo.

Volviendo a la pregunta inicial, yo te diria que elijas lo que mas gente a tu alrededor te pueda ayudar. Porque muchas veces si alguien te indica una pagina de un manual o te pase un poco de codigo para que entiendas algo es mas importante que por donde se empieza. Una vez que programas en un lenguaje te haces al resto.
Yo te recomendaria perl/python/ruby o en todo caso PHP porque puedes ver mucho mas rapidamente como va funcionando lo que haces y eso se agradece al principio. Con mucho menos codigo podras ver mayores resultados. Ademas creo que hay mas informacion online para estos lenguajes, quizas no tanta para ruby.