En una universidad japonesa contruyeron un supercomputador por aproximadamente USD $420.000 lo cual es muy barato para este tipo de sistemas. Está basado principalmente en GPUs, las cuales a diferencia de los CPU tienen muchos cores (procesadores) lo cual permite ejecutar aplicaciones en paralelo.
Estos supercomputadores son utilizados en el area científica para resolver grandes problemas matematicos o bien efectuar simulaciones o predicciones de ciertos eventos naturales como terremotos.
Lo que hizo esta persona también se puede hacer a menor escala, construyendo tu propio pc con una buena tarjeta gráfica y aprendiendo a programarlas. Para Nvidia están las bibliotecas de la plataforma cuda y para el resto AMD(ATI) está Opencl(que también se puede usar en Nvidia). Por lo general la programación está basada en C/C++ o Fortran, Los invito a seguir investigando, puede que no sea tan fácil aprenderlo, pero vale la pena.
A continuación les dejó un par de videos, el primero trata del supercomputador en japón mientras que el segundo corresponde a simulaciones comparando el poder de procesamiento CPU, Cuda y OpenMP.