In anul 1994 internetul era cu mult mai mic de cat astazi. Studentii de la Harvard: Jerry Yang si David Filo au inceput sa introduca manual paginile lor web preferate si sa le organizeze intr-un director, care in scurt timp urma sa devina Yahoo. Un director web iti permite sa gasesti pagini web navigand prin categorii si subcategorii de site-uri. De exemplu Calculatoare si Internet> Stiri IT&C. Desi asezarea in ierarhii poate fi de ajutor, acesta nu este intotdeauna modul ideal de a gasi pe internet informatii pe internet. De exemplu daca vroiai sa stii cine a fondat Yahoo, necesita un timp foarte indelungat sa gasesti o pagina in care sa scrie despre acest lucru. Crearea de directoare editate de oameni este iarasi o problema deoarece internetul creste enorm pe zi ce trece, si se schimba cu un ritm foarte ridicat. Pentru a avea eficienta in cautare, motoarele de cautare, trebuie sa descopere ce spun defapt paginile web, si apoi sa creeze un index al continutului paginii web. Indexul apoi poate fi cautat foarte rapid pentru a scoate la suprafata paginile care contin cuvintele cheie.