Размеры всемирной паутины действительно впечатляют. Тысячи дата-центров, в которых хранятся миллиарды сайтов, содержащих миллионы терабайт оригинальной информации по всем возможным областям знаний. Но мало кто задумывается о том, что сеть, индексируемая обычными поисковиками, это лишь часть всего массива данных, доступных через интернет. Причем, согласно некоторым экспертным оценкам, «в тени» информации ещё больше. Скрытый от глаз поисковиков интернет, называемый «теневым», заинтересовал американское государственное агентство DARPA. Учреждение, занимающееся перспективными научно-исследовательскими работами оборонного характера, организовало разработку поисковой системы, которая бы свободно ориентировалась в «теневом» информационном пространстве. На сегодняшний день к данному проекту уже привлечено семнадцать команд программистов, которые работают независимо одна от другой. За год активной работы в стадию тестирования перешли некоторые прототипы программных комплексов, способных проводить работу по индексации и архивированию «серых» сайтов. При этом более детальная информация о наработках не раскрывается. Неизвестно, насколько серьезные успехи достигнуты в этом проекте, который получил название Memex. Доктор Крис Уайт, курирующий разработку поисковой системы по «теневому» интернету, говорит, что на пути к пониманию настоящей природы всемирной паутины стоит шаблонный подход, который основан на коммерческих интересах определенных структур. Поисковики, даже самые знаменитые, такие как Google, Bing и другие, индексируют лишь двадцатую часть ресурсов, присутствующих в глобальной сети. Те сайты, которые не несут коммерческой или рекламной нагрузки, попросту игнорируются. И таких сайтов миллионы. Кроме того, существует довольно неплохо законспирированная сеть TOR, количество сайтов в которой составляет примерно от десяти до сорока тысяч. Также имеются проекты создания других систем анонимайзеров. Заказчиков и разработчиков интересует глубокое изучение закономерностей работы всемирной паутины. Тут есть и чисто практический интерес. Например, доступ правоохранительных органов к интересующей их информации, или же пресечение шпионской деятельности.