ДМОЗ

DMOZ (Directory Mozilla, также известный как Open Directory Project или ODP) — это крупнейший в истории веба бесплатный каталог сайтов, существовавший с 1998 по 17 марта 2017 года и поддерживаемый сообществом добровольных редакторов.

Что такое DMOZ в истории SEO — один из самых авторитетных доноров ссылок 2000-х годов: регистрация сайта в каталоге давала Google PageRank, передачу веса и сигнал о тематической принадлежности. На пике в 2007 году каталог содержал более 5 миллионов сайтов, рассортированных по 1.1 миллиону тематических категорий, и редактировался армией из 90 000+ добровольцев по всему миру.

После закрытия DMOZ полная база была сохранена двумя независимыми проектами — Curlie (полный преемник, работает по сей день) и DMOZ Archive (статическая копия закрытой версии). В современной SEO-практике DMOZ упоминается преимущественно в историческом контексте как пример того, как ручная модерация каталогов уступила место алгоритмическому поиску.

Что такое DMOZ

DMOZ — это иерархический каталог сайтов, в котором ссылки на интернет-ресурсы группировались по тематическим категориям и подкатегориям, организованным в виде дерева. От обычных автоматических поисковиков DMOZ отличался ручной модерацией: каждый сайт перед добавлением проверял живой редактор из числа добровольцев, оценивая качество ресурса, соответствие категории и общую полезность для пользователей.

Технически каталог состоял из главной страницы со списком корневых категорий и тысяч промежуточных страниц с подкатегориями и сайтами. Пользователь начинал с общей темы (например, «Computers»), углублялся в подразделы (Internet → Search Engines → SEO) и в конце находил список релевантных сайтов с краткими описаниями.

Главные особенности DMOZ:

• Бесплатность. Никакой платы за добавление сайта в каталог — добавление полностью зависело от решения добровольных редакторов.
• Открытая лицензия. Данные каталога распространялись по открытой лицензии, что позволяло другим сервисам использовать структуру и контент DMOZ — Google Directory, AOL, Lycos и десятки региональных каталогов работали на основе данных ODP.
• Многоязычность. Каталог поддерживал десятки языков, включая русский, белорусский, украинский, казахский — это делало его удобным для русскоязычного SEO.
• Сообщество. Главная особенность — модель децентрализованной модерации, когда добровольцы из разных стран отвечали за свои тематические или языковые сегменты.

История ODP

DMOZ запустился 5 июня 1998 года под названием GnuHoo, организованный программистами Sun Microsystems Ричем Скрентой и Бобом Труэлом. Изначальная идея — создать открытую альтернативу Yahoo! Directory, который был платным и ограниченным по охвату. Через несколько недель после запуска проект переименован в NewHoo, а в октябре 1998 года куплен Netscape Communications и переименован в Open Directory Project.

Ключевые этапы развития:

• 1999. AOL покупает Netscape, и проект становится частью империи America Online. Получает URL dmoz.org и название Directory Mozilla.
• 2000. Google запускает Google Directory на основе данных DMOZ — каталог становится фундаментом сразу для многих сервисов.
• 2003. Каталог достигает 4 миллионов сайтов и 60 000 редакторов.
• 2007. Пик популярности — 5 миллионов сайтов, 1.1 миллион категорий, 90 000+ редакторов.
• 2011. Google закрывает Google Directory — это первый серьёзный удар по статусу DMOZ.
• 2015–2016. Технические проблемы с серверной инфраструктурой, замедление обновлений, отток редакторов.
• 17 марта 2017. AOL объявляет о закрытии DMOZ. Команда указывает на устаревшую архитектуру и отсутствие коммерческой перспективы.

Структура каталога

DMOZ использовал иерархическую структуру с 15 корневыми категориями:

Внутри World существовали отдельные иерархии для каждого языка, включая русскую (русскоязычный сегмент DMOZ). Сайты на белорусском, украинском, казахском попадали в свои языковые подкатегории.

DMOZ и SEO в 2000-х

В 2000-х годах ссылка из DMOZ считалась одной из самых ценных для SEO. Причины такой ценности:

1. Высокий PageRank. Сам сайт dmoz.org имел PageRank 8 (по 10-балльной шкале Google), что делало любую ссылку оттуда сильным сигналом для алгоритмов.
2. Тематическая релевантность. Ссылка из тематической категории DMOZ давала Google понимание принадлежности сайта к конкретной нише.
3. Доверие. Ручная модерация означала, что в каталоге не было откровенно спамных сайтов — это давало DMOZ репутацию «белого донора».
4. Стабильность ссылки. Сайт не менялся годами, ссылка не пропадала, в отличие от случайных каталогов и форумов.
5. Передача данных в другие сервисы. Сайт, попавший в DMOZ, автоматически появлялся в Google Directory, Lycos, Netscape Search и десятках региональных каталогов.

Из-за этой ценности добавление сайта в DMOZ превратилось в отдельную услугу SEO-агентств в 2003–2010 годах. Стоимость гарантированного попадания в каталог через «знакомых» редакторов доходила до 200–500 USD за полноценный сайт. Многие редакторы DMOZ обвинялись в коррупции — за деньги добавляли сайты вне очереди или, наоборот, блокировали конкурентов.

С 2010 года влияние ссылки из DMOZ начало снижаться: алгоритмы Google научились оценивать качество доноров более тонко, и роль каталогов как ссылочных авторитетов уменьшилась. К моменту закрытия в 2017 году DMOZ уже не играл существенной роли в SEO-стратегиях.

Закрытие DMOZ в 2017

2 марта 2017 года AOL опубликовал на dmoz.org объявление о предстоящем закрытии каталога. 17 марта 2017 года сайт перестал работать и был заменён статической заглушкой с текстом благодарности участникам проекта и ссылкой на резервные сервисы.

Официальные причины закрытия (по заявлению AOL):

• Устаревшая техническая инфраструктура, требующая капитальной модернизации
• Снижение трафика на сам каталог из-за ухода пользователей в поисковики
• Отсутствие коммерческой перспективы — каталог никогда не приносил доходов
• Сложности с привлечением и удержанием новых редакторов

Часть сообщества редакторов и журналистов считала, что AOL мог поддерживать каталог за минимальные деньги, и закрытие было скорее стратегическим решением — освободить ресурсы для других проектов. Petitions для сохранения DMOZ собирали десятки тысяч подписей, но не повлияли на решение.

Что осталось от DMOZ

После закрытия DMOZ часть базы сохранилась через несколько проектов:

• Curlie (curlie.org). Полный преемник DMOZ, запущен 15 марта 2017 года группой бывших редакторов. Использует ту же базу данных и иерархию категорий, продолжает приём новых сайтов через систему модерации. К 2024 году содержит около 4 миллионов сайтов, что меньше пика DMOZ, но всё ещё значимый объём.
• DMOZ Archive (dmoztools.net). Статическая копия каталога на момент закрытия. Не обновляется, существует как исторический архив. Полезна для проверки, был ли сайт в DMOZ до закрытия.
• Wayback Machine. Архив web.archive.org содержит снимки многих страниц DMOZ за разные годы. Позволяет смотреть, как развивался конкретный раздел каталога с 2000 по 2017 год.
• Открытые данные DMOZ. Полный RDF-дамп каталога перед закрытием доступен на dmoztools.net для скачивания. Используется исследователями структуры веба и для академических работ.

Курли как проект развивается медленно: новых сайтов добавляется в десятки раз меньше, чем в DMOZ на пике. Это связано как с упадком интереса к каталогам в целом, так и с тем, что главные исторические доноры (Google Directory, AOL Search) больше не используют данные.

Часто задаваемые вопросы

Имеет ли смысл регистрироваться в Curlie сегодня?

Для большинства коммерческих сайтов — нет. Ссылка из Curlie не передаёт значимый ссылочный вес, не приносит трафика и не влияет на ранжирование в современных алгоритмах Google и Яндекса. Регистрация может иметь смысл только для нишевых проектов с минимальной коммерческой направленностью, где Curlie всё ещё используется тематическим сообществом — но таких ниш очень мало.

Учитывает ли Google сегодня ссылки из закрытого DMOZ?

Нет. Сам домен dmoz.org возвращает HTTP 404 или редирект на заглушку, и все исторические ссылки оттуда фактически мертвы для алгоритмов Google. PageRank-сигналы от dmoz.org не передаются по той же причине. Историческое влияние DMOZ на сайт сохраняется только в архивных данных Google, но активного влияния на ранжирование нет.

Что было альтернативой DMOZ для русскоязычного сегмента?

В 2000-х параллельно с русским разделом DMOZ существовали Яндекс.Каталог (закрыт в 2017, как и DMOZ — совпадение в датах) и Mail.ru Каталог (формально работает, но не пополняется с 2018). Оба были модерируемыми каталогами с похожей структурой, но более узкой языковой направленностью. Каталог Яндекса имел даже большее значение для русскоязычного SEO, чем DMOZ — попадание в него обеспечивало доверие и тематические сигналы для Яндекса.

Можно ли скачать полные данные DMOZ?

Да. Полный RDF-дамп DMOZ на момент закрытия доступен на dmoztools.net размером около 850 МБ в архивированном виде. Дамп содержит структуру всех категорий и ссылки на сайты с описаниями. Используется в академических исследованиях по структуре веба, для построения тематических классификаторов в ML-моделях, как обучающая выборка для систем категоризации сайтов.

Чем DMOZ отличался от обычной поисковой системы?

DMOZ был каталогом, организованным людьми по тематическим категориям с ручной модерацией. Поисковая система (Google, Яндекс) индексирует сайты автоматически и сортирует их по алгоритму релевантности запросу. Каталог отвечал на вопрос «какие сайты есть в этой теме?», поисковик — «какой сайт лучше отвечает на этот конкретный вопрос?». С развитием алгоритмов поисковики оказались эффективнее, что и привело к упадку каталогов как класса.