Датасет (под)доменов opendata.by

[abitrolly]

В разделе проекты сайта есть куча проектов, у каждого из которых сайт типа http://elmachina.opendata.by/ но не все сайты живы. Было бы неплохо датасет по всем доменам вести. Какие из них живы, какие нет.

Для начал пройтись регекспом [.\w]*opendata.by по всем страницам сайта, отсортировать и закоммитить. Можно скрипт сделать, который ещё и статус будет проверять периодически.

[abitrolly]

Ну и если есть домены, которые не opendata.by то их тоже надо куда-то в скрипт запихать.

[ushchent]

Только просьба не ддосить проекты скриптами. Список уже есть на GH https://github.com/opendataby/metadata.

[abitrolly]

@ushchent так они и так лежат - http://elmachina.opendata.by/ - так что просьба не по адресу. Давай лучше посмотрим, как сделать так, чтобы не лежали.

[abitrolly]

В табличку нужна инфа статический сайт или нет, и если не статический, то что используется - язык программирования и БД если есть, очереди. Всё, что может жрать ресурсы.

[ushchent]

Давай лучше посмотрим, как сделать так, чтобы не лежали.

Чтобы проект работал и развивался, на него должен быть спрос. И наоборот, если спроса нет, то проект развивается только в исключительных случаях. Решить проблему спроса скриптами, на мой взгляд, не получится. Но буду рад ошибиться.

[abitrolly]

Спрос формируется тем, что люди шарят ссылки, поисковые движки их индексируют, и со временем (может лет 10) люди привыкают, что какие-то сайты есть. Но если сайт лежит, то ему ничего не поможет. Аптайм - важный показатель, но способность выживать ссылку на реддите - почти критический.