Карта гулябельности Санкт-Петербурга

Карта гулябельности Санкт-Петербурга

Как пишут составители карты, они сознательно избегают термина «пешеходная доступность» и используют вместо него дословный перевод английского walkability. «Пешеходная доступность, на наш взгляд, не самый удачный термин, так как доступность сама по себе – это скорее про изохроны. Walkability же – это про то, насколько пространство приспособлено для прогулок», — объяснили авторы. Составляя карту, разработчики учитывали плотность и высотность застройки, уровень шума и количество растительности. В итоге авторы создали шкалу «гулябельности» и согласно ей раскрасили на карте улицы Санкт-Петербурга: тихие, зеленые места с плотной и низкой застройкой обозначили зелеными тонами, а шумные места без растительности с высокой и разреженной застройкой — красными. Как отметили авторы, карта дает лишь базовую оценку качества городской среды и не учитывает временных, погодных и сезонных эффектов, а также архитектурных особенностей и качества объектов инфраструктуры.

Мы сделали карту гулябельности Санкт-Петербурга. Она показывает насколько комфортна городская среда для пешеходов.

Это не очередная туристическая карта с городскими достопримечательностями. Это карта, в которой мы сконцентрировались не красоте окружающей среды и эстетике пространства, а на том, насколько людям комфортно находиться в том или ином месте города. При ее создании мы, руководствуясь мнениями экспертов из области архитектуры и урбанистики, попытались ответить на четыре вопроса:

  • насколько здесь тихо?
  • есть ли поблизости растительность и видно ли ее?
  • какова плотность застройки в этом месте?
  • какая здесь высотность застройки?

В итоге получилась простая визуализация, в которой факторы шума, близости видимой растительности, плотности и высотности застройки объединены в один – комфортность городского пространства.

Наш город очень большой и часто даже местные жители, попав в незнакомый район, не знают, где можно погулять. Карту гулябельности в том числе решает эту проблему. А еще с ее помощью можно оценить пространство при поиске нового жилья.

На веб-сайте можно пройти небольшой опрос и оценить, насколько карта передает ваше ощущение комфортности от прогулки. Также можно узнать о всех тонкостях создания карты и планируемых улучшениях в этой статье на Хабре.

Появилась «карта гулябельности» Петербурга. Посмотрите, где пешеходам наиболее комфортно

Какие места в Петербурге больше всего подходят для прогулок на открытом воздухе? А где пешеходам наиболее комфортно? Появилась городская «карта гулябельности» — изучите и отправляйтесь гулять!

Карта гулябельности Санкт-Петербурга

«Карту гулябельности» Петербурга создала команда разработчиков и дизайнеров с десятилетним опытом работы в веб-картографии «Геосемантика». Она показывает степень комфортности городской среды для пешеходов на основе нескольких факторов — это плотность и высотность застройки, близость видимого озеленения, а также уровень шума от транспорта. Зеленым цветом отмечены «тихие, зеленые места с плотной и низкой застройкой», красным — шумные места без растительности, с высокой и разреженной застройкой. Как отмечают создатели, карта дает базовую оценку качества городской среды и не учитывает временных, погодных и сезонных эффектов, а также архитектурных особенностей и качества объектов инфраструктуры. Объединение «Геосемантика»О «карте гулябельности» Петербурга и том, зачем она нужна:Мы искали сервис, в котором можно оценить качество городской среды, чтобы выбирать комфортные места для прогулок. Поиск не увенчался успехом, поэтому на примере Питера мы сделали свою карту гулябельности. Существует термин walkability, который в русской версии «Википедии» переводится как «пешеходная доступность». Пешеходная доступность, на наш взгляд, не самый удачный термин, так как доступность сама по себе — это скорее про изохроны. Walkability же — это про то, насколько пространство приспособлено для прогулок. Поэтому в разговорной речи иногда используют дословный перевод walkability — гулябельность. Про гулябельность часто говорят в контексте качества и комфортности городской среды и городских пространств. Эти термины объединяет то, что их можно выразить некоторым показателем, который будет говорить: в одном месте людям хорошо, а в другом плохо.

Как сообщает riavrn. ru, команда «Айти-Тематик» объявила о релизе онлайн-карты городской среды Воронежа. Проект наглядно визуализирует типы и плотность застройки кварталов столицы Черноземья, отдельно указывая этажность и годы возведения зданий. Карта стала доступна в Сети в четверг, 11 марта.

Релиз карты приурочили к памятной дате: 11 марта – день точно датированного упоминания о крепости Воронеж, построенной в 1586 году. На схеме выделены пять основных типов сформировавшейся городской среды:

– индивидуальная жилая городская среда;
– среднеэтажная микрорайонная городская среда;
– многоэтажная микрорайонная городская среда;
– советская периметральная городская среда;
– историческая смешанная городская среда.

Для каждого типа предусмотрена определенная модель развития территории и предложены свои принципиальные решения застройки кварталов. Эти типы взяли за основу для классификации зданий на карте.

– Мы специально не стали присваивать классы кварталам, а классифицировали отдельные здания. Улично-дорожная сеть исторически складывалась неодинаково в разных частях города. Правобережная часть города имеет радиально-полукольцевую систему, на левом берегу – вытянутую в меридиональном направлении систему, – отметила команда проекта.

Дополнительно карта позволяет узнать индекс разнообразия жилой застройки того или иного района Воронежа. Наиболее высокий показатель у Левобережного – 0,533. Авторы проекта подсчитали, что в столице Черноземья более 28 тыс. зданий построены до 1956 года, а всего домов более – 54 000. Обилием «старых» домов они объяснили низкий индекс разнообразия застройки у Центрального района (0,341).

– Следует учитывать, что не все здания города удалось классифицировать по годам постройки и этажности, и в собранных нами сведениях есть некоторый процент ошибок, – признает команда.

НовостиДанныеОрганизацииТематич. разделыГрадоустройствоТематич. разделыКартография, ГИСТематич. разделыТехнологииСтраны и регионыРоссияЦентральный ФОВоронежская область

Что такое гулябельность и в чем проблемы ее оценки?

Существует термин walkability, который в русской версии Википедии переводится как Пешеходная доступность. Пешеходная доступность, на наш взгляд, не самый удачный термин, так как доступность сама по себе – это скорее про изохроны. Walkability же – это про то, насколько пространство приспособлено для прогулок. Поэтому в разговорной речи иногда используют дословный перевод walkability – гулябельность.

Про гулябельность часто говорят в контексте качества и комфортности городской среды и городских пространств. Эти термины объединяет то, что их можно выразить некоторым показателем, который будет говорить: в одном месте людям хорошо, а в другом плохо. И тема эта довольно популярная: свежая статья Алексея Радченко про комфортные города, много статей от Городских проектов, карта эмоций города Imprecity, американский сервис по оценке гулябельности, сервисы пешеходной навигации от Urbica и Yahoo.

Вычисление этого показателя  – комплексная задача, зависящая от множества критериев, для определения которых разрабатывают свои методики и стандарты. Среди них можно выделить несколько интересных примеров.

Пример 1. Книга датского архитектора Яна Гейла «Города для людей», в которой было сформулировано 12 базовых критериев качества пространства, разбитых на три базовые группы – безопасность, комфорт и удовольствие.

Проблема: часть критериев на практике не поддаются автоматизации, такие как «возможность сидеть» (сложно получить данные о каждой скамейке), погода (сложность определения солнечных и теневых зон) и т. Для них, по сути, необходимо выходить из дома и оценивать городские пространства на месте.

Пример 2. Методика расчета предлагает также Нью-Йоркский институт ITDF, который ставит в центре внимания тему пешеходной доступности.

Проблема: пространство города представлено как дискретное, из-за чего места, расположенные рядом, могут сильно отличаться друг от друга.

Пример 3. Проект индекса качества городской среды, разработанный Минстроем и ДОМ. РФ совместно с КБ Стрелка, которые произвели расчеты для 1114 городов России. Их индекс рассчитывается на основе 36 индикаторов.

Проблема: расчеты ведутся на уровне города, исходные данные редко предоставляются открыто, а для уровня кварталов и улиц  данные практически отсутствуют.

Где брать данные для своего проекта по анализу городской среды

На Хабре время от времени появляются статьи про различные веб-сервисы и приложения, так или иначе анализирующие городскую среду. Такие сервисы, по задумке авторов, должны помогать жителям принимать какие-то решения – куда пойти, где купить жилье, где комфортнее жить и гулять. Из последних примеров:

  • Карта гулябельности – анализ комфортности территории для пешеходов
  • ХоумХаб – анализ инфраструктуры и городской среды для выбора места жизни
  • Мои собственные разработки по прокладке интересных и комфортных пешеходных маршрутов

Типичная идея таких сервисов – “а давайте возьмем городские данные, засунем в какой-нибудь ML алгоритм, что-то подсчитаем и красиво нарисуем на карте”.

Карта гулябельности Санкт-Петербурга

Часто все выглядит именно так – берем OpenStreetMap и пытаемся что-то с ним делать

Однако результат часто оказывается “пальцем в небо”. В комментариях же пользователи начинают просить добавить все новые и новые фичи и факторы, влияющие на качество среды. Как правило упоминают общественный транспорт, экологию, освещение улиц, плотность коммерческих объектов, загруженность социальной инфраструктуры. На что авторам приходится растерянно разводить руками и отвечать, что “ну если вы нам данные дадите, то мы их прикрутим”. А данных-то и нет. И самый лучший алгоритм тут не поможет, если ему не дать качественные данные для работы.

Лицензии и доступность данных

Сразу стоит понять, для каких целей вы делаете свой сервис. Как правило, их делают либо с научно-просветительской целью, либо с коммерческой.

В первом случае вы решаете какую-то интересную задачку на анализ данных, и просто делитесь результатами с сообществом, бесплатно и открыто. Во втором случае вы планируете в будущем как-либо монетизировать свой сервис.

Многие корпорации, владеющие полезной для вас информацией, запрещают ее использование в коммерческих целях. При этом на научные публикации и исследования как-то закрывают глаза, но вот мимо коммерческого проекта, который делает деньги на их информации, они вряд ли пройдут.

Вот пример из соглашения на использование API TripAdvisor. В нем сказано, что вы не должны никак кешировать и сохранять данные от их API для создания своей собственной базы данных коммерческих организаций:

Карта гулябельности Санкт-Петербурга

То есть, например, вы не имеете права скачивать из TA информацию о кафе и ресторанах, чтобы затем встроить ее в свой алгоритм подсчета притягательности территории для туристов. Информация вся есть, вот она, гигабайты ее. Но использовать ее нельзя по сути ни для чего, кроме как для простого отображения меток на карте.

Аналогичные ограничения есть практически у всех крупных сайтов, посвященных коммерческим объектам.

Поэтому внимательно изучайте лицензионные соглашения тех сервисов, данные с которых вы хотите использовать, иначе можете нарваться на неприятности.

В итоге по доступности информацию можно условно разделить на:

Ниже я приведу список того, с чем сталкивался и работал лично в своих различных проектах в Институте дизайна и урбанистики ИТМО. Список не исчерпывающий, возможно в комментариях кто-то сможет дополнить, особенно в разделе про закрытые данные.

Общедоступные открытые данные

Для любой ГИС обычно нужна какая-то карта. Как в смысле картографической подложки, поверх которой можно рисовать какие-то свои данные, так и в смысле источника этих данных – координат и геометрии дорог, домов, рек, озер, лесов и прочих объектов.

Выбор подложек велик – тут и Яндекс, и Гугл, и OSM, и Here Maps, и MapBox и куча всего еще. Выбирают обычно чисто из эстетических соображений + полноты данных в том регионе, что вам нужен. Но есть некоторые подводные камни:

  • Выбор подложки зачастую привязывает вас к экосистеме этого провайдера, так как у многих провайдеров (Яндекс, Гугл, Here) есть ограничения на другие виды данных, что отображать их можно только на их же подложке. То есть если вы хотите использовать геокодер Яндекса – вы без вариантов должны использовать и картографическую подложку Яндекса.
  • У того же Яндекса есть ограничения на бесплатное использование – только для открытых проектов. Если в вашем проекте сложная закрытая регистрация или платный функционал – вы обязаны купить у них лицензию, бесплатно их сервисами пользоваться нельзя. Возможно что-то аналогичное есть и у других, надо изучать.

OpenStreetMap

Великий и ужасный OpenStreetMap – Википедия в мире карт, проект наполняемый самими участниками – по сути является единственным открытым источником картографических данных (а не только растровых изображений). Если вам нужны не картинки, а сами координаты домов, улиц и прочих объектов – вам сюда.

Главный плюс OSM – там есть данные, которых больше нет нигде, и достаточно открытая лицензия.

Карта гулябельности Санкт-Петербурга

Главный минус – детализация очень сильно плавает от города к городу. Где-то (где видимо нашелся маппер-энтузиаст) качество OSM бьет всех конкурентов, там будет размечено вообще все, вплоть до мусорных урн и отдельных деревьев. А где-то не будет ничего кроме пары главных улиц, кое-как перерисованных со спутника.

Есть еще ряд подводных камней, с которыми вы столкнетесь работая с OSM, и которые надо иметь в виду:

  • Ограничения на доступ и нагрузку. OSM – бесплатный проект от сообщества, поддерживаемый на пожертвования и живущий на энтузиазме. И они очень плохо относятся к тем, кто злоупотребляет халявой и создает излишнюю нагрузку на их API. Попытка выкачивать большие регионы или запрашивать очень много тайлов легко может привести к бану. На все претензии ответ будет один – “поднимайте свой инстанс и делайте с ним что хотите, а общественный бесплатный не насилуйте”.Сюда же идут сложности с оффлайн-использованием. Если вы захотите сделать приложение с возможностью качать карты в оффлайн, вам придется скорее всего поднимать свой сервер. Так как выкачать все тайлы для всех уровней зума даже для небольшой территории – это очень много запросов.
  • Плохой геокодер. Честно, Nominatim – полная фигня. Отчасти это связано с плохой наполненностью базы адресами (впрочем опять же, зависит от города), но он и сам по себе просто тупой. После Яндекса пользоваться им невозможно, тупит и не угадывает, срабатывает только если идеально точно прописать адрес. Плюс еще и не больше одного запроса в секунду, иначе банит.
  • Вы никогда заранее не будете знать, насколько хороши данные OSM в нужном вам регионе (если только сами там не живете и не можете глазами сравнить карту и реальность). Пользователи будут постоянно вас ругать за то, что ваш сервис не учитывает вот этот дом и вот этот парк, а их на карте просто не разметили.
  • Многообразие способов описания одного и того же. Например, зеленая область на карте может быть отмечена и как лужайка, и как парк, и как лес (да, не удивляйтесь если у вас будет лес в центре города) и как огород и как черт знает что еще. Вы будете постоянно сталкиваться с тем, что ваши выбранные теги не включают в себя какие-то важные частные случаи, и вам придется их дополнять.На этом участке карты есть четыре разных вида разметки зелени
  • Нет вообще никаких общих конвенций по маппингу. Зачастую в одном регионе местным сообществом принято одно, а в соседнем такие же объекты будут маппиться совсем иначе. Например, где-то встречал срач, что в Питере есть какие-то мапперы, которые принципиально рисуют все проспекты двумя отдельными односторонними линиями, и откатывают правки тех, кто с ними не согласен (рисует улицу одной двухсторонней линией). И фиг с ними что сделаешь.
  • Фундаментальная проблема любых карт (не только OSM), недавно поднятая, например, в комментариях к этому посту. Люди жалуются, что Яндекс их ведет по каким-то разбитым дорогам, вместо хороших новых улиц.Проблема в том, что в картах довольно ограниченное количество вариантов отображения объектов. И для тех же дорог есть дай бог штук 10 различных вариантов (в OSM это всякие теги primary-secondary-service-residential и еще ряд других), которые просто никак не могут покрыть все разнообразие всех возможных видов покрытия и состояния проезжей части. Более того, типы обычно назначаются согласно юридическому статусу дороги, а не ее физическому состояниюВот пример двух улиц, обе имеют тег highway=residential, то есть местная улица в жилой застройке. Первая – асфальт, освещение, четыре полосы, карманы для автобусов. Вторая – какая-то разбитая грунтовка на задворках.Ну и как ваш бедный A* в навигаторе должен отличить одно от другого и понять, по какой из них вас надо вести? Да, иногда какие-то выводы можно сделать по дополнительным тегам (числу полос, покрытию, наличию освещенности), но они есть далеко не всегда и не везде. Можно придумывать всякие эвристики, типа “если на дороге есть маршрут ОТ – эта дорога предпочтительнее”, но любые эвристики могут ошибиться.И попробуйте потом все эти сложности объяснить разозленным пользователям, у которых на проложенном вами маршруте колесо в яме оторвало.

Несмотря на все свои недостатки, OSM – потрясающий проект, не имеющий аналогов, и как правило служит базой для всех урбанистически-картографических исследований.

Важный бонус – работая с OSM вы получаете сразу огромный набор готовых инструментов по хранению, обработке данных, навигации, отображению и т. Например, для Java есть Graphopper – готовый набор из сервера и библиотеки для поиска путей, который из коробки умеет читать OSM-ные дампы и строить по ним быструю навигацию.

Вы всегда сможете ответить на все претензии пользователей в духе: “хотите что-то добавить – нарисуйте в OSM, заодно поможете всем другим проектам и навигаторам, которые его используют”.

Рельеф

Данные о рельефе вам могут понадобиться для указания высот на маршруте, или для моделирования распространения каких-нибудь радиосигналов, или зон видимости.

Если вы просто хотите отображать подложку с рельефом – вам подойдет OpenTopoMap

Карта гулябельности Санкт-Петербурга

Гора Бештау под Пятигорском выглядит в OpenTopoMap вот так

Используется модель, построенная по данным дистанционного зондирования, с шагом сетки в несколько десятков метров. Вроде у автора есть более точная модель, но она уже платная.

Важный факт – спутник считает расстояние до ближайшего твердого объекта, а не до поверхности земли, поэтому в городе высота вполне может оказаться высотой крыши ближайшего здания.

Геокодирование

Прямое и обратное геокодирование – это связь между адресом и координатами. Во многих проектах требуется либо одно (получить координаты по адресу, например чтобы проложить маршрут), либо другое (получить адрес по координатам, чтобы отобразить пользователю в интерфейсе).

Каждый исследователь, которому понадобится такой функционал, столкнется с проблемой: какой из доступных сервисов выбрать?

  • Сервисы от гигантов рынка – Яндекс, Гугл, Here Maps и пр. Работают хорошо, умеют “додумывать за пользователя”, угадывают неточно введенные адреса.Главных минусов для исследователя три:Платность – хотят денег, иногда имеют бесплатный план, но с ограничениями, часто бесплатного плана просто нетПривязка к карте. Требуют чтобы их результаты отображались только на их же карте. Нельзя, например, результаты геокодера Яндекса показать поверх OSM подложки.Нельзя сохранять данные. Иногда делается исключение для возможности кеширования, но сохранить данные, чтобы потом по ним прогнать какой-то алгоритм, формально все равно нельзя.Из условий использования API Яндекс-карт, у остальных компаний правила схожие
  • Платность – хотят денег, иногда имеют бесплатный план, но с ограничениями, часто бесплатного плана просто нет
  • Привязка к карте. Требуют чтобы их результаты отображались только на их же карте. Нельзя, например, результаты геокодера Яндекса показать поверх OSM подложки.
  • Нельзя сохранять данные. Иногда делается исключение для возможности кеширования, но сохранить данные, чтобы потом по ним прогнать какой-то алгоритм, формально все равно нельзя.Из условий использования API Яндекс-карт, у остальных компаний правила схожие
  • Геокодер OSM – Nominatim. Бесплатно и сердито. Выше уже написал минусы, повторюсь:Не умеет искать неточные совпадения (а фиг вам пользователи будут правильно всегда вводить).Плохая база адресов (зависит от местности).Жесткие лимиты на 1 запрос в секунду с последующим быстрым баном при нарушении.
  • Не умеет искать неточные совпадения (а фиг вам пользователи будут правильно всегда вводить).
  • Плохая база адресов (зависит от местности).
  • Жесткие лимиты на 1 запрос в секунду с последующим быстрым баном при нарушении.

Данные о ДТП

Их вполне официально отдает ГИБДД, но в неудобном формате. В удобном формате можно получить через замечательный проект Карта ДТП

Карта гулябельности Санкт-Петербурга

Такие данные можно использовать для определения безопасности улиц, правда и тут не без подводных камней, перечеркивающих многие идеи для исследований. Например, некоторые категории редко проставляются в протоколах. Мы пробовали сделать исследование безопасности трамвайных остановок, сравнить количество наездов на пешеходов возле остановок с платформами и без (где пешеходы высаживаются сразу под колеса машин). Но, к сожалению, хоть такая причина ДТП (наезд на пассажира трамвая) там и есть, но встречается она очень редко. Большинство ДТП пишутся под общими категориями типа “наезд на пешехода”, и попробуй отличи.

Также есть проблемы с координатами, подробнее в статье от авторов по ссылке выше.

Открытые данные местной администрации

У СПб есть РГИС, в котором есть много чего полезного:

Карта гулябельности Санкт-Петербурга

Аналоги для других регионов ищутся по запросу “ИСОГД %регионнейм%”. Вообще сейчас идет мощный тренд на цифровизацию, в ближайшие годы все регионы заставят (кто еще не успел) создать такие системы и полностью перейти на цифровые документы территориального планирования.

Также можно походить по сайтам городских комитетов/департаментов/как еще они там будут называться в вашем регионе, и поискать разделы “открытые данные”. Мы, например, используем данные от Комитета по градостроительству и архитектуре, чтобы оповещать градозащитников и экспертов о возможной будущей застройке. В КГА недавно создали реестр открытых данных, и сейчас расширяют его и дополняют новыми документами.

Про стандартизацию всего этого дела – есть, например, 10 приказ Минэкономразвития, там перечислены требования к геослоям генеральных планов, чтобы одни и те же объекты единообразно обозначались и отображались (вот тут я писал, как в джаве научиться рисовать объекты на карте согласно этому приказу). Это шаг в правильном направлении, но все равно остается куча видов градостроительных документов, где каждый регион будет изобретать свой велосипед в обозначениях и форматах.

Условно-доступные данные

Это, повторюсь, либо данные, скачиваемые через всякие хаки и торчащие наружу непубличные API с непонятным правовым статусом, либо данные, на которые явно наложены лицензионные ограничения. Используйте на свой страх и риск.

Данные о населении

Одним из краеугольных камней любых расчетов обеспеченности инфраструктурой являются данные о населении. Без них вы не сможете только лишь по карте понять, достаточно ли школ/поликлиник/детских садов или нет. Ну или сможете сделать только грубые прикидки по радиусам доступности, которые в наших реалиях (перенаселенные окраины городов с одной школой на 30 тысяч населения) вам мало что скажут.

К сожалению, из публично доступных данных такого рода мне попадалась только методика подсчета через данные ЦИК. Там на сайте можно найти перечень квартир во всех домах, в которых зарегистрированы избиратели. Начните вводить адрес и подсмотрите в веб-отладчике запросы к АПИ, которые он шлет, там иерархическая структура, от субъектов РФ и вплоть до отдельного дома и квартир в нем. Сами запросы тут приводить не буду, они время от времени меняются, так как это не публичное апи. Но отреверсить его и написать простой скрипт для скачивания всей структуры проблем быть не должно.

В итоге можно получить количество квартир в данном районе, после чего умножить на среднее количество жителей в квартире (где его взять – отдельный вопрос, я встречал цифры от 1. 5 до 2-3) и получить какую-то грубую оценку численности населения.

Для некоторых регионов можно найти какую-то информацию на сайтах местных статистических ведомств. Вот, например, данные от Петростата за 2021 год – население с точностью до муниципалитета в СПб. Более точных данных по Питеру похоже ни у кого нет, во всяком случае публично.

Коммерческие заведения

Могут быть важны как с точки зрения инфраструктуры (чтобы рядом магазины были), так и с точки зрения оценки популярности каких-то точек в городе (больше кафе на крупных популярных улицах).

Какую-то информацию можно выцепить из:

  • OSM – как выше упоминалось, очень плохо с актуальностью, лучше не использовать
  • TripAdvisor – есть API, но формально нельзя обрабатывать и хранить
  • Google Places API – можно получать информацию о заведениях, отображаемых на карте гугла. Ограничения те же самые, что и у прочих сервисов – нельзя сохранять результаты, рисовать можно только на картах самого гугла.
  • Аналог от Яндекса, с аналогичными же ограничениями (не сохранять, только карта Яндекса), плюс еще лимит в 500 запросов в день, видимо чтобы не пытались вытянуть у них всю базу

Кадастровые участки

Росреестр ведет публичную кадастровую карту, но уже много лет сопротивляется всем попыткам сделать ее по-настоящему открытой и дать возможность пользователям получать координаты участков. Сейчас по факту можно только получить растровые картинки. Раньше был лайфхак: так как у них там ArcGIS используется, можно было подхимичить с параметрами запроса и получить участки в векторном SVG. Потом эту лазейку прикрыли, получить можно только PNG/JPG.

Карта гулябельности Санкт-Петербурга

Кусочек кадастровой карты

Сейчас можно вытащить оттуда растры по номеру участка, и путем нескольких преобразований (перевести в нужную систему координат, обвести границу полигоном) получить приблизительную (с погрешностью на растеризацию) форму участка.

Кажется, недавно видел про это статью на хабре про это, но сейчас не могу ее найти. На гитхабе есть вроде такой репозиторий, но я не знаю, жив ли он. Впрочем, Росреестр уже несколько раз менял апи кадастровой карты за последние пару лет, так что все готовые решения быстро устаревают и ломаются. Но написать с нуля свое – вопрос пары дней.

Плюс через API можно вытащить разрешенные виды использования участка, что важно для различных проверок и рекомендаций в области градостроительства.

Общественный транспорт

Тут тоже все так себе, кто в лес, кто по дрова. Данные об ОТ можно брать из:

В целом единообразного способа получения информации об ОТ даже в масштабах России не существует.

Парсинг соцсетей

Из постов в социальных сетях можно извлекать различную информацию, привязанную к местоположению. Из того, о чем я слышал:

  • Поиск туристических локаций – где больше фоточек люди делают, там наверное больше интересных объектов.
  • Сбор мнений и мониторинг настроений – можно пытаться искать какие-то конфликтные точки на карте города по негативным пользовательским комментариям.
  • Поиск отзывов на какие-то заведения или локации.

При этом есть ряд подводных камней:

  • Данные сильно зашумлены, надо уметь их разделять. Например, много фоточек люди делают и постят в аэропортах на прощание перед вылетом, но это не значит, что аэропорт это хорошая туристическая достопримечательность.
  • Смешаны данные от разных категорий людей – местных жителей, приезжих, туристов, просто проезжавших мимо. В итоге вы можете набрать лишних данных, нерелевантных для вашей ЦА.
  • Ну и как правило все это так или иначе нарушает правила пользования и лицензионные соглашения соцсетейВыдержка из пользовательского соглашения ВК, из раздела запретов

Закрытые данные

Это те данные, которые вы вряд ли сможете получить самостоятельно, либо они стоят слишком дорого для хобби-проекта. Но они тоже есть и могут использоваться для исследований и проектов крупными компаниями.

У нас в ИТМО довольно много связей с чиновниками различных регионов, благодаря чему мы иногда получаем доступ к такой информации. Хотя, надо понимать, это тоже не панацея, часто “секретные” государственные данные, на основании которых принимаются важные градостроительные решения – такое же черт знает как собранное и давно устаревшее фуфло, не выдерживающее пристального внимания и проверки.

Но в целом, конечно, доступ к такой информации позволяет заниматься чуть более интересным анализом, чем это доступно человеку с улицы.

Видов закрытых платных данных много, опишу только то, с чем сталкивался сам.

Социальная инфраструктура и население

Карта гулябельности Санкт-Петербурга

Вот такие пироги в моем районе, данные неполные (нет кучи домов), но видно что заполненность школы 180% от расчетной

Население по данным переписи (хотя бы с точностью до числа жителей в отдельном доме) вроде можно получить, но то что есть у нас – очень устаревшее (из нулевых годов).

Доступ к видеонаблюдению

В Питере есть программа “Безопасный город” – город методично обвешивают камерами, видео с них можно официально запросить в случае какой-нибудь неприятности.

Для исследователей же иногда есть возможность получить доступ к отдельным камерам и изучать что-то по видеопотоку. Мы один раз использовали это для анализа стихийной тропы на Марсовом поле (считали по видео пешеходов, шедших по газону).

Карта гулябельности Санкт-Петербурга

Вид с камеры на столбе

Коллеги-транспортники из другой лаборатории вроде бы используют видео для анализа автомобильного траффика на ключевых перекрестках и настройки своей транспортной модели.

Данные мобильных операторов

С этим напрямую не работал, но знаю что такие обезличенные данные вполне официально можно купить. Цены там немаленькие, для отдельного исследователя или небольшого проекта неподъемные. Зато можно получить реальные маршруты жителей в городе. Очень важно для любых задач транспортной корреспонденции.

Коммерческие предприятия от 2gis

Если у вас серьезное исследование или проект, требующий детальной информации о коммерческих компаниях, вам придется эти данные купить. Но стоят они немало.

Вот пример расчета с сайта 2gis (многие говорят, что у них база наиболее актуальная) по Санкт-Петербургу. Это причем еще без контактов, с ними будет еще в два раза дороже.

Карта гулябельности Санкт-Петербурга

Чего найти не удалось

Эти данные были бы полезны во многих исследованиях и проектах, и они часто всплывают тут на Хабре в комментариях и обсуждениях. Но в открытом доступе их нет, во всяком случае для РФ. Ну или мне не удалось найти, если в комментариях поправят – буду рад.

  • Данные о чистоте воздуха. Все что есть – либо крупномасштабное (пара цифр на город), либо это какая-то модель-надстройка над OSM (в духе “вдоль шумных улиц и фабрик плохая зона, вдоль парков хорошая”), со всеми его недостатками в виде проблем с покрытием или погрешностями в тегировании улиц.
  • Данные о городской растительности. В том же OSM кое-где прям отдельные деревья размечены, но в большинстве городов такого нет.
  • Данные о доступности для маломобильных граждан, велосипедистов и прочих колесных. В итоге почти все велосипедные навигаторы показывают фигню, заводя туда, где через каждые пять метров по поребрику.Есть исследования, где по панорамам Google Street View эту самую доступность распознают методами компьютерного зрения, но готовых к использованию данных я не находил.
  • Данные о пешеходной инфраструктуре. В OSM за пределами Питера и Москвы банально тротуары и пешеходные переходы мало где размечены. В государственных ГИС тоже зачастую не хватает всяких дорожек-тротуаров.В итоге качество именно пешеходной навигации сильно страдает, а исследования на эту тему (наподобие моего анализа “пешеходных кривулей”, мест где слишком велико расстояние между пешеходными переходами) оказываются очень неточными.
  • Спутниковые снимки. Если вам нужна бесплатная открытая карта – есть OSM. А вот если вы захотите добавить спутниковую подложку в свой коммерческий проект – то фиг вам. Яндекс вот даже за деньги не дает доступ к своим спутниковым снимкам из-за каких-то лицензионных сложностей.Есть какие-то публичные архивы, но там качество снимков очень плохое и они старые обычно. Использовать их для актуального картографического приложения не получится.Ситуация понятная – если карту волонтеры могут нарисовать в качестве хобби и бесплатно, со спутниковыми снимками (особенно высокого качестве, пригодными для картографической подложки) так не выйдет, это всегда коммерческий продукт. Но обидно.

Монетизация

После того, как вы создали какое-то приложение с картой и какими-то данными на ней, может возникнуть желание на нем заработать.

Очевидным методом монетизации для приложения с картой может показаться путь Гугла/Яндекса – отображение маркеров коммерческих заведений с комиссией за клик.

Однако оказывается, что просто не существует (опять же, поправьте если я ошибаюсь) никаких рекламных сетей, предоставляющих такую функциональность. Чтобы можно было по API получить у них список объектов на карте в заданной области, и потом получить комиссию за клик пользователя. Вообще, как мне кажется, интересная идея для стартапа в этой области – рекламная сеть для отображения объектов на карте.

Существующие API для получения коммерческих объектов, перечисленные в разделе про открытые данные выше, не дают вам лично никакого профита. Все деньги за клики по ним получит их хозяин (гугл или TA).

У TripAdvisor есть партнерская программа, но там все сложно – вы получите деньги, если человек перейдет по вашей ссылке на TA, а там забронирует отель или еще что-то (не обязательно то, на что вела ваша ссылка).

Вообще похоже, что вся туристическая интернет-отрасль монетизируется исключительно бронированием билетов (партнерки у всех крупных сайтов типа aviasales или tutu), туров (тут самый популярный это travelpayouts, это вообще крупный агрегатор партнерок в сфере туризма) и отелей (всем известный букинг и аналоги). Если ваш проект никак с этими сферами не связан, то и заработать нативным образом на вашей карте вы не сможете. Придется использовать обычные методы монетизации (платные фичи, рекламные баннеры), не специфичные конкретно для картографических и навигационных приложений и не использующие их возможности.

Заключение

Надеюсь, эта статья поможет как будущим авторам ГИС и урбанистических веб-сервисов – не лезть туда, где все равно ничего не выйдет из-за недостатка данных, так и пользователям – понять, почему все работает не идеально, а сделать лучше в текущей ситуации не получится.

Вкратце просуммирую основные проблемы, которые вы должны понять и проверить, прежде чем начать разработку своей идеи:

  • Самый лучший алгоритм не сработает, если нет достаточно точных данных. Подход “ай ладно, ща запилим алгоритм, а данные потом поищем” не работает, без данных ценность вашего алгоритма для пользователей равна нулю, или даже отрицательна (если он дает ошибочные рекомендации).
  • OSM это здорово, но есть проблемы с качеством и полнотой, некоторые категории данных (коммерческие заведения, транспорт, озеленение) там формально есть, но в большинстве случаев непригодны для серьезного использования.
  • Некоторые вроде бы очевидные и нужные данные взять просто неоткуда.
  • Очень много данных закрыто лицензионными ограничениями, пользоваться ими можно только по методу Неуловимого Джо – надеяться, что вас не заметят и не засудят.
  • Если поискать – можно найти много интересных данных от чиновников и местных администраций, но нет общих стандартов, везде все по-разному, в итоге очень сложно или вообще нереально сделать решение, работающее для всей территории РФ.

Если у вас есть опыт работы с этими или любыми другими открытыми данными, пригодными для анализа городских территорий – пишите в комментариях. Тема нынче востребованная и наверняка эта информация многим окажется полезной.

ИЭГ представляет атлас “Экономика городов России”

Дата публикации: 02. 2021

Экспертами Института экономики города подготовлен атлас “Экономика городов России”. Атлас включает в себя карты, иллюстрирующие основные социально-экономические характеристики важнейших городов Российской ФедерацииАтлас состоит из следующих 5 разделов, объединяющих карты сходной тематики:

  • Демография
  • Городская экономика
  • Муниципальные финансы
  • Уровень жизни и социальная сфера
  • Городская среда и жилищный фонд

Большинство показателей, отображенных на картах, охватывают все города – административные центры субъектов Российской Федерации (включая города федерального значения), либо также города с населением более 100 тыс. чел. Атлас “Экономика городов России”

Наша идея

Мы учли перечисленные недостатки и решили реализовать собственный подход к расчётам. Наша основная идея в том, чтобы:

  • автоматизировать расчёты показателя качества городской среды
  • моделировать пространство как непрерывное
  • производить расчеты на крупном масштабе (улицы, кварталы)
  • использовать открытые данные

За основу мы взяли разделение критериев качества городской среды по Яну Гейлу, но на текущий момент ограничились только некоторым показателями комфортности.

Карта гулябельности Санкт-Петербурга

12 критериев качества городской среды  (Ян Гейл. Города для людей)

Из наиболее значимых критериев мы выбрали:

Центральной фигурой расчётов стало положение наблюдателя и его область видимости (двумерной), а также объекты городской среды, которые попадают в поле зрения наблюдателя – растительность и здания. При оценке  уровня шума мы учитывали только влияние транспорта.

Чтобы покрыть весь город необходимым значением индекса, нужно задать множество положений наблюдателя (набор регулярных точек-положений) и на их основе рассчитать полигоны области видимости. Объекты городской среды, попадающие в эти области, должны быть использованы для расчета количественных показателей качества.

Все необходимые векторные объекты (растительность, здания, дороги, водные объекты, мосты, районы города) мы взяли из открытых данных OSM с помощью ​​утилиты фильтрации данных overpass turbo.

Растительность

В слой растительности мы включили несколько типов объектов, в которых зачастую имеются древесные насаждения:

Каждому типу назначили высоту, необходимую для расчетов областей видимости. Так как найти данные для этой задачи довольно сложно, мы ее взяли среднюю на наш взгляд:

Карта гулябельности Санкт-Петербурга

Здания

В слое зданий мы столкнулись с проблемой дефицита информации об их высоте.

Карта гулябельности Санкт-Петербурга

Поэтому мы взяли необходимые данные из Росреестра при помощи  утилиты, которая также используется в проекте карты возраста домов, и, проведя геокодирование, дополнили слой зданий сведениями об этажности. Чтобы привести высоту к одной метрике с растительностью, мы приняли фиксированную высоту этажа в три метра (округление типовой высоты этажей в жилых зданиях по СНиП 31-01-2003).

Карта гулябельности Санкт-Петербурга

Методика

Для создания областей видимости есть готовый ГИС-инструментарий. В QGIS это плагин Visibility analysis, принимающий на вход цифровую модель местности (ЦММ) – рельеф плюс любые объекты на поверхности, и возвращающий для каждой точки растр видимости.

В Grass GIS это  r. viewshed. Мы остановились на нем из-за сложностей, возникших при попытке создания цепочки алгоритмов в QGIS (промежуточные результаты не закрывались утилитой GDAL, в связи с чем превышалось количество допустимых соединений). В r. viewshed также можно настроить дополнительные параметры, которые есть у всех подобных инструментов: максимальный радиус видимости, который мы эмпирически выставили на 110 метров, высота наблюдателя (используем 1. 6 метров = средний рост человека минус 10 см до уровня глаз) и пр.

Влияние атмосферной рефракции и поправки на кривизну Земли мы не рассматривали из-за небольшого радиуса видимости и относительно ровного рельефа территории, на которой находится Санкт-Петербург. Равнинный характер местности также служит причиной того, что мы не будем использовать рельеф, а ограничимся высотами зданий и растительности при построении ЦММ.

После выбора основного инструмента надо определиться с генерацией данных, которые он требует на входе:

Для начала создаем сетку регулярных точек:

  • генерируем гексагональную сетку со стороной полигона в 50 м, а затем строим точки – центроиды каждой ячейки;
  • исключаем точки, которые попадают на крыши зданий, так как нас интересует только outdoor.

Карта гулябельности Санкт-Петербурга

Сетка регулярных точек

Далее строим ЦММ. Для этого нужно:

  • растеризовать полигоны зданий и растительности (используя библиотеку GDAL), присвоив каждой ячейке растра значение их высоты;
  • суммировать значение ячеек растровым калькулятором, чтобы получить итоговую модель.
  • нужно, чтобы слои растительности и зданий не пересекались, иначе их высоты будут складываться;
  • при попадании регулярных точек в полигоны растительности наблюдатель окажется на деревьях, что недопустимо. Поэтому мы создаём буферы вокруг этих точек размером со среднее расстояние между деревьями в парках (7 м), а затем вырезаем эти буферы из объектов растительности.

Карта гулябельности Санкт-Петербурга

Пример построенной ЦММ (сетки из точек это вырезанные буферы)

Следующий этап – скрипт на Python, который будет считает области видимости. Размещаем все необходимые для расчетов векторные слои в базе данных PostgreSQL с установленным расширением PostGIS. Далее:

  • итерационно проходим по координатам созданных регулярных точек;
  • применяем алгоритм r.viewshed для создания растра видимости;
  • векторизуем растр инструментом Grass r.to.vect для быстрого экспорта данных;
  • используем утилиту командной строки библиотеки GDAL ogr2ogr, чтобы извлечь только геометрии полигонов видимости, которые скрипт будет заносить в итоговую таблицу PostGIS вместе с геометрией регулярных точек.

Карта гулябельности Санкт-Петербурга

Векторизованная область видимости

Построение ЦММ и генерация сетки регулярных точек на каждый район автоматизируется за счёт:

  • функций PostGIS (прежде всего, ST_HexagonGrid);
  • алгоритмов GRASS (предобработка слоев) и утилит командной строки GDAL (растрирование и наложение слоев).

В итоге достаточно запустить скрипт и передать ему идентификатор района/ов, а остальную работу он выполнит  сам.

Количественные характеристики критериев комфортности

Как говорилось выше, мы берём в расчет визуальные критерии (плотность застройки, высотность окружающих объектов, озеленение), а также шумовое загрязнение для расчета комфортности городской среды. Необходимо определить количественные характеристики для этих критериев.

Визуальные критерии

Для плотности застройки используем площадь области видимости. Соответственно, чем меньше площадь, тем выше плотность и тем более комфортно человеку (конечно, до разумных пределов).

Для высотности используем медианная высоту растительности и зданий. Чем выше окружающая среда, тем человек чувствует себя более маленьким на их фоне (эффект масштаба), поэтому и снижается комфортность.

Для вычислений количественных характеристик можно написать SQL функции, которые будут итерационно определять отношение областей видимости к объектам городской среды.

Уровень шума

Чтобы оценить влияние шума, мы использовали алгоритм noisemap (спасибо Urbica за это). Программа на основе данных OSM строит три зоны: 45 дБ, 55 дБ и 65 дБ вокруг каждого объекта, а затем объединяет их по значению в крупные полигоны. В проекте уже содержатся сведения об уровнях шумового загрязнения для множества объектов.

Для решения поставленной задачи мы дополнили эти сведения приблизительными значениями для проездов (highway=service), и соединений дорог (highway=*_link). Также пришлось модифицировать программу под решаемую нами задачу. Мы добавили:

  • возможность использования входных данных, полученных из QuickOSM;
  • настраиваемый параметр учета высоты источников шума;
  • параметр, позволяющий рассчитывать полигоны с любым уровнем шума и в любом количестве;
  • нарезку полигонов шума по плотной квадратной сетке для оптимизации дальнейших вычислений (до этого на выходе получались полигоны размером с город);
  • оверлей difference, чтобы итоговые полигоны не пересекались друг с другом.

После генерации данных полигонов остается написать еще одну SQL функцию, которая будет проверять, полигон с каким значением шума содержит заданную точку, и записывать это значение в атрибуты.

Расчет комфортности

Перед тем, как вычислить интегральный показатель комфортности, мы отобразили в Mapbox Studio все визуальные критерии. Полученная карта подходит для визуальной оценки трех критериев, но при увеличении их количества использовать её нельзя.

Карта гулябельности Санкт-Петербурга

Карта комфортности Васильевского острова на основе визуальных критериев. Здесь столбец – положение наблюдателя, радиус столбца отражает площадь области видимости, высота – медианную высоту окружающих объектов, а цвет – близость к растительности. Плоская красная часть слева это западная окраина Васильевского острова где почти нет зданий и  деревьев. Итого, самые комфортные места – это узкие низкие зеленые столбики, а самые некомфортные – толстые высокие красные.

Обобщенный показатель

Мы пошли по простому пути и использовали одинаковые веса для всех частных показателей комфортности.

Карта гулябельности Санкт-Петербурга

Обобщенный показатель комфортности в точках наблюдения

Последний штрих

Чтобы обеспечить непрерывное покрытие, проводим линейную интерполяцию полученного показателя между рассчитанными точками и получаем непрерывную сетку (растр). Далее сетку можно реклассифицировать (инструментом r. reclass) и векторизовать (r. vect). В результате формируется векторный слой с полигонами, каждый из которых содержит значение индекса комфортности.

Карта гулябельности Санкт-Петербурга

Публикация в вебе

  • здания;
  • уровень шума;
  • растительность.

Карта гулябельности Санкт-Петербурга

Карта гулябельности Санкт-Петербурга

Карта гулябельности Санкт-Петербурга

Контуры растительности. По карте можно увидеть, что на комфортность влияет только видимая растительность.

Known issues

Мы осознаем, что в описанной методике мы основывались на ряде допущений, некоторые факторы мы не учитываем в принципе, открытые данные также зачастую неполные, и необходимо привлекать дополнительные источники.

Барьеры

Мы не учитываем заборы, которые способны радикально изменить размеры и форму областей видимости, а также снизить влияние объектов интереса на восприятие наблюдателя. Всё дело в том, что ширина непрозрачных заграждений зачастую доходит до 10-20 см (а то и меньше) и поэтому необходимо использовать ЦММ высокого пространственного разрешения. Вычисления займут огромное количество времени, да и высота таких заграждений также имеет большое значение, а найти эти данные на текущий момент затруднительно.

Экраны

Не учтены шумоподавляющие экраны возле дорог. Причина примерно такая же, что и с заборами. Кроме того, данных о наличии экранов довольно мало. Для расчета же полигонов шума достаточно сложно учесть влияние экранов, но об этом можно подумать в будущем.

Низкая растительность

Мы также не учли влияние травы и низкорослых кустарников на восприятие наблюдателя. Хоть оно и небольшое по сравнению с влиянием остальных объектов растительности, но эффект всё же имеется.

Мы использовали только автомобильные и железные дороги при построении полигонов шума. Естественно, существует еще много объектов, которые следовало бы учесть здесь. К примеру, заводы, строительные площадки, станции метро и т. Присваивание каждому типу объектов один и тот же уровень шума снизит объективность результатов.

Высота источника шума

На текущий момент учет высоты источников шума происходит косвенно (на основании данных о последовательности отображения дорог), однако реальных данных об этой высоте практически нет. Из-за этого есть довольно сильные искажения в районе ЗСД.

Что дальше

Чтобы сделать сервис еще лучше нам важно собрать ваши мнения о том, соответствует ли рассчитанный индекс восприятию комфортности. Для этого, пожалуйста, пройдите короткий опрос.

Если вам понравился проект – следите за обновлениями в соцсетях: инстаграм, телеграм.

Улучшение результатов

При работе с данными OSM мы обнаружили существенную нехватку полигонов растительности. Это хорошо видно при изучении космических снимков. Поэтому для улучшения результатов мы добавили собственные полигоны в редакторе геоданных OSM iD. Так как пропущенных полигонов оказалось слишком много, пришлось искать другие источники. К примеру, мы использовали геоданные зеленых насаждений, представленные на сайте региональной геоинформационной системы Санкт-Петербурга — RGIS.

Также был использована платформа Geoalert, основанная на  методах машинного обучения для автоматизированного выделения контуров объектов на снимках.

Уплотнение сетки регулярных точек

Мы изучили изменения в распространении индекса комфортности при изменении величины гексагонов, на основе которых строятся регулярные точки. При уменьшении значения результаты становились более полными.

На рисунках слева показана карта, в которой не учтены наши изменения, а справа – карта с учётом добавленных всеми вышеописанными способами полигонов растительности  и уплотнённой сетки регулярных точек (до 25 м).

Карта гулябельности Санкт-Петербурга

До внесенных изменений

Карта гулябельности Санкт-Петербурга

Благодарности

Сервис создан на основе диссертационных исследований Александра Семенова из Федерального Исследовательского Центра РАН. Также благодарим за помощь и консультации Александру Ненько из QULLAB, Ольгу Краснову из MLA, Юлию Малкову из TOBE architects и Никиту Славина из Кон-Тики.

Добавить комментарий

Ваш адрес email не будет опубликован.