Непростая GeoLive

Read in English

Не успел я как следует насладиться болью разлуки с OSGeo Live 8.5, как вышла девятая версия этой сборки. И хоть на моем новеньком Минте еще чист рабочий стол и горячи установочные файлы, я не мог не предаться страстям и перевел мой видавший виды ноутбук на новую картографическую ось.

О том что улучшения есть, стало понятно еще до начала установки. В отличие от версии 8.5, ждать скачивания которой было мучительней чем ответа от оператора Ростелекома, девятая версия качается довольно-таки шустро. Рекомендую сразу качать мини-версию, лишенную установщиков для винды и макоса. Во-первых, это добавочный гигабайт бесполезных файлов, а во-вторых, гарантия проблем с установкой, вызванных превышением максимального размера файла в FAT32. Можно, конечно отформатировать все в NTFS, но гарантии, что такая настройка бубна сработает у меня нет.

В справке по операционке приводится совет по созданию загрузочной флешки. Я настоятельно рекомендую воспользоваться им и описать ощущения, поскольку я такой фигней страдать не стал. Вообще, складывается ощущение, что справку в OSGeo пишет сам Рихард фон Крафт-Эбинг: ее подробность меркнет на фоне косяков как взрыв-пакет на фоне Хиросимы. Веб-версия справки, на которую я дал ссылку от версии встроенной в операционку отличается довольно существенно, но обе они явно развивались перпендикулярно направлению к лучшему. Вместо одних ошибок появляются другие, а большинство рецептов больше подходят для поваренной книги Макаревича, чем для практической работы. Конечно, я понимаю, что килькой в наше время отравиться гораздо проще в каждой убунте живут утилиты для создания загрузочной флешки, но все-же советую найти-таки бесплатную программу UNetBootin и распаковывать образ диска с ее помощью.

Установка проходит без замечаний, базовая операционная система OSGeo по прежнему лубунта, несмотря на невесть откуда взявшиеся ссылки на xubuntu.org с официального сайта. По прежнему лубунта не так быстра, как об этом говорят, местами глючна и топорна. Первое что бросается в глаза — это новая непонятная фигня в обоях рабочего стола, вместо старой непонятной фигни. Она больше не навевает прежнюю тоску и меланхолию, поэтому, первое что я сделал, это сменил рабочий стол на одно из полотен Рериха. Зато прежнюю тоску навевают траблы с масштабированием значков (размер изменяется сразу во всех папках) и их сортировкой на рабочем столе (ее просто нет).

По прежнему нет главной няшки убунты — показ в одном окне всех рабочих столов по наведению на угол экрана. При перетаскивании окна в к краю экрана, оно вместо ожидаемого разворачивания по правому краю улетает на второй рабочий стол. Что-ж, прекрасно, я всегда ценил приверженность традициям.

После установки, на рабочем столе есть около десятка разных папок и файл «password.txt». Берегите этот файл, в нем содержатся логины и пароли для некоторых приложений в формате «приложение-логин-пароль». На всякий случай, публикую их здесь:

General — user,user
52nWPS — wps,wps
52nWSS — alice,alice или bob,bob
Cartaro — admin,geoserver
Geoserver — admin,geoserver
Geonetwork — admin,admin
MySql — administrative,user
Mapbender3 — root,root
Postgres — user,user
rasdaman — rasadmin,rasadmin
Sahana — admin,admin
tomcat6-manager — user,user
EOxServer — admin,admin,admin
GeoNode — admin,admin

После весенней установки Минта я распрощался с интернетом на моем ноутбуке и жалкая надежда исправить эту ситуацию с установкой новой оси не увенчалась успехом. Я бы очень хотел рассказать вам о фишечках, для которых требуется интернет-соединение, но увы, эта дура из техподдержки Ростелекома два часа выносила мне мозг только для того, что-бы в конце заявить: «Мы ничем не можем вам помочь». По этой же причине я не смог сделать стандартное послеустановочное обновление линукса и вообще, вопреки распространенному принципу предоставления информации «как есть», все последующее описание будет вам предоставлено как-попало.

По-прежнему невозможно получить оперативную информацию о работе программы. Уходишь на обед — запомни что из веб приложений ты запустил, а что на вечер оставил. Проблем обычно это не вызывает, но есть подозрение, что некоторые клиенты могут между собой конфликтовать.

А теперь о главном. Начинка GeoLive включает следующее:

Веб-клиенты

Cartaro — Система управления геоконтентом. В отличии от прошлого дистрибутива, здесь после старта что-то происходит, да что уж кокетничать, открывается браузер с весьма приличной системой на Drupal, которая, может и имеет сложности в деталях, но на первый взгляд очень даже работоспособна.

2015-09-24-235000_1280x800_scrot 2015-09-24-234545_1280x800_scrot

 

Geomajas — Фреймворк для разработки геопространственных веб-приложений. Если в прошлое знакомство я с трудом представлял как и где я могу эту хреновину использовать, то теперь, благодаря примеру со встроенной демки, понимания стало гораздо больше. Впрочем, для работы требуется апачевский инструмент Maven, который навевает меня на мысль о том, что к использованию Geomajas-а, я приду еще очень нескоро.

2015-09-25-002422_1280x800_scrot 2015-09-24-235357_1280x800_scrot

 

GeoNode — Платформа для обмена геоданными и картами, проще говоря смесь облака и системы управления контентом. Чрезвычайно доставляющая вещь. Частично русифицирована и интуитивно понятна. Знакомство с ней доставляет столь же офигенское удовольствие, как прослушивание Яна Сибелиуса. Я не понимаю, как произошло, что в хелпе нет ни единой строчке об этой CMS. Зато есть встроенная обширная pdf-документация на английском.

2015-09-25-020039_1280x800_scrot 2015-09-25-020236_1280x800_scrot 2015-09-25-020329_1280x800_scrot 2015-09-25-020615_1280x800_scrot

 

Cesium — библиотека JavaScript для создания трехмерных глобусов и плоских карт в веб-браузере без плагина. Она использует WebGL для аппаратного ускорения графики. В дистрибутиве присутствует симпатичная хэлловордная демка с подробным туториалом по библиотеке.

2015-09-25-031021_1280x800_scrot 2015-09-25-032326_1280x800_scrot

 

GeoMoose — Веб-ГИС портал. Очень симпатичная демка веб-гис портала. По прежнему непонятно, как с ней обращаться если вас не интересует штат Дакота, да и вообще, если вы хотите хоть как-то использовать ее в работе, придется курить мануалы с официального сайта.

2015-09-25-032510_1280x800_scrot

 

Leaflet — Библиотека для отображения геоданных. Да кому я рассказываю, вы не хуже меня знаете о замечательном детище Владимира Агафонкина. GeoLive содержит предустановленную библиотеку и краткое введение по ее установке и настройке.

2015-09-25-033313_1280x800_scrot

 

Mapbender — В начале этого года я написал следующее: «Mapbender — Фреймворк для создания геопорталов. Я раз пять открывал этот фреймворк и все время чувствовал себя зрителем кулинарной телепередачи («Час жду — ничего. А эти мудаки едят и хвалят»). При первом запуске в браузере открывается несколько элементов лишенные всех стилей. Но не волнуйтесь, на шестой раз вы найдете заветную комбинацию действий и откроете фреймворк по настоящему. Неожиданно выясниться, что документация в справке по нему устарела. Сама программа выглядит впечатляюще, но меня берут сомненья возможности продуктивной работы с ней. Уж больно много подводных камней я встретил при создании тестового проекта.» Собственно, ничего с тех пор не изменилось, если не считать того, что на шесть попыток меня в этот раз не хватило.

2015-09-25-034624_1280x800_scrot 2015-09-25-034612_1280x800_scrot

 

OpenLayers — Встроенная библиотека и справка по OL. Может быть весьма полезна если у вас как у меня закончился интернет в проводе. В остальном то-же самое, что и с leaflet.

2015-09-25-035609_1280x800_scrot

 

Системы кризисного управления

Sahana Eden — Кризисное управление при стихийных бедствиях. Как и в прошлой сборке OSGeo не запустилась, хотя очень старалась запуститься.

2015-09-25-040806_1280x800_scrot

 

Ushahidi — Картографирование и распределение событий по времени. Ушахиди это по прежнему самая офигенская штука во всей сборке. В первый раз, стоило увидеть, как она устроена и работает — я тот час засел за ее установку. Применима в огромном числе задач, связанных со сбором геоданных. Что поделать — разработчики знают толк в красоте. Да, чуть не забыл, перед установкой внимательно читайте руководство и не используйте кириллицу.

2015-09-25-041018_1280x800_scrot

2015-09-25-042814_1280x800_scrot

2015-09-25-042825_1280x800_scrot 2015-09-25-042837_1280x800_scrot

 

Базы данных

Rasdaman — Многомерная растровая база данных. По внешним признакам — серьезный инструмент для хранения и управления растрами, но без интернет-соединения его не понять. В текущей версии операционной системы залита интересная демка, что-же до самой базы, то она предполагает терминальную работу со всеми вытекающими последствиями.

2015-09-25-043624_1280x800_scrot

 

pgAdmin III — Набор инструментов PostgreSQL. Сказать особо нечего: запускается, работает.

2015-09-25-045446_1280x800_scrot

 

QGIS Browser — Менеджер файлов и баз данных. Вещь безусловно полезная, но сколько себя помню, всегда пользовался им только в виде окна, встроенного в QGIS. Обычно его сравнивают с есривским ArcCatalogom, но последний, в отличии от QGIS Browser используется гораздо чаще.

2015-09-25-050355_1280x800_scrot

 

Shp2pgsql — Утилита для экспорта и импорта файлов в PostGIS.

2015-09-25-051121_1280x800_scrot

 

Spatiallite_gui — Графический интерфейс для управления базой SpatialLite.

2015-09-25-051456_1280x800_scrot

 

SQLite Database browser — Система управления SQL-базой с графическим интерфейсом.

2015-09-25-051826_1280x800_scrot

 

Настольные ГИС

GRASS GIS — Одна из моих давних мечт — получить заказ на разработку ГИС в GRASS. Или на анализ. Или хоть на что-нибудь. Этой программой интересуется незаслуженно малое количество народу. А между тем, она развивается почти такими же темпами как QGIS. Да, там по прежнему все не так как обычно, но с каждым разом, решение задач становится проще. Программисты и дизайнеры не зря едят свой хлеб. В этой сборке установлена самая последняя версия (7.0.1) — прилизанная и локализованная. Открываешь и с первых секунд тебя засасывает в волшебный мир диалогов, экстентов и возможностей обработки данных. Работать в GRASS надо обязательно, что-бы не говорили о тупиковых ветвях эволюции.

2015-09-25-052730_1280x800_scrot 2015-09-25-054055_1280x800_scrot

 

gvSIG Desktop — Когда-нибудь я осознаю, что стал старым маразматиком, брюзжащим на прогресс. Первое, что я сделаю после этого открытия — перепишу интерфейс gvSIG и организую клуб бывших любителей ArcView 3.2a. Теплый и ламповый 3.2а, был, в отличии от gvSIG модульным и черно-белым, но кто из нас, из маразматиков об этом вспомнит?

2015-09-25-055548_1280x800_scrot 2015-09-25-055944_1280x800_scrot

 

Kosmo Desktop — Замечательная программа. После запуска появляется красивое приветственное окно с видом на обращающийся у мексиканского побережья циклон. На этом, собственно, функциональность программы заканчивается. К слову сказать, в версии OSGeo Live 8.5, Kosmo запускалась, но до установки флеш-плеера уходила в глубокий аут. Возможно заработает после апгрейда лубунты. Пока же, окно приветствия висит до самого выключения компьютера.

2015-09-25-061139_1280x800_scrot

 

OpenJUMP — Достаточно мощная ГИС-программа с уютным интерфейсом десятилетней давности. В отличии от QGIS имеет-таки возможность привязывать векторные данные (афинным способом). Впрочем, я давно не наводил ревизию среди плагинов QGIS, возможно один из них уже давно ждет своего часа. OpenJUMP имеет встроенный функционал обработки (буфер, триангуляция Делоне, полигоны Воронского и др.), статистики, конвертации и, подозреваю, содержит в себе несколько чрезвычайно необходимых фич, которых так нехватает в популярных пакетах.

2015-09-25-062323_1280x800_scrot 2015-09-25-063258_1280x800_scrot

 

OSSIM — Цитирую официальный хелп: «OSSIM был создан несколькими правительственными агенствами США, работавшими в сфере разведки и обороны. В настоящее время проект передан в руки исследовательских проектов и активно развивается с 1996 года.» Может я чего-то недопонимаю, но на вид это обычная приколюха с плавной анимацией глобуса (кстати, очень приятно, хоть и непривычно). В реальном времени показана светлая сторона Земли и местоположение Луны, что доставляет особенное удовольствие. Координаты с точностью до 12-го знака, исполненные серым шрифтом с засечками прекрасно бы смотрелись в любом фильме про американских шпионов и военных. Что-то подобное я видел в середине девяностых в одной из серий «Секретных материалов».

2015-09-25-064504_1280x800_scrot 2015-09-25-065106_1280x800_scrot

При первом выборе пункта «настройки» программа моментально умерла. Но это не страшно. В OSGeo 8.5 она вообще погружалась в безвыходный транс сразу после запуска.

QGIS — Версия 2.8 (Вена). В сборке OSGeo 8.5 глючил зум и часть плагинов (включая OpenLayers plugin). Сейчас с зумом все в порядке, а вот работоспособность плагинов пока под вопросом. Впрочем, если нет интернета, какая разница, заработают ли плагины, которые невозможно скачать? Текущая версия хоть и не самая новая (23 октября выйдет QGIS 2.11), но вполне стабильная. А вообще, говорить о QGISе все равно, что рассказывать о своих делах: можно говорить либо часами напролет за литром водки, либо сказать, что все нормально. Третьего не дано.

2015-09-25-070454_1280x800_scrot 2015-09-25-071801_1280x800_scrot

 

SAGA — Есть геоинформационные системы как комнаты: в них живут, отдыхают, учатся, работают. А SAGA — это скорее кладовка с инструментами. Но, от этого она нисколько не теряет своей ценности, скорее наоборот. В текущей сборке GeoLive все работает и отображается без нареканий. Как раз то что доктор прописал.

2015-09-25-071819_1280x800_scrot 2015-09-25-072113_1280x800_scrot 2015-09-25-072118_1280x800_scrot

 

uDig — Да, запускается. Да работает. Программа как наклейка на бензобак. В работе не помогает, но и помех не создает. Раз в пол-года можно открыть в ней какой-нибудь шейп для развлечения. Или покопаться в коде для своих нужд.

2015-09-25-073825_1280x800_scrot 2015-09-25-074352_1280x800_scrot

 

Навигация и карты

JOSM — Версия 8159 (актуальная версия сейчас 8677). Запускается без замечаний, но толку от нее в отсутствии интернет-подключения почти никакого (хоть бы встроили плагин open-data в ядро, что-ли).  В сборке OSGeo Live 8.5 JOSM поставлялся в безнадежно устаревшей версии. Для его обновления требовалось скачать JAVA WebStart и в безлунную ночь на кладбище бить в бубен тому кто это все разрабатывал. В итоге вместо обновления старого джосма, у вас устанавливался второй новый. Посмотрим как будет теперь.

2015-09-25-080151_1280x800_scrot

 

Merkaartor — Запускается без замечаний и точно так-же закрывается. Последний раз в этой программе я что-то делал когда динозавры были еще маленькие. С тех пор особого желания бросать JOSM+ID у меня так и не возникло. Хотя, кто знает, может тем самым я бы принес картам OSM больше пользы.

2015-09-25-080558_1280x800_scrot

 

GpsDrive — Описание из хелпа: «Это автомобильная (велосипедная, водная, воздушная, пешеходная) навигационная система. GpsDrive отображает ваше местоположение, полученное из GPS, на масштабируемой карте. Файл карты выбирается автоматически в зависимости от вашего расположения и указанного масштаба. Все GPS-приёмники, по идее, должны быть совместимы, поскольку обычно USB-GPS используют бинарный протокол, доступный для gpsd — GPS-сервиса и мультиплексора». За точность справки не ручаюсь, но программа быстро запускается и оставляет хорошее впечатление.

2015-09-25-081015_1280x800_scrot 2015-09-25-081154_1280x800_scrot

 

GpsPrune — Просмотр, правка и конвертация GPS-треков. Из приятного присутствует возможность синхронизации треков с фотоснимками и аудозаписями и трехмерная визуализация данных. В качестве подложки программа использует openstreetmap.

2015-09-25-081421_1280x800_scrot

 

Marble — Виртуальный глобус с небольшим набором карт. Может быть полезен в школе на уроках географии или тем у кого есть дети. Помимо земного, повращать можно и лунный глобус. Лет пятнадцать-двадцать назад я бы писался от восторга глядя на это, а сейчас ничего, спокойно воспринимаю. Либо старею, либо зажрался.

2015-09-25-082132_1280x800_scrot 2015-09-25-082235_1280x800_scrot 2015-09-25-082426_1280x800_scrot

 

OpenCPN — Картографическая навигационная система для морской навигации на судах всех типов и размеров, а также для планирования маршрутов. OpenCPN предоставляет пользователю информацию о текущем местоположении судна, его скорости и курсе, совмещённую с точными навигационными картами и прогнозными схемами приливов и течений. Информация, полученная по стандартным радиолиниям — положение судна и курсы других судов — также может быть отображена.

2015-09-25-082812_1280x800_scrot

Так как принимающее информацию судно движется, новые карты выбираются и отображаются пользователем в заданном разрешении и детальности. Кроме того, пользователь может самостоятельно вводить маршруты и путевые точки, позволяя использовать внешний автопилот для точного следования по курсу.

Отдельно понравилась русская локализация и дефолтный маршрут «туточки-тамочки». К сожалению, из-за травмы в этом году я не смог отправиться в Аксайскую картографическую экспедицию, но теперь я смотрю на это с большим позитивом: в следующем году будет шанс испытать программу в полевых условиях.

zyGrib — Великолепная программа, позволяющая получать данные по прогнозу погоды и визуализировать их на свой вкус. Есть русская локализация, экспорт анимации в гиф, да что я рассказываю — если вы активно путешествуете, то обязательно установите ее себе.

2015-09-25-084055_1280x800_scrot

 

viking — Небольшая программа для работы с gps-данными. Я ее не использовал, но впечатление от знакомства с ней положительное.

2015-09-25-084813_1280x800_scrot

 

Инструменты для работы с геоданными

GeoKettle — Свободный аналог программы FME.  Такая хреновина над которой надо месяц сидеть не отходя от компьютера дальше чем на пару метров. А потом еще месяц. А потом еще полтора. Но оно того стоит. Программа решает ваши проблемы извлечения и «умной» трансформации данных. Я не готов судить, насколько хороша она в сравнении с FME, но вникнуть в нее наверняка стоит.

2015-09-25-085138_1280x800_scrot 2015-09-25-090013_1280x800_scrot

 

ImageLinker — Инструмент для работы с данными дистанционного зондирования. К сожалению, в хелпе о нем ни слова. Программа достаточно простая, по крайней мере для класса программ исполняющих алгоритм атмосферной коррекции изображений.

2015-09-25-090527_1280x800_scrot

 

IPython Notebook — «Интерактивная оболочка для языка программирования Python, которая предоставляет расширенную интроспекцию, дополнительный командный синтаксис, а также подсветку и автоматическое дополнение кода.» — дальнейшее описание можно прочесть на хабре. У меня все-равно эта программа ничего путного не сделал, если не считать новой вкладки в браузере.

Mapnik — Набор инструментов для рендеринга карт. Если все сделать согласно хелпу, получится вот такая простенькая карта:

2015-09-25-091929_1280x800_scrot

 

MapSlicer — «Нарезатель карт». Запускаете программу, выбираете картографический движок, изображение, проекцию и всякую иную требуху и получаете на выходе растр нарезанный на тайлы и прикрученный к движку гугла или OpenLayers. Для использования гугловского движка потребуется некоторое знание API Google. Если вам необходимо опубликовать растровую карту в сети используя самый простой и открытый способ — используйте MapSlicer.

2015-09-25-092241_1280x800_scrot 2015-09-25-092438_1280x800_scrot

Слайсер

 

Montheverdi2 — В прошлой сборке эта программа шла отдельно от библиотеки OTB и только знающий в извращениях толк человек мог заставить это безумие приносить пользу. Теперь же все стало на свои места. OTB интегрирована в Монтеверди, в результате чего образовался прекрасный продукт для обработки растров. Принцип работы в Монтеверди похож на работу в SAGA: набор скриптов и минимально необходимый интерфейс. Все просто и прекрасно. Осталось только добавить локализацию.

2015-09-25-102744_1280x800_scrot

 

OSSIM-geocell — Работать с этой программой надо так: 1. кликаете по ярлыку. 2. переходите к другим делам, поскольку после клика все-равно ничего не произойдет.

R — Библиотека для статистического анализа. Работа осуществляется через командную строку.

2015-09-25-104739_1280x800_scrot

 

TileMill — Известная программа от MapBox для визуализации геоданных с помощью CartoCSS. Работает без нареканий, разве что очень долго запускается, но у TileMill это стандартная проблема.
2015-09-25-110134_1280x800_scrot

 

Веб-сервисы

52°North SOS — Сервис сенсорного наблюдения. Предназначен для чтения оперативных и архивных данных с локальных и удаленных сенсоров. Сенсором может выступать камера на спутнике или измеритель уровня воды в реке. Реализует стандарны SOS 1.0.0 и 2.0.0. Клиентское приложение для браузера предоставляет тестовые XML-запросы для всех поддерживаемых операций.

Довольно специфический сервис. Судить о его качестве не берусь, но для доступа к нему необходим логин и пароль, который в файле «password.txt» отсутствует.

 

52°North WPS — пакет, экспортирующий в веб алгоритмы обработки пространственной информации, которые предоставляет Sextante, ArcGIS Server, R, GRASS 7 или пользовательские функции. Алгоритмы могут быть простыми, как, например, подсчёт разницы заболеваемости гриппом для разных сезонов, так и сложными, как, например, глобальная модель изменения климата.

2015-09-25-112852_1280x800_scrot 2015-09-25-112950_1280x800_scrot

 

deegree — Cтандартизованный набор веб-сервисов для веб-картографии, объектовых и каталоговых сервисов, а также сервисов для работы с сенсорами и процессами. Впрочем, все это разнообразие все-равно отказывается запускаться.

GeoNetwork — Каталог метаданных с мощными функциями поиска, редактирования и просмотра данных. Ах да, совсем забыл уточнить — он не запускается.

GeoServer — Сервис обработки геоданных для последующей выдачи клиенту. После запуска появляется прогресс-бар, по истечении которого браузер выдает 404 ошибку. Кстати, такую-же ошибку выдает и ссылка с официального хелпа.

MapProxy — Сервис ускоряет картографические приложения с помощью предварительной отрисовки, объединяет карты из различных источников и сохраняет их в локальном кэше. Слоям карты может быть задана прозрачность, а их проекции могут быть изменены. Несколько слоёв могут быть объединены в один.

2015-09-25-120435_1280x800_scrot 2015-09-25-120039_1280x800_scrot

 

ncWMS — Прекрасное приложение. После запуска на мониторе не дрогнул ни один пикель. Видимо не спроста в хелпе про него нет ни строчки. Хотя постойте, есть. Только никто на эту страницу не ссылается, так-что если я ее и нашел, то только благодаря активному гуглению. Определенно, адский треш твориться в мастерской по конструированию хелпа для OSGeo Live.

EOxServer — Это фреймворк на языке Python для отображения ДДЗ Earth Observation (EO) и их метаданных.

2015-09-25-122022_1280x800_scrot 2015-09-25-122135_1280x800_scrot 2015-09-25-122920_1280x800_scrot

 

MapServer — Написанная на языке программирования C система рендеринга географических данных, которая позволяет создавать растровые карты, ссылающиеся на веб-контент.

2015-09-25-123334_1280x800_scrot

 

pycsw — Сервис для публикации метаданных в XML-формате.

2015-09-25-124350_1280x800_scrot

 

QGIS Mapserver — Сервис, выдающий WMS-слой на базе библиотек QGIS. Мне не доводилось работать с ним плотно, но сколько я не развлекался в его изучении, ничего полезного для себя не извлек. Хелп начинается с того, что вы должны запустить сервис и увидеть контуры материков. После запуска я всегда вижу только одну и ту-же хрень:

2015-09-25-130146_1280x800_scrot

 

ZOO-Project — Приложение предоставляющее веб-доступ к различным алгоритмам геообработки.

2015-09-25-131306_1280x800_scrot

 

Самые лучшие приложения.

С этими приложениями никогда не возникает проблем. Нет приложений — нет проблем.

pgRouting — Роутинг для PostGIS. Есть в хелпе, но в дистрибутиве отсутствует.

Geopublisher — Геокаталог. Есть в хелпе, но в дистрибутиве отсутствует.

AtlasStyler — Редактор стилей. Аналогично. Есть только в туториале. Впрочем, я скачал и установил два последних пакета отдельно. Мое мнение — полная хрень.

osgEarth — 3D-рендеринг рельефа. Выглядит очень интригующе. Но вместо обещанного глобуса, после команды в терминале вылезает кукиш с маслом

MB-System — Картографирование морского дна. На диске не установлен, о чем честно написано в тутоиале.

 

Итого

Невзирая на хронические траблы, OSGeo Live ощутимо развивается вместе со всем миром опенсорса. Текущий релиз, несмотря на множество негативных моментов оставляет гораздо более приятное впечатление чем версия 8.5.

По прежнему в ужасном состоянии находится справка-хелп-туториал. Совершенно обычным является, когда выполнение алгоритма шаг за шагом не приводит ни к какому результату, либо к результату неожиданному.

Чрезвычайно мало внимания уделяется пакетам, прямо не связанным с картографией, однако, имеющих для пользователя важное значение, таких как графические редакторы и офисные программы. С одной стороны это объяснимо экономией места, с другой стороны некоторое развитие в этом направлении могло бы сделать систему более дружелюбной. Да в рот вам компот, хоть Wine-то поставьте по умолчанию, он весит копейки. Нашлось же место для этого бесконечного количества игр.

Набор дефолных программ прекрасный. Но первое, что я сделаю после апгрейда, это установлю:

  • Wine
  • Gimp
  • Inkspace
  • Blender
  • FreeCAD
  • Scribus
  • Calibre
  • Мелкую домашнюю утварь вроде файлового менеджера

Кроме того, хотелось бы видеть большее количество библиотек для визуализации данных.

А вообще, мне девятая версия понравилась. Рекомендую ставить ее, хотя бы, как вторую операционную систему. На сегодняшний день это наиболее универсальный инструмент для картографа.

Хутор Краснощеков

Где в Ростовской области искать хутор Краснощеков? Нет, ну что за вопрос, скажете вы, вбиваем в поисковик запрос и видим: «Хутор Краснощеков — Кашарский район, почтовый индекс: 346204». Даже обе улицы подписаны: Полячкова и Холодная. Все? разгадали загадку?

А вот херасдва. Открываем «Подробную карту земли Войска Донского«, составленную под начальством Генерального Штаба под руководством генерал-майора И. Богдановича в 1833 году и видим, что этот самый хутор Краснощеков расположен был на территории города Шахты, в нескольких километрах южнее Власовки.

Странно, но нигде ранее мне описание этого хутора не встречалось, хотя сам Краснощеков был в свое время мужик известный: безбашенный генерал-майор, приключавшийся на трех войнах. В честь него, кстати названы хутора Большая и Малая Федоровка, возле которых, волею судеб я добывал однажды камень-пластушку.

Да это-ж, блядь, открытие! Воскликнете вы, мои вдумчивые и интеллигентные читатели. Ясен хуй — отвечу я вам. Но мне это открытие пока до пизды, в силу альтернативной направленности научных интересов и, прежде всего, отсутствия должных археолого-этнографических знаний. Впрочем, если таковые имеются у вас, можете изучать карту сколько хотите, я сконстролил ее на яндексовском картографическом движке специально для вас. Уверен, что по этой карте можно сделать еще не одно охуенное открытие.

Ну а если вы совсем тру-хард-профессионал,  то пишите мне в комменты или в контакты — подложим под этот раритет современную карту или спутниковый снимок. Сможете даже координаты старых хуторов в gps-ку себе забить.


Субъективное понятие вида в ботанике

Ботаника и её дочерние науки опираются на понятие «вида», неоднозначно понимаемое разными авторами. Обычные подходы к объяснению термина «вид» (далее просто «подход») состоят в дополнении фразы: «вид – группа особей, обладающих таким-то свойством» (вспомните классическое: «вид – группа особей, свободно скрещивающихся и дающих плодовитое потомство»).
Поскольку особь – понятие объективное, не зависящее от наблюдателя – субъекта, вид («группа особей») тоже считается объективным понятием.

Что мы с вами, современные и образованные люди можем сказать по этому поводу? Только то, что данный подход, лишенный формализованных принципов выбора критериев различий видов и стремящийся к дискретным единицам есть в своей сути кромешный пиздец и хуйня собачья.

Иной подход (назовем его субъективным) основан на том, что хоть особь и является объективным понятием, вид (группа особей) – понятие исключительно субъективное. Во-первых, группировка производится субъектом и производится произвольно. Во-вторых, вид (группа особей, синоним «множество особей») содержит элементы, не существующие в действительности. Такими элементами являются, например, теоретические особи, изображения особей на рисунках и фотографиях, описания строения и внешнего вида особей.

Исходя из субъективного подхода, определение вида можно сформулировать как «Вид – абстрактный образ особи, входящей в группу особей с определенными свойствами», или более строго: «Вид – абстрактный образ элемента подмножества n-го порядка организмов, образованного делением подмножества организмов n-1-го (предыдущего) порядка на группы на основании наличия произвольно выбранного общего свойства».

Так давайте же не будем тянуть Линнея за яйца, а просто выпьем за скорейший приход прогрессивных идей в ботаническую науку.

Метод Бенфорда в оценке достоверности данных

Метод Бенфорда в оценке достоверности данных

Друзья мои! Вы несомненно знаете больше меня о последних мировых новостях и потому разобщены и тревожны. Но сегодня, у вас будет повод отвлечься. В этот день мы все объединены единым горем утраты. Утрачена флешка, на которой я хранил для вас статью о диссипативной динамике живого напочвенного покрова. Вместе с ней пропало содержимое подарочной бутылки коньяка, мой рукописный реферат на тему «Сатанизм-как социальное явление» и весь тираж осеннего номера «Лабораторного Журнала», отпечатанный в объеме двух с половиной экземпляров. Воистину, в этот день можно посыпать голову пеплом, ибо об этот реферат я в свое время исписал четыре ручки и мне он чертовски дорог, как память о студенческих годах.

Дабы загладить боль утраты, я предлагаю вам статью из пропавшего «Лабораторного Журнала» (а где вы ее теперь прочитаете?), описывающую сущность, принципы применимости и алгоритм метода Бенфорда на примере анализа данных о площадях ООПТ России и площадях, охваченных лесными пожарами в 2009-2013 годах. Сам же я отправляюсь в келью, где буду страдать вплоть до открытия магазина.

Итак, речь пойдет об одном из статистических методах фрактального анализа — оценке бенфорд-последовательности данных. Метод довольно грубый, но в то же время чрезвычайно простой и красивый. С его помощью вы сможете проверить истинность данных, подчиненных экспоненциальному распределению.

Свое название бенфорд-последовательность получила в честь Фрэнка Бенфорда Альберта-младшего — американского инженера-электрика, физика и оптика, жившего в штатах в первой половине XX века. Однако, сам «Закон Бенфорда», он же «закон первой цифры» впервые описан за три года до его рождения американским астрономом, математиком и экономистом Саймоном Ньюкомбом. Работая в 1881 году с логарифмическими таблицами в книгах, он обнаружил, что сильнее всего истрепаны страницы на которых содержаться логарифмы чисел, начинающиеся с единицы. На первый взгляд, вероятность оказаться на первом месте в числе одинакова для всех цифр и составляет 1/9. Однако, чем выше по значению было число, состоящее из первой цифры логарифма, тем в большей сохранности находились страницы. Все это наводило на подозрение о неравномерной встречаемости первых цифр в числах.

Спустя пол-века за эту проблему взялся Фрэнк Бенфорд. Он рассчитал вероятности встречаемости цифр на первом месте в числе для различных данных. Бенфорд использовал площади бассейна 335 рек, удельную теплоемкость материалов, население городов, молекулярную массу химических соединений, номера домов и другие данные. Во всех случаях наблюдалась единая закономерность — чисел, начинающихся на единицу было примерно в шесть раз больше, чем чисел, начинающихся на девятку.  Собранная статистика позволила вывести формулу распределения вероятности появления первой цифры в числе:

P(d) = logb(d+1)-logb(d) = logb(1+1/d)

где:
b — основание системы счисления, в нашем случае b = 10;
d — первая цифра в числе;

На основе этой формулы была построена бенфорд-последовательность — последовательность вероятности появления различных цифр на первом месте числа. Рассчитанная по формуле, эта последовательность выглядит следующим образом: 30.1, 17.6, 12.5, 9.7, 7.9, 6.7, 5.8, 5.1, 4.6. Вероятность того, что на первом месте в числе окажется единица составляет 30.1%, двойка — 17,6% и так далее до девятки (4.6%).

Долгое время, эта интересная закономерность не находила никакого применения. Однако после 1997 года на нее обратили внимание и стали все активнее использовать для проверки фальсификации данных, например результатов голосования (в том числе и в России). В 1997 году М. Нигрини и Л. Миттермайер в издании «Аудит: Журнал теории и практики» опубликовали шесть разработанных математических тестов, основанных на законе Бенфорда. Тесты были успешно введены в практику аудиторской компанией «Эрнст и Янг» и позволили выявить несоответствие между реальными и заявленными данными клиентов.

Необходимо учитывать, что метод Бенфорда применим не ко всем данным. Он выдает значительные погрешности при работе с выборками для которых заданы максимальные или минимальные значения, с выборками, охватывающими только один или два порядка величин и с малыми по объему выборками.

При решении вопроса применимости метода Бенфорда обычно рекомендуют исходить из «естественности» данных (если данные получены в ходе естественного течения событий, то к ним применим метод Бенфорда). Этот критерий верен, но довольно сложен для использования. В ходе работ с бенфорд-последовательностями я пришел к выводу, что метод бенфорда работает только с данными, топологическое множество которых самоподобно, а элементы могут принимать произвольные значения.

Для проверки применимости метода необходимо аппроксимировать их показательной функцией (чаще всего используется экспонента) и убедиться, что коэффициент аппроксимации составляет 0,9 и выше. Если при этом отсутствуют правила, детерминантно определяющие значение того или иного числа, то метод бенфорда к вашим данным применим.

Алгоритм применения бенфорд-метода в программах LibreOfficeCalc и MS Excel 

1. Исходные данные

Со страницы сайта oopt.aari.ru, разработанного ФГБУ «ААНИИ» и Лабораторией геоинформационных технологий взят перечень особо охраняемых природных территорий России. Список насчитывает 8013 ООПТ, из которых 4410 войдут в нашу обработку. Это действующие или реорганизованные ООПТ, для которых есть данные по площади.

Данные по площади лесных пожаров взяты с сайта федерального агентства лесного хозяйства. Выборка охватывает данные по всем регионам России с первого квартала 2009 года по второй квартал 2013 года. Всего за этот период было охвачено лесным пожаром 949 территорий различной площади.

2. Проверка на распределение

Нам необходимо убедиться, что данные подчиняются экспоненциальному распределению. Сортируем данные по площади и аппроксимируем их экспонентой.

Lj2-24

На рисунках изображены площади ООПТ (верхний рисунок) и площади пожаров (нижний рисунок), отсортированные по значению. Ось ординат показывает площадь в гектарах.   Чем больше площадь особо охраняемой природной территории, тем меньше таких ООПТ в стране. Равно как и значительные площади подвергаются пожарам гораздо реже небольших участков.  Коэффициент аппроксимации обоих наборов данных экспонентой (синяя линия) составил 0,98.

3. Избавление от нулей

Отличительной особенностью фрактальных множеств, к которым относятся и наши данные является их масштабная инвариантность. Распределение не зависит от единиц в которых выражены величины. Будь наши данные выражены в километрах, миллиметрах или ангстремах, мы всегда будем наблюдать одинаковые закономерности.  Масштабная инвариантность позволяет нам избавиться от значений менее единицы простым умножением на 100 (в каждом конкретном случае может быть различный порядок, в зависимости от наименьшего числа в выборке. В нашем случае таким числом было 0,01). Сделать это необходимо, поскольку формула Бенфорда использует логарифмы, а потому не работает с нулевыми числами.

4. Отделение первой цифры и расчет

Методом LEFT() в LibreOfficeCalc или ЛЕВСИМВ() в Excel отделяем первую цифру из каждого числа. Получившийся столбец с первыми цифрами чисел сортируем и подсчитываем количество единиц, двоек, троек и т.д. до девяток. Вероятность встречи каждой цифры рассчитываем как отношение количества чисел, начинающихся с данной цифры к общему количеству чисел. Например, если в выборке по пожарам было 273 числа, начинающихся на единицу, а общий объем выборки 949, то вероятность того, что первой цифрой в числе будет единица составит 100%*273/949=28,8%.   В итоге у вас получится аналог вот таких таблиц (верхняя таблица — данные по площади ООПТ, нижняя таблица — данные по площади пожаров):

Lj2-25

По ним же, для большей наглядности можно построить соответствующие графики сравнения фактической и расчетной бенфорд-последовательности (вверху для площади ООПТ, внизу для площади лесных пожаров):

Lj2-252

Стобцы на графиках соответствуют фактической бенфорд-последовательности, красная линия соответствует теоретической последовательности, рассчитанной по формуле Бенфорда.

Приведенные графики свидетельствуют, что данные по площадям ООПТ России и данные по площади пожаров за 2009-2013 г. достоверны. Наибольшие ошибки приходятся на крайние значения, что связано со сложностью определения массовых (ошибки по единице) и крупных (ошибки по девятке) объектов в натуре, а также с меньшим объемом статистических данных (ошибки по девятке).

В случае, если бы анализируемые нами выборки были сфальцифицированы рандомным методом, то есть, вместо реальных значений были указаны случайные числа, фактическая и расчетная бенфорд-последовательности различались бы радикально.

P.S. Да, я знаю, что качество приведенных картинок отвратительно. Но поверьте, вы встретились с ними в странный момент их жизни.

Визуализация геоданных

Друзья мои, вот, по особым просьбам публикую программу учебного курса «Визуализация геоданных». Курс рассчитан на три полных дня по восемь часов, либо на шесть дней по три часа.

Стоимость курса 10 000 рублей. Занятия будем проводить в удобное для вас время и в удобном месте. Если нет возможности встретиться лично, возможно дистанционное общение посредством скайпа.

Звоните по номеру +7-904-614-68-29, либо пишите на электропочту cafco@mail.ru. Можете и в комментарии к этому посту. На этом у меня все, жду вашего отклика.

P.S. Ладно, не кипишуйте. Вот сама программа курса:

Редактирование и оформление данных
Понятие геоданных и геоинформационных систем
Визуализация в геоинформатике. Программы и библиотеки
Классификация форматов геоданных
Интерфейс QGIS
Настройка свойств растрового изображения
Создание векторных данных и настройка их свойств. Редактирование легенды
Редактирование векторных данных. Внесение атрибутивных данных
Импорт, экспорт и редактирование атрибутивных данных
Визуализация атрибутивных данных в QGIS

Постобработка изображений
Настройка макета и вывод карты на печать
Интерфейс программы GIMP
Работа со слоями и редактирование изображений
Интерфейс и настройка Blender
Создание простых моделей в Blender
Интерфейс программы Scribus
Технологические особенности интерьерной и широкоформатной печати карт

Отображение геоданных в браузере
Основы HTML и CSS
Понятие тайлов. Веб-сервисы для публикации больших растровых данных
Использование библиотек OpenLayers 3 и Leaflet
Визуализация трехмерных данных в QGis
Экспорт данных из Blender
Компоновка и настройка отображения данных

Формат FRNP: назначение и спецификация

Друзья мои, однажды, когда я работал редактором в одном научном журнале, мне довелось описывать историю создания программы для обработки геоботанических данных. Чуть позже, эта статья в популяризированном виде была выложена на Хабр и, вполне может быть, присутствует там до сих пор.

Хочу читать статью тут

Софт, формат, стандарт и немного занудства — опыт разработки программы для обработки геоботанических данных

В студенческие годы я пошел по наклонной и стал ботаником. Да-да, самым настоящим, который рвет «траву и лишаи», а после сидит с тяжеленными определителями. И хоть это не стало основным видом моей деятельности, но все-таки часть ботанической (точнее геоботанической) работы мне досталось. Под катом — взгляд на работу геоботаника с позиции айтишника, выраженный через опыт разработки костыльного софта. Обращаю ваше внимание, что слова «работа геоботаника» и «взгляд айтишника» расположенные в одном предложении означают, что дальнейший текст противопоказан беременным, несовершеннолетним, а также людям с неустойчивой психикой и сердечно-сосудистыми заболеваниями.

 

«Кто такой Тайлер Дёрден?»

Меня часто спрашивают, знаю ли я Тайлера Дёрдена кто такие геоботаники? Отвечаю: геоботаники — специалисты по растительным сообществам. В отличии от, например, систематиков, которые путешествуют из одной пыльной гербарной в другую, геоботаники свой материал собирают исключительно в поле, составляя геоботанические описания — специальные таблицы, в которых указано какие растения и в каких объемах произрастают на площади. По этим таблицам в дальнейшем можно определить показатели плодородия и влажности почвы, антропогенную нарушенность, кормовую ценность участка и много других интересных вещей. И, как вы понимаете, это определение ведется так же как и в эпоху, «когда динозавры были маленькие» — с бумажным бланком и миллиметровкой. Самые продвинутые используют Excel.

 

 

«А теперь, Горбатый!»

Перефразирую Жеглова: «Геоботаник, который вносит данные из бумажного бланка в Excel, зря получает рабочую карточку». И дело тут вовсе не в экселе. К этой программе претензий нет — вещь замечательная, к тому же тотально перекраденная, с доступной portable-версией. И даже то, что формат xls не ГОСТовский, не только не беспокоит, но даже неизвестно основной массе специалистов. Основная проблема перевода с бумажных бланков в табличные редакторы состоит в бесполезности этой работы. Чем плохи экселевские таблицы? Вот вам аналогия с книгами: лет пять назад я начал активно собирать коллекцию из отсканированных pdf и djvu версий книг. За годы коллекция разрослась до сотен гигабайт, и пожалуй единственного чего в ней нет это пользы. После определенного момента, я полностью перестал пользоваться этими книгами, поскольку времени на поиск информации в моей библиотеке уходило больше чем на поиск такой информации в интернете. Форматы электронных книг хороши для художественных романов на ридерах, но для хранения технической литературы подходит только сеть и никак иначе. От того, что «Флора СССР» отсканирована, она не станет более востребованной чем ботанические разделы Википедии.

То же самое с геоботаническими описаниями. Работая по проекту восстановленной циркумбореальной растительности я собрал небольшой электронный фитоценарий (коллекция геоботанических описаний) — в несколько сотен описаний, в наивной попытке обработать его. Тут требуется отметить, что описания в фитоценарии были сделаны в разных природных зонах, разными авторами, в разное время, разными методами. Такие описания принципиально невозможно стандартизировать и сравнивать, если конечно речь не идет о грубом качественном сравнении («тамо были лишаи, а тамо мохи и евоные ягоды»). Даже работа, по формированию единой базы данных на основе этих описаний мучительна и уже потому неправильна.

 

«Надо понимать всю глубину наших глубин!»

Да, я опять нудю (или нужу?) об отсутствии стандартов и нелепости современной геоботаники. Это Леонтий Раменский мог позволить себе собрать десятки тысяч описаний и вручную их обработать. Сегодня это невозможно — никому не нужны такие работы, даже при том, что реально увеличить производительность за счет технических средств. Поэтому, если мы хотим работать с крупными фитоценариями, необходимо объединять наработки каждого в единую базу. Но для этого следует хотя-бы оформлять описания по единым стандартам, а не как придется. Да, я конечно понимаю, что «научная» полевая работа — это сегодня очень часто не более чем оплачиваемые турпоездки. Потому и не ставится вопрос об единых стандартах и методах. Потому и не поднимается вопрос о целесообразности публикаций описаний в журнале «Растительность России» (за публикацию таблиц описаний в БУМАЖНОМ журнале уже давно пора давать орден «почетный старпер»). Однако же, на дворе 21 век, а геоботаники продолжают заполнять бумажные бланки собственного изобретения.

 

«Это вам не это!»

Первую попытку оптимизировать работу с «сырыми» описаниями я предпринял три года назад в рамках работ над программой PhytoSoft (разработка велась в Borland C++ Builder 6). На тот момент, стояла задача облегчить и ускорить ввод данных с полевого бланка, для последующего анализа по экологическим шкалам Л.Г. Раменского (помните, я выше говорил о том, что с помощью геоботанических описаний можно определять плодородие и влажность почвы? Это, как раз и есть «метод экологических шкал»). Программу удалось довести до работоспособного состояния, но при крайне низком бюджете, она так и осталась на этапе альфа-тестирования и позже была выложена в открытый доступ со всеми своими тараканами.

Сейчас я понимаю, что концепция «Фитософта» содержала в себе несколько ужасных стратегических ошибок. И дело даже не в том, что код — говно и руки растут из того же места, что и ноги. Сама идея того, что следует упростить ввод описаний с бланка в корне неверна. Во время показа первой успешно скомпилированной версии, я регулярно слышал вопрос, о возможности импорта в Фитософт описаний из Excel. Несомненно, я при разработке предусмотрел такую возможность, но технология импорта была уродской и я всегда старался замолчать этот вопрос, хотя он был и остается одним из главных. Даже если сейчас, появится чудо-программа для геоботаников, что делать с теми описаниями, которые уже введены в табличные редакторы? Выше я сказал, что привести описания разных авторов к единому шаблону практически невозможно, соответственно, у каждого описания будет либо собственная структура, либо общая структура будет сверх-сложной и всегда найдется описание, которое в эту структуру не встраивается. Требовался принципиально иной подход к организации данных в описаниях, чем те к которым мы привыкли (строчки-колонки).

Формат *.gbo который использован в Фитософте под эту задачу никак не подходил. Я не оформил должным образом спецификацию на него, но самое главное, что он тоже представлял собой те самые «строчки-колонки». Проще говоря, «*.gbo» — это большущая таблица, высотой в тысячу строк, шириной в несколько сот колонок. Каждое описание в таблице занимает одну строку. Описание разбито на логические элементы, которые размещаются в разных ячейчах. Например, в пятой ячейке первой строки указан автор первого описания, в шестой ячейке первой строки указана дата первого описания и т.д., в пятой ячейке второй строки указан автор второго описания, в шестой ячейке второй строки указана дата второго описания и т.д… Логика формата очень проста, но для импорта внешних файлов, последние приходилось мучительно переделывать (представьте: вашу сводную таблицу описаний необходимо перестроить таким образом, что-бы с 50 по 100 колонку шли названия видов, а с 101 по 151 их проективные покрытия). Эта проблема возникла от того, что вместо разработки программы под формат шла разработка формата под программу.

 

«Это не кадка, а настоящее японское фураке!»

Может быть я изобрел велосипед, но зато на собственной шкуре понял, что программное обеспечение и формат файла это никак не связанные (в плане разработки) вещи. Изначально следует разрабатывать формат файла, причем делать это независимо от того, когда и кем под этот формат будет написано программное обеспечение. После этого уже имеет смысл писать программу. При этом, придется решать многие задачи, которые не возникли бы при создании формата «под себя», но с другой стороны, риски того что формат будет обладать критическими недостатками снижаются.

Вот конкретный пример. Если вы изначально разрабатываете формат, как отдельный проект, то наверняка учтете, что он должен быть приспособлен для импорта в ГИС. После этого, начав разработку, вы будете вынуждены решать проблему с ГИС-совместимостью, даже если геоинформационными системами в вашей программе и не пахнет. Зато от этого формата не откажутся, что неизбежно произошло бы, когда выяснилось, что формат бесполезен для ArcGIS, QGIS или другой программы.

Формат файла должен быть максимально удобным для конвертации в другие и из других форматов.

Разрабатывая Фитософт в рамках идеи упрощения оцифровки бумажных бланков я ошибался. Бумажных бланков не должно быть вообще, полевые данные сразу должны быть готовы к обработке. Но, поскольку любой тупиковый путь рано или поздно заканчивается, примененная концепция довольно быстро изжила себя, породив новую проблему. С одной стороны, стало ясно, что геоботаник должен вводить данные в программу сразу после их получения в поле. С другой стороны, это означает, что он не будет пользоваться ни компьютером, ни ноутбуком. Планшеты? Но их цена столь же аморальна, как и срок заряда батареи. А самое главное, я вспомнил, в каком состоянии возвращаются полевые бланки — намокшие, с пятнами крови от раздавленных комаров. И со стороны пользователя я бы не хотел, что-бы моя (и не только моя) привычка не задумываясь бросать планшетку (которая скрепляет бумажные бланки) рядом с собой погубила однажды электронику. Планшет не подходил. Оставался смартфон. С точки зрения пользования это идеальный вариант — стоят они гораздо меньше, берут их с собой в любую погоду и вероятность повредить их гораздо меньше. Но в то же время это значит, что весь код, связанный с интерфейсом Фитософта можно удалять. Для полевых условий требуется что-то принципиально иное чем множество окон выбора.

 

«Айл би бэк»

Вопрос организации нового интерфейса долгое время казался тупиковым и в настоящее время нет еще полной ясности в некоторых деталях. По мере проработки формата, становится очевидно, что он должен быть максимально простым и компактным. Насколько я представляю, это должно быть нечто сходное командной строкой. Что же касаемо формата, то я считаю самым разумным отказаться от табличной организации данных в пользу HTML-подобного метаязыка. С одной стороны, это позволит легко восстанавливать табличные структуры описаний, с другой стороны, уже введенные в табличные редакторы описания гораздо проще приводить к стандарту, путем добавления соответствующих тегов.

Данный пост посвящен описанию HTML-подобного метаязыка для работы с геоботаническими данными. Поскольку вы такая ленивая жопа, что не стали читать приведенную статью и не уловили мой месседж, сообщаю: в нынешний технологический век, когда даже фаллоимитаторы имеют встроенный компьютер, работать в поле методами Александра Гумбольдта это, право, моветон или, переводя с французского, западло.

Когда геоботаники гордятся своей экселевской таблицей описаний, у меня глаз дергается. Потому что, любому контролеру в электричке известно, что информация делится на содержание и контекст. Данные и мета-данные это те же яйца, только в другой терминологический профиль. Информация имеет ценность только при наличии метаданных. Без них нет информации как таковой.

Что же делают геоботаники? Они берут бланк и переносят его в табличный редактор, в надежде, что чудо-компьютер предоставит им бесконечное количество инструментов для анализа. А когда выясняется, что таким образом никаких новых данных не получить, разводят руками, мол, фуфло все, эти ваши компьютеры: разве что миллиметровку экономят.

Когда геоботаническое описание написано на бланке, мы связываем данные с их контекстом по взаимному расположению записей. То же самое происходит, когда данные перенесены в таблицу экселя. Для того, что-бы машина работала с информацией, ей необходимо явно указать связь данных с их контекстом. Без этого невозможна даже примитивная выборка и сравнение данных, не говоря уже о более сложных вещах. Если не верите, то попробуйте решить следующую задачу:

«Из пяти множеств описаний отобрать те, для которых коэффициент Жаккара более 0,7 если в них присутствует группа таволги и коэффициент от 0,4 до 0,7, если в них доминируют луговые виды»

Представили себе объем работы? Ну, тогда хера ли мы с вами рассуждаем о всякой банальщине, ловите истинную суть этого поста:

=======================================================

Формат FRNP, версия 1 (Voikar)

Формат FRNP (format research nature page) предназначен для хранения и автоматизированной обработки данных о растительности, почвах и отобранных образцах, полученных в ходе полевых работ.

Синтаксис
В нотации Бэкуса-Наура:
Char ::= ‘A’|’B’| … |’Z’|’a’|’b’| … |’z’|’%’|’№’|’0’ | ‘1’ | ‘2’ | … | ‘9’|’_’|’+’
Note ::= ‘A’|’B’| … |’Z’|’a’|’b’| … |’z’|’%’|’0’ | ‘1’ | ‘2’ | … | ‘9’|’_’|»’|’,’|’.’|’%’|’№’|’@’|'(‘|’)’|’+’
Text ::= ‘»‘
Polychardelimited ::= ‘,’
Delimited ::= ‘:’
End ::= ‘;’
String_end ::= ‘$’
Name ::= {Char},Char
Data ::= {{Text,Note,Text}|{{Char},Polychardelimited,{Char},Polychardelimited},{Char}
Descriptor ::= {Name,Delimited,Data,End}String_end
Base ::= {Descriptor}

Семантика
Пробелы и символы переноса строки игнорируются.

Приставки и окончания:
total — общее (например общее проективное покрытие);
% — показатель измеряется в процентах;
1,2…10,… — показатель измеряется в долях от 1,2…10,…;
quality — качество;
№ — номер;
sp. — вид;
c — окружность;
sm — показатель измеряется в сантиметрах;
h — высота;
m — показатель измеряется в метрах;

Корни:
dendro — древесный ярус;
underdendro — подрост;
upgrass — подлесок;
grass — травы и кустарнички;
undergrass — мхи и лишайники;

Дескрипторы описания:
tags — ключевые слова (теги) описания;
time — дата в формате ГГГГММДД, например седьмое июля 2015 года: 20150807;
author — автор или авторы описания;
feedback — контакты для связи с автором;
license — лицензия распространения данных;
source — источник данных;

Дескрипторы местоположения
lat — широта;
long — долгота;
ele — высота над уровнем моря;
datum- система координат:
wgs84 — WGS-84;
pulkovo42 — СК-42;
unknown — Неизвестная система координат;
area — площадь описания в квадратных метрах;
note- примечание;

Дескрипторы описания древостоя:
totaldendrocover% — общая сомкнутость древостоя в процентах;
dendrocover% — повидовая сомкнутость древостоя в процентах;
dendroshare10 — состав древостоя в долях от десяти;
dendrocompleteness — абсолютная полнота древостоя в квадратных метрах;

Дескрипторы описания подроста:
totalunderdendrocover% — общая сомкнутость подроста в процентах;
underdendrocover% — повидовая сомкнутость подроста в процентах;
underdendroquality3 — состояние подроста в трех баллах (1-нормальный, 2-удовлетворительный, 3-угнетенный)

Дескрипторы описания подлеска:
totalupgrasscover% — общая сомкнутость подроста в процентах;
upgrasscover% — повидовая сомкнутость подлеска в процентах;

Дескрипторы описания травяно-кустарничкового яруса:
totalgrasscover% — общее проективное покрытие травяно-кустарничкового яруса в процентах;
grasscover% — повидовое покрытие травяно-кустарничкового яруса в процентах;

Дескрипторы описания мохово-лишайникового яруса:
totalundergrasscover% — общее проективное покрытие мохово-лишайникового яруса в процентах;
undergrasscover% — повидовое покрытие мохово-лишайникового яруса в процентах;

Дескрипторы описания почв:
soil(N) — номер почвенного горизонта верху вниз (soil0,soil1,soil2 и т.д.);
Шаблон значения дескриптора описания почв
m_colorsoil_density_composition_root_stone_coal
m — мощность горизонта;
colorsoil — цвет почвы по А.С. Захарову (например светло серый — «white-grey»)
composition — механический состав горизонта:
cl — глина;
hl — тяжелый суглинок;
ml — средний суглинок;
ll — легкий суглинок;
sl — супесь;
sd — песок;
density — плотность горизонта:
f — слитой;
t — плотный;
p — уплотненный;
c — рассыпчатый;
l — рыхлый;
root — наличие корней;
stone — наличие камней;
coal — присутствие углей;
peat — торф;

Дескрипторы описания отобранных образцов:
dendroextruder№_sp._csm_hm — отобранный образец дерева с указанием номера, вида, окружности и высоты дерева;

Пример описания:
tags:»betula»;
time:20150807;
lat:66.00287;
long:63.66359;
ele:58;
datum:wgs84;
note:
«Описание №102. Склон 3 градуса ЮВ экспозиции с кочками высотой 0,4 м»;
totaldendrocover%:40;
dendroshare10:
picea_obovata_4,
betula_aurata_6;
dendroextruder№_sp._csm_hm:
248_picea_obovata_71_13,
249_picea_obovata_71_14,
280_betula_aurata_53_13;
totalunderdendrocover%:5;
underdendro:
picea_obovata,
betula_aurata;
totalupgrasscover%:5;
upgrasscover%:
sorbus_sibirica_1,
duschekia_fruticosa_3,
rosa_accicularis_1;
totalgrasscover%:80;
grasscover%:
vaccinium_myrtillus_70,
ledum_palustre_7,
carex_globularis_1,
vaccinium_vitis-idaea_1,
licopodium_sp._3,
linnea_borealis_+;
totalundergrasscover%:40;
undergrasscover%:
pleurozium_schreberi_30,
ptilium_crista-castrensis_10,
politrichum_commune_5,
sphagnum_sp._+,
hylocomium_splendens_+;
soil0:
13_peat;
soil1:
6_white-grey_cube_l_sd_stone_;
soil2:
brown_cube_плотн_sd;
$

=======================================================

Да, я знаю, что описанная спецификация содержит косяк на косяке, но надо же хоть с чего то начинать. Кстати, если по Бэкусу-Науру есть специалисты, ткните меня пожалуйста носом в косяки оформления синтаксиса. Пока я вижу только то, что запись Data типа ___,____,_____ будет считаться допустимой. Это не очень хорошо, но приемлимо.

Учиться, учиться и учиться

В связи с благополучным завершением несостоявшегося в нынешнем году лета, позвольте пригласить всех любителей выгодных вложений на учебный курс «Геоинформационные системы и работа с геоданными».

Программа занятий такова:

Лицензирование программ и данных
Как устроены «карты» Google, Яндекс и OpenStreetMap?
Технологии изготовления карт в прошлом и настоящем. Топографо-геодезические работы. GNSS
Редактирование карт OpenStreetMap в браузере
Редактирование карт OpenStreetMap в JOSM. Простейшие измерения
Измерения, анализ и визуализация в геоинформатике. Программы и библиотеки
Классификация форматов геоданных
Проекции и системы координат. Классификация EPSG
Интерфейс QGIS
Привязка растров. Понятия трансформации и передискредитации растрового изображения
Настройка свойств растрового изображения
Характеристика, применение и источники получения данных дистанционного зондирования Земли
Создание векторных данных и настройка их свойств. Редактирование легенды
Редактирование векторных данных. Проверка топологии. Внесение атрибутивных данных
Импорт, экспорт и редактирование атрибутивных данных
Обработка и анализ векторных данных
Обработка и анализ растровых данных
Статистика по растру. Принципы ручного и автоматического дешифрирования
Наземная фотограмметрия. Модуль StereoSurveys
Настройка макета и вывод карты на печать
Постобработка карты в программах GIMP и Scribus
Технологические особенности интерьерной и широкоформатной печати карт
Основы HTML и CSS
Работа с библиотекой OpenLayers 3
Работа с библиотекой Leaflet
Создание цифровых моделей рельефа из различных источников
Принципы и особенности трехмерного моделирования. Работа с библиотекой three.js
Интерфейс и настройка Blender
Создание простых моделей в Blender
Работа с геоданными в Blender. Модуль визуализации Blend4Web
Каждое занятие длится от одного до трех часов. Стоимость часа составляет 300 рублей.

Время и место занятий определим по договоренности. Дистанционные занятия не приветствуются, но возможны. После окончания курса выдается свидетельство о пройденном обучении.

Звоните в любое время по номеру +7-904-614-68-29, либо пишите на cafco@mail.ru. Или пишите свои вопросы в комментарии. За спрос, как известно, денег не берут.
6ETnMq4oBIM

Учебные занятия по курсу «Геоинформационные системы и работа с геоданными»

Опубликован учебный план курса «Картографирование и анализ растительности средствами программ с открытым исходным кодом». При оплате до 20 января, стоимость обучения составляет 4 000 рублей.

Час 1. Установка и настройка Linux Ubuntu в Unyti Tweak Tool. Общие принципы работы в Linux Ubuntu
Час 2. Установка и удаление программ
Час 3. Обзор основных программ Linux, используемых при обработке, анализе и представлении данных
Час 4. Статистические расчеты в программах LibreOfficeCalc, GNUMERIC, SciDAVis
Час 5-6 (самостоятельная работа). Работа в программе LibreOffice Calc
Час 7-8 (самостоятельная работа). Работа в программе GNUMERIC
Час 9-10 (самостоятельная работа). Работа в программе SciDAVis
Час 11-12 (самостоятельная работа). Работа в программах LibreOffice
Час 13. Математическая картография. Введение в ГИС
Час 14. Создание и редактирование QGis — проекта
Час 15. Работа с картографическими данными
Час 16. Использование растровой графики
Час 17-24 (самостоятельная работа). Работа в программе
Quantum GIS
Час 25. Оценка проективного покрытия растений
Час 26. Измерение абсолютной полноты древостоя
Час 27. Экологическое шкалирование
Час 28. Фитоценологический анализ
Час 29-30 (самостоятельная работа). Инструметальная оценка проективного покрытия
Час 31-32 (самостоятельная работа). Анализ по экологическим шкалам Л.Г. Раменского
Час 33-36 (самостоятельная работа). Расчет фитоценотических показателей
Час 37. Понятие фракталов как физических и математических объектов
Час 38. Фрактальный анализ
Час 39. R/S — анализ данных
Час 40. Анализ Бенфорд-последовательностей
Час 41-48 (самостоятельная работа). Закрепление полученных навыков

 

 

Мы решили выделить отдельную программу, целиком посвященную геоинформационным системам и работе с геоданными.

Это будет исключительно практический курс, построенный на основе решения наиболее частых производственных задач в области обработки пространственных данных. Основным рабочим софтом будет QGis, однако мы коснемся и особенностей применения программ ArkGIS, Mapinfo, AutoCAD и др.

В ходе занятий мы будем работать с данными OSM, VMap, снимками LandSat, данными картографических веб-сервисов и производственными геоданными Лаборатории.

Занятия будут проходить с июня в нашей новой петербургской лаборатории на Васильевском острове. Обучение проходит малыми группами (3-5 человек) в неформальной обстановке (с чаем и печеньками).

Тем кто завершит курс, мы предлагаем сотрудничество в рамках выполнения научных и научно-практических работ (предлагаем работу по сбору, обработке и анализу геоданных).

Приглашаю всех на учебные занятия по курсу «Геоинформационные системы и работа с геоданными».

  • Лицензирование программ
  • Что такое ГИС и ДДЗ? Обзор программ
  • Проекции и системы координат
  • Привязка растров. Понятия трансформации и передискредитации растрового изображения
Спрос и предложение на услуги специалистов в области геоинформационных технологий

Спрос и предложение на услуги специалистов в области геоинформационных технологий

С младых ногтей мы впитываем, что работа — штука такая: стояла, стоит и стоять будет. Я с этой мудростью спорить не собираюсь, но в терапевтических целях свой анализ рынка труда ГИС-специалистов все-таки провел. На высокую науку не претендую, но раз уж удалось заиметь несколько интересных картинок, то почему бы вам их не показать? Но, для начала, интро:

Перечитаны все темы раздела «работка-подработа» на GIS-LABе с присущими комментариями. Каждая тема и комментарий, содержащие запрос либо предложение о работе, отнесены в одну из следующих категорий:

ГИС — запросы и предложения, связанные с привязкой, оцифровкой, преобразованием координат, картографическим дизайном, конвертацией форматов и прочими сходными операциями. Объединены в единую группу по отсутствию двух признаков: необходимости написания кода и использования данных дистанционного зондирования.

Программирование — запросы и предложения, связанные с разработкой модулей для ГИС, либо отдельных приложений. Язык не учитывался, но пока память свежа, могу сказать, что фигурировали прежде всего C++, Python, Java, JS и PHP. Работы по системному администрированию в данный раздел не включены.

ДДЗ — запросы и предложения, связанные с дешифрированием спутниковых и аэроснимков.

Веб-ГИС — запросы и предложения, связанные с разработкой интернет-карт. Категория близка к «Программированию», но отличается от последней преобладанием работ по настройке и верстке. Написание кода имеет место быть, но в меньшей степени, чем в категории «Программирование». Содержание ожидаемое: MapServer-GeoServer-SLD-OL-Leaflet-JS-HTML. Почему-то никто из работодателей не интересовался знанием каскадных таблиц стилей (может теперь знания HTML принято рассматривать только в совокупности с CSS?). Ну и конечно-же, API Google Maps, особенно в объявлениях до 2008 года.

GPS — запросы и предложения, связанные с разработкой карт для навигаторов, работам по роутингу и всему остальному, непосредственно относящемуся к навигации.

Обучение — запросы и предложения, связанные с преподаванием и оказанием консультаций в области геоинформационных систем в широком смысле этого слова.

Прочее — в эту категорию попали объявления, связанные с анализом данных (в случае, если он по каким-то причинам не подходил под категорию «ГИС»), геодезией, кадастром, набором менеджеров, сайтостроением, продажей пространственных данных, журналистикой в области ГИС, проектированием, системным администрированием и настройке серверов OSM, трехмерным моделированием, полевыми работами, а также объявление о поиске пилота-оператора БПЛА.

Фигня какая-то — категория, вобравшая в себя флуд, спам, уточняющие вопросы и комментарии вроде: «исполнитель найден», «работники найдены» и «вакансия закрыта».

В том случае, если объявление о поиске сотрудника дополнялось фразой «снова актуально», тема рассматривалась как содержащая две вакансии. Также по контексту классифицировались прочие темы.

Всего в очищенную выборку попали 502 объявления: 196 объявлений о поиске и 306 о предложениях работы. Данные были изучены на предмет соотношения спроса и предложения на услуги ГИС-специалистов, сезонного колебания спроса и предложения и структуры запрашиваемых и предлагаемых услуг. Ввод данных, расчеты и построение графиков выполнены в экселе, сохраненном в файл, на случай, если вы решите рассчитать свои показатели.

Соотношение спроса и предложения представлено в виде простых линейчатых гистограмм с временной осью по вертикали и осью количества спроса и предложения (в штуках) по горизонтали. Для удобства отображения данных, предложению присвоены отрицательные значения (минус у предложения, плюс у спроса). Предложение обозначено розовым цветом, спрос — зеленым. Важно понимать, что ввиду наличия личных сообщений на форуме ГИС-ЛАБа, данные о предложении менее информативны, чем данные о запросах на выполнение работ.

Соотношение спроса и предложения на услуги ГИС-специалистов:

Соотношение спроса и предложения на услуги гис-специалистовСоотношение спроса и предложения на услуги специалистов в области геоинформатики:

ГИС

Соотношение спроса и предложения на услуги специалистов в области обработки данных дистанционного зондирования Земли:

ДДЗ

Соотношение спроса и предложения на услуги специалистов в области ГИС-программирования:

Программирование

Соотношение спроса и предложения на услуги специалистов в области веб-ГИС:

Веб-ГИС

Соотношение спроса и предложения на услуги специалистов в области GPS-навигации:

GPS

Соотношение спроса и предложения на услуги преподавателей и консультантов в области ГИС:

Обучение

Соотношение спроса и предложения на услуги прочих ГИС-специалистов:

Прочее

 

Распределение объявлений по сезонам отображено на нормированной диаграмме с накоплением. Поскольку под конец года вся работа в России останавливается и по возможности завершается до наступления нового, использовано квартальное деление: зима (январь-март)- серебристый цвет, весна (апрель-июнь) — голубой цвет, лето (июль-сентябрь) — зеленый цвет и осень (октябрь-декабрь) — розовый цвет.

Распределение предложений на услуги ГИС-специалистов по сезонам:

Предложение услуг по сезонам

Распределение запросов на услуги ГИС-специалистов по сезонам:

Запросы услуг по сезонам

 

Структура запросов и предложений на рынке представлена по трехгодичным периодам, выбранным исходя из периодичности отечественных кризисов: докризисный период (2004-2006), первый кризис (2007-2009), межкризисный период (2010-2012), второй кризис (2013-2015).

Структура запросов и предложений на услуги ГИС-специалистов по трехгодичным периодам:

Соотношение спроса и предложения по направлениям

Итого:

  1. С 2012 года заметно снижение активности работодателей, которое касается всех категорий работ, за исключением Веб-ГИС.
  2. В свою очередь, количество предложений растет почти во всех категориях (за исключением GPS).
  3. Летом количество запросов и предложений снижается по сравнению с другими сезонами, причем предложение снижается сильнее.
  4. «Осенний» спрос постепенно уступает место «весеннему».
  5. Структура предложения и спроса с годами усложняется
  6. Спрос содержит значительную долю объявлений из категории «программирование», в в то время, как работники ищут работу преимущественно из категории «ДДЗ»

Конечно, же это все более чем спорно, хотя-бы потому, что динамика развития самого ГИС-ЛАБа никак не учитывается (а кроме этого есть еще около десятка веских причин). Однако, полученные картинки наводят на известные размышления о судьбах России и месте картографа в ее истории.

P.S. Раз уж вы так заинтересовались вопросом рынка труда в геоинформатике, что дошли до сюда, то позвольте порекомендовать вам молодого человека, который отчаяно ищет заказы или работу. Он хотел было на ГИС-ЛАБе свое резюме разместить, но я его отговорил, а то, он мне всю статистику испортит.