Рубкология

Весь нынешний август я шароебился по разным кустам занимаясь оценкой успешности лесовозобновления на сплошных вырубках юго-запада Ленинградской области. Суть работы сводилась к следующему: я вылезал из теплой машины под бесконечный дождь, цеплял к рюкзаку на манер навесного оборудования трактора обычную штыковую лопату, в «ливчик» комбинезона засовывал планшетку с бланками, сжимал посильнее рукоять здоровенного тесака для рубки медвежьих бошек и в позе супермена из армии Батьки Махно погружался в дремучий кустарник, где писал разную технологическую ебанину и вонзал в раскисшую землю сотни палок с красными лентами.
102_4624

К большому сожалению, заказчик этого безумия находился в стадии перманентного параноидального прихода и всячески настаивал на конфеденциальности методов и результатов работ. Что-ж, не будем посягать на его законное право страдать херней. К тому же, говоря по правде, интересного там мало: банальные учеты и типовые анализы: какой-нибудь дискретный анализ и среднее с вариацией. Другим словом, беспросветная тоска. Я же хочу рассказать вам о настоящем веселье.

Итак, друзья, тушите свет, зажигайте свечи, разбрасывайте по полу каштаны. Наливайте себе стакан до краев и располагайтесь удобнее, ибо во многом знании много печали, но памятуя про in vino veritas едва ли найдется тот, кто не заметит очевидного парадокса в измышлениях старинных мудрецов. Однажды придет и мой Мелет, сын Мелета, пифеец, но пока, дрожание рук походит на кривую судьбы Агриппины младшей, между Нероном и Тиберием велик соблазн немного повертеть на граненом стакане кровавый сапожок. Веселье, друзья, конечно же веселье служит нам путеводной нитью этого вечера! Все начинается с того, что раз в полторы недели вы до утра обрабатываете вымокшие бланки с кровавыми пятнами. Пеленг такой-то, широта такая-то, долгота такая-то, фото номер N. Три березы, две елки ноль пять, елка полтора, осина, две рябины, сосна ноль пять. Пишите, чертите, вслушиваетесь в свой голос с диктофона, просматриваете отснятые файлы. Что-бы не заснуть, выходите на улицу покурить и вновь возвращаетесь. Веселитесь изо всех сил.

102_4609

А через несколько часов, едва небо начнет светлеть, двери электрички закрываются и вы наслаждаетесь красотой и величием заоконных пейзажей:

102_3538
Чем дальше, тем пейзажи все красивее и величественнее
102_3523
И конечно-же, все веселее и веселее
102_3571

Но все проходит, стоит лишь выйти на пробу. Встанешь на первую вешку, оглянешь взором предстоящий фронт, сплюнешь и произнесешь благословенное «ёб твою мать». А из динамика телефона тебе отвечает лектор Петухов. «Давайте начнем!»: говорит он. А действительно, давайте начнем! И с этими словами ебнешь свою профилактическую соточку, затянешься поглубже чем бог послал и выпуская дым, начинаешь орудовать тесаком, вязать ленты, писать и бесконечно фотографировать.

102_4755

Прежде чем вы решитесь ввязаться в это дело, нужно понимать куда именно вам предстоит ехать. Как найти вырубки нужного типа леса, возраста, площади и транспортной доступности? Если вы сможете найти где-то карту с такими данными — честь вам и хвала. Но практика показывает, что самые ценные инструменты, для изготовления которых отводятся месяцы предполевых работ всегда приходится собирать в последний момент на коленке. Другими словами, нам нужно составить такую карту самому, иначе все у нас пойдет через жопу. Погнали?!

Карта рубок. Что есть рубки с точки зрения дешифрирования? правильно, рубки есть видоизмененный лес. Значит не ебем себе мозг, а прямо так, английским по белому пишем в поисковой строке браузера: «forest change map». По первой же ссылке попадаем на известный проект Global Forest Change:

111

Классная штука этот GFC. Спецы из Мэрилендского университета, Гугла и Геологической службы США, обработав огромное количество ландсатных снимков, выдали в качестве результата данные по изменению лесного покрова за период с 2000 по 2012 гг. Это то что нам надо, скачиваем данные на нужный нам регион в формате GeoTiff.

Теперь этот слой нужно разнести по типу леса, возрасту, площади и транспортной доступности. Сразу скажу, что первое — больше из области фантастики, ибо до тех пор, пока мы используем в качестве лесной типологии псевдонаучные фантазии времен раннего палеолита, никакой хитрый алгоритм применить не удастся. Да в этом и нет особой нужды, ибо как вы понимаете, основная доля всех рубок представляют собой кисличники, реже свежие черничники. Я бы на месте лесозаготовителей тоже всякого рода долгомошники вертел на харвестере, ибо рубль выберешь, рубль двадцать в гать утопишь.

102_4492

Но зато разбиение данных по остальным параметрам уже дело техники. Для начала векторизуем наш растр в QGis:

222

Из производного шейпа аттрибутивной выборкой по возрасту рубки извлекаем новый полигональный слой. Далее, через калькулятор полей считаем площадь каждого полигона, и удаляем слишком крупные и мелкие полигоны. Остается только исключить рубки, находящиеся в самых недоступных ебенях. Но это тоже не космос: скачиваем через overpass дорожную сеть OpenStreetMap, Строим вдоль проезжих дорог буферную область, доступную для пешего подхода и после этого удаляем все полигоны рубок, которые не пересекаются полученным буфером.

Все, слой готов. Экспортируем его в kml и  SAS.Планету, настроив подходящий вид:

333

Основной недостаток такого метода в том, что в выборку попадают рубки вытянутой и неправильной формы, совершенно неудобные для закладки учетных площадок. Кроме того, помимо рубок, встречаются еще естественные усыхания, пожары, ветровалы и подтопления. Последние, благодаря бобрам, особенно часто. Редкостные, скажу я вам, мудаки, эти бобры. Мало того, что эти пидоры столько леса хорошего затопили, так они еще и невкусные как водоросли. Их что жарь, что вари — все какая-то поебень получается.

Загружаем данные в навигатор и вперед — рубить ветки, месить говно и давить фиолетовые грибы

102_3089

Можно ли размещать площадки на волоках и в каналах? С одной стороны это тоже часть территории. С другой стороны, размещение учетных площадок в таких местах вносит не отслеживаемую погрешность. Вопрос можно поставить даже шире: уместно-ли рассматривать общие показатели восстановления для территории с комплексными видами нарушений? Правильно, неуместно. Пасеки — отдельно, волока — отдельно, земля — крестьянам, мудаков — нахуй.

102_4557Существует несколько принципов, которыми следует руководствоваться приступая к любым полевым работам. Конечно-же, следует помнить о нарастании коэффициента обалдевания: с каждым разом вы, вне зависимости от вашей старательности, будете выбирать наиболее легкие для описания площадки. Это неизбежно приводит к систематическому занижению результатов на 5-15%. Избежать этого можно путем формализации процедуры выбора точки описания: например подобно геоботаникам кидать дрын, служащий, после падения, стороной учетной площадки. Можно и протягивать на определенное расстояние рулетку по выбранному пеленгу. Но этот подход работает плохо даже на рубках трехлетней давности

102_3350

Как не вымеряй расстояние на вырубке по рулетке, все равно будет лажа. Либо закрадывается ошибка за счет изгибов рулетки, либо за счет пробики створов колоссально возрастает трудоемкость. Не ебите себе мозг, отмеряйте расстояние шагами, контролируйте себя по навигатору и не забывайте про коэффициент обалдевания.

Любые поточные полевые наблюдения кроют в себе опасность смещения данных. Стоит вам пропустить наблюдение на одной из учетных площадок, как ценность всех дальнейших наблюдений оказывается равной нулю. Но каждый раз заполнять чек-лист слишком затратно по времени. Поэтому мой вам совет: синхронизируйте все что только возможно. И немедленно. Если вы стоите на восьмой учетной плошадке, пусть номер вашей точки в навигаторе будет «508», а номер фотографии «18». Организуйте все так, что-бы пропущенное наблюдение моментально бы искажало конструкцию данных.

Нет ничего более тупого чем бесконечно записывать номера фотографий. Если вы синхронизировали нумерацию наблюдений, то вам стоит записывать только номера фотографий в точках контроля и номера ошибочно сделанных снимков. По завершению цикла наблюдений, просто суммируйте количество фотографий для дополнительной проверки. Ну и конечно же не забывайте про снимки-хуимки.

Очень часто люди не могут отделить фотографии одного ряда наблюдений от другого. Ну а хули, спрашивается вы фотографировали площадки на одной пробе, потом перешли через дорогу и не сделав ни одного лишнего кадра приступили к фотографированию площадок другой пробы? Естественно, потом при сортировке снимков приходится морщить ум и сравнивать время и содержимое кадра. Делайте проще, перед началом каждой пробы делайте несколько снимков-хуимков: фотографируйте какую-нибудь дичайше специфическую ебанину, например свой еблет, или рукав, или бланк с описанием. Помимо упрощения сортировки снимков, это позволит вам получить психоделический набор ебанутых фотографий для плаката «Я в двадцать пятый раз спрашиваю, что это за хуйня?»

hand

Стоит ли говорить о том, что на пробе вы записываете не количественные, а качественные показатели? Правильно не стоит. Потому что любые количественные измерения есть суть более формализованные качественные. И если в одной графе бланка записано «87 берез», а в другой «92 березы», только безумец будет утверждать, что во втором наблюдении на пять берез больше. Разумный человек сразу понимает, что на обоих площадках одинаковое количество подроста, чуть меньше сотни стволиков, но определенно больше полусотни. И во втором наблюдении их может оказаться чуть больше, хотя если подсчитать, может и чуть меньше. «А чего-же не подсчитать их точно?» — спросит какой-нибудь далекий от биометрии человек. А подсчитать их точно невозможно, ибо натуральные числа используемые для счета представляют собой слишком грубый инструмент, не позволяющий описывать переходные состояния. Каждый стволик считается по отдельности, но в какой момент растущий стволик отличается от новой ветви, особенно если речь идет о корневой поросли? Нет, коллеги, натуральный счет тут не подходит, да и действительные числа едва ли применимы. Я уж не говорю о космической сложности таких измерений.

102_4321

Нахрена столько сложностей в подсчете кустов? А сложностей никаких и нет. Рост профессионального геоботаника составляет один метр семьдесят восемь сантиметров. Поэтому для определения количества подроста на гектар, ему достаточно сосчитать количество стволов, на которые он упадет если выпьет на стакан больше положенного и умножить полученный результат на тысячу. Причем, поскольку упасть он может в разные стороны, подсчет стволиков ведется на всей площади круга, радиусом 1,78 м. Обернулся вокруг себя — видишь, что при падении непременно подомнешь под себя три елки и пять берез. Следовательно, на гектаре три тысячи стволов елового подроста и пять тысяч подрастающих берез. Если вам трудно представить, как вы пьяный валяетесь по кустам или ваш рост далек от идеала, можете крутить вокруг себя рейку аналогичной длины, а еще лучше приспособьте для этого дела телескопическую удочку. Впрочем, навык приобретается быстро.

В чем же секрет? Да все просто: Pi*r^2 => 3.14*1.78*1.78 ≈ 10 кв. метров. Гектар есть 10 000 кв. метров, а следовательно наша круговая площадка есть тысячная часть гектара.

Гораздо сложнее определять не количество, а возраст подроста. Если у сосны еще можно быстро подсчитать количество мутовок, примерно соответствующее числу прожитых лет

102_4702

то с елкой уже сложнее, мутовки у нее выражены гораздо хуже

102_4754
А у лиственных вообще хрен возраст определишь. Разве что по числу побегов или годовым кольцам, но все это разовые замеры. Обычно прикидываешь зависимость возраста от высоты для нескольких модельных стволиков, и далее интерполируешь сотни и тысячи наблюдений.  Ценность таких данных сами можете себе представить. С другой стороны, разве можно получить бессмысленные данные иначе как занимаясь бессмысленным делом?

Очередной день рождения молодой березки — место нарастания нового побега.

108_5032

Нельзя забывать о том, что для сосны и елки подчас не столь важен возраст и количество, сколько жизненное состояние. Определяется оно просто. Подходите к дереву:

108_4994

И делаете так:

108_4995

Еще раз продемонстрирую. Подходите к дереву:

108_5026

Хуяк!

108_5028

А далее руководствуетесь вот этой схемой определения жизненного состояния:

shema

При планировании подобных исследований, особое внимание следует уделить времени проведения работ. В условиях Северо-Запада Русской равнины, сплошные рубки обычно приводят к повышению уровня грунтовых вод. Конечно, если вам предстоит работать преимущественно в скальных, лишайниковых или брусничных типах то все ок:

102_4673Но скорее всего, вам придется обследовать долгомошники, черничники и кисличники:

102_4757

Нетрудно догадаться, что если вы решите работать в этих местах в начале лета, вас непременно заебут комары. А если перенесете работы на осень — замучаетесь подсчитывать лиственные породы. Листопад у затененного подроста и подлеска начинается во второй половине августа, причем уже в двадцатых числах бывает трудно отличить осину от березы, и живую рябину от сухой ветки. Поэтому конец июля — начало августа — ваше все.

Не всегда разумно идти к рубке кратчайшим путем. Ведь срубленный лес как-то вывозили, а значит к любой рубке идет дорога. В каком она состоянии это уже отдельный вопрос.

102_4555

При подготовке маршрута, выбираете место наибольшей концентрации подходящих рубок, связанных между собой достаточными для неутомительного продвижения дорогами и потрясающие прогулки по лесной глуши вам гарантированы. Главное, что-бы погода была не как в это лето: каждый день либо мелкий нудный дождь, либо грозовые ливни.

102_4583

С другой стороны «полное отторжение от бреда нашего» вам гарантировано. Да и как может быть иначе в условиях, когда последние мировые новости узнаешь из лесохозяйственных столбиков?

108_4996

Да, дожди утомляют, но с другой стороны комаров и клещей мало. Зато много грибов, а брусники вообще как говна:

102_4553

И все же мне сказочно повезло. Окончание лета я встретил в Сланцевском районе. Дожди прекратились на целую неделю и все живое выползло погреться и просохнуть перед наступлением первых холодов.

Вылезли кистехвостки (Orgyia antiqua):

102_3369Вылезли семиточечные божьи коровки (Coccinella septempunctata):

108_4790

и разная другая живность

108_5033

Только гадюк стало гораздо меньше — весь август они ползали под ногами, что довольно сильно меня напрягало ибо змей я панически боюсь с раннего детства. Глядя на всю окружающую красоту, просто нельзя было не вспомнить, что даже живущий один год жук-навозник умеет ориентироваться по звездам, а я за четверть века так ничему и не научился.

dscn9008

Зато каждый вечер после работы, я выбирал наиболее живописное место, собирал дрова, набирал из ближайшего ручья или лужи воду, любуясь попутно великолепным закатом.

108_4964

Темнота стала наступать гораздо быстрее чем в начале лета. Я укладывал на свою лежанку рюкзак, разводил костер и устраивался поудобнее.

108_4905

Подогревал себе фасоли в помидорном соусе, кипятил крепкий чай и наливал маленькую рюмку водки

108_4907

После, выпив и закусив, откидывался на спину и закуривая, посылал огоньком сигареты сигналы в самые глубины млечного пути. У меня была своя маленькая программа «SETI» и звезды охотно мерцали мне в ответ. Так я и засыпал, без всякой палатки, укрываясь на ночь исключительно звездным небом. Утром меня ждал новый маршрут, днем — новые обследования, а вечером — новый уютный костер.

Однажды утром я проснулся от холода. Костер погас, ветер гнал кучевые облака и спешить мне было некуда. Лето закончилось, а вместе с ним завершились работы по оценке лесовозобновления на вырубках. Мне пора было возвращаться обратно — до конца полевых работ оставалось менее полутора месяцев. Вскипятив себе чаю я собрал свой нехитрый скарб и закопав кострище, направился в сторону ближайшей дороги.
108_5040

Пивопровод на ХБК

В поселке ХБК сто четыре жилых дома, которые необходимо подключить к пивопроводу. Само собой, сделать это необходимо с минимальными издержками на прокладку труб и дальнейшее их обслуживание.

Для проектирования пивопроводной сети, откроем в QGis карту OpenStreetMap с помощью плагина QuickMapServices или его старого аналога OpenLayersPlugin:

1

Приблизим интересующий нас район, и создадим полигональный шейп-файл:
2

Обведем контуры поселка:
3
Теперь, требуется загрузить контуры домов, нуждающихся в подключении. В нашем случае самым простым решением будет импорт зданий из базы геоданных OpenStreetMap с помощью сервиса Overpass turbo. Мы для этих целей воспользуемся плагином QuickOSM, загрузив полигональные объекты со значением «building=apartmens». В OSM полигонального типа нет, модуль выполняет эту конвертацию за нас:
4
В результате получим векторные слой, который будем использовать для построения графа.

5

Прежде всего, получим вершины графа, путем извлечения центроидов полигонов:
6
Если бы мы располагали графическими картами в качестве исходного материала, то пришлось бы их отсканировать, затем привязать, затем оцифровать. Это конечно дольше, но мы бы расставили точки более сложным образом. Центроиды полигонов хорошо применять только в случае простых полигонов, на сложных это приводит к погрешности:
8
Впрочем, нас такая точность устраивает, тем более, что от каждого центроида будет идти разводящая сеть. Мы получили вершины графа. Теперь, используя триангуляцию Делоне создадим множество полигонов, каждая вершина которых будет точкой центроида зданий.
7
Преобразуем полигональную триангуляцию в сеть линий. С помощью команды «split» плагина Networks разобьем сеть на отдельные линии. Мы получили граф, достаточный для роутинга. Если нам потребуется кратчайшим образом связать между собой две его вершины, достаточно будет просто использовать модуль RoadGraph:
9
При необходимости, можно добавить каждому ребру графа определенный вес. Полученные полилинии можно экспортировать в виртуальный слой и во внешний шейп.
15

Но у нас немного другая задача — построить сеть с ребрами минимальной длины. Для этого рассчитаем длину каждого ребра, используя встроенный калькулятор QGis:
13
Раскрасим слой ребер по градиенту возрастания длины ребра.
14
Ребер у нас много, поэтому выведем длину каждого из них в качестве подписи:

4

Теперь начинается чистая математика: нам требуется выбрать наиболее подходящий алгоритм. Очень много зависит от конкретных условий проектирования, например нельзя оставлять висячие ребра, нельзя делать множественное ветвление и др.

В нашем случае используем модификацию алгоритма Дейкстры: будем объединять вершины по наименьшему графу до тех пор пока не придем к самопересечению, либо к ребру длиной более 500 метров. Получившиеся графы свяжем между собой ветвлением. Наверняка можно использовать и более выгодную разновидность жадного алгоритма, но это уже задача математиков.

Добавим домики, отметим точки ветвления сети, изменим для лучшей визуализации проекцию и схема готова.

2

Теперь, зная длину каждого участка, формулу прогиба труб, значения износа и сложности монтажа, мы можем рассчитать затраты на строительство пивопроводной сети.

Формат FRNP: назначение и спецификация

Друзья мои, однажды, когда я работал редактором в одном научном журнале, мне довелось описывать историю создания программы для обработки геоботанических данных. Чуть позже, эта статья в популяризированном виде была выложена на Хабр и, вполне может быть, присутствует там до сих пор.

Хочу читать статью тут

Софт, формат, стандарт и немного занудства — опыт разработки программы для обработки геоботанических данных

В студенческие годы я пошел по наклонной и стал ботаником. Да-да, самым настоящим, который рвет «траву и лишаи», а после сидит с тяжеленными определителями. И хоть это не стало основным видом моей деятельности, но все-таки часть ботанической (точнее геоботанической) работы мне досталось. Под катом — взгляд на работу геоботаника с позиции айтишника, выраженный через опыт разработки костыльного софта. Обращаю ваше внимание, что слова «работа геоботаника» и «взгляд айтишника» расположенные в одном предложении означают, что дальнейший текст противопоказан беременным, несовершеннолетним, а также людям с неустойчивой психикой и сердечно-сосудистыми заболеваниями.

 

«Кто такой Тайлер Дёрден?»

Меня часто спрашивают, знаю ли я Тайлера Дёрдена кто такие геоботаники? Отвечаю: геоботаники — специалисты по растительным сообществам. В отличии от, например, систематиков, которые путешествуют из одной пыльной гербарной в другую, геоботаники свой материал собирают исключительно в поле, составляя геоботанические описания — специальные таблицы, в которых указано какие растения и в каких объемах произрастают на площади. По этим таблицам в дальнейшем можно определить показатели плодородия и влажности почвы, антропогенную нарушенность, кормовую ценность участка и много других интересных вещей. И, как вы понимаете, это определение ведется так же как и в эпоху, «когда динозавры были маленькие» — с бумажным бланком и миллиметровкой. Самые продвинутые используют Excel.

 

 

«А теперь, Горбатый!»

Перефразирую Жеглова: «Геоботаник, который вносит данные из бумажного бланка в Excel, зря получает рабочую карточку». И дело тут вовсе не в экселе. К этой программе претензий нет — вещь замечательная, к тому же тотально перекраденная, с доступной portable-версией. И даже то, что формат xls не ГОСТовский, не только не беспокоит, но даже неизвестно основной массе специалистов. Основная проблема перевода с бумажных бланков в табличные редакторы состоит в бесполезности этой работы. Чем плохи экселевские таблицы? Вот вам аналогия с книгами: лет пять назад я начал активно собирать коллекцию из отсканированных pdf и djvu версий книг. За годы коллекция разрослась до сотен гигабайт, и пожалуй единственного чего в ней нет это пользы. После определенного момента, я полностью перестал пользоваться этими книгами, поскольку времени на поиск информации в моей библиотеке уходило больше чем на поиск такой информации в интернете. Форматы электронных книг хороши для художественных романов на ридерах, но для хранения технической литературы подходит только сеть и никак иначе. От того, что «Флора СССР» отсканирована, она не станет более востребованной чем ботанические разделы Википедии.

То же самое с геоботаническими описаниями. Работая по проекту восстановленной циркумбореальной растительности я собрал небольшой электронный фитоценарий (коллекция геоботанических описаний) — в несколько сотен описаний, в наивной попытке обработать его. Тут требуется отметить, что описания в фитоценарии были сделаны в разных природных зонах, разными авторами, в разное время, разными методами. Такие описания принципиально невозможно стандартизировать и сравнивать, если конечно речь не идет о грубом качественном сравнении («тамо были лишаи, а тамо мохи и евоные ягоды»). Даже работа, по формированию единой базы данных на основе этих описаний мучительна и уже потому неправильна.

 

«Надо понимать всю глубину наших глубин!»

Да, я опять нудю (или нужу?) об отсутствии стандартов и нелепости современной геоботаники. Это Леонтий Раменский мог позволить себе собрать десятки тысяч описаний и вручную их обработать. Сегодня это невозможно — никому не нужны такие работы, даже при том, что реально увеличить производительность за счет технических средств. Поэтому, если мы хотим работать с крупными фитоценариями, необходимо объединять наработки каждого в единую базу. Но для этого следует хотя-бы оформлять описания по единым стандартам, а не как придется. Да, я конечно понимаю, что «научная» полевая работа — это сегодня очень часто не более чем оплачиваемые турпоездки. Потому и не ставится вопрос об единых стандартах и методах. Потому и не поднимается вопрос о целесообразности публикаций описаний в журнале «Растительность России» (за публикацию таблиц описаний в БУМАЖНОМ журнале уже давно пора давать орден «почетный старпер»). Однако же, на дворе 21 век, а геоботаники продолжают заполнять бумажные бланки собственного изобретения.

 

«Это вам не это!»

Первую попытку оптимизировать работу с «сырыми» описаниями я предпринял три года назад в рамках работ над программой PhytoSoft (разработка велась в Borland C++ Builder 6). На тот момент, стояла задача облегчить и ускорить ввод данных с полевого бланка, для последующего анализа по экологическим шкалам Л.Г. Раменского (помните, я выше говорил о том, что с помощью геоботанических описаний можно определять плодородие и влажность почвы? Это, как раз и есть «метод экологических шкал»). Программу удалось довести до работоспособного состояния, но при крайне низком бюджете, она так и осталась на этапе альфа-тестирования и позже была выложена в открытый доступ со всеми своими тараканами.

Сейчас я понимаю, что концепция «Фитософта» содержала в себе несколько ужасных стратегических ошибок. И дело даже не в том, что код — говно и руки растут из того же места, что и ноги. Сама идея того, что следует упростить ввод описаний с бланка в корне неверна. Во время показа первой успешно скомпилированной версии, я регулярно слышал вопрос, о возможности импорта в Фитософт описаний из Excel. Несомненно, я при разработке предусмотрел такую возможность, но технология импорта была уродской и я всегда старался замолчать этот вопрос, хотя он был и остается одним из главных. Даже если сейчас, появится чудо-программа для геоботаников, что делать с теми описаниями, которые уже введены в табличные редакторы? Выше я сказал, что привести описания разных авторов к единому шаблону практически невозможно, соответственно, у каждого описания будет либо собственная структура, либо общая структура будет сверх-сложной и всегда найдется описание, которое в эту структуру не встраивается. Требовался принципиально иной подход к организации данных в описаниях, чем те к которым мы привыкли (строчки-колонки).

Формат *.gbo который использован в Фитософте под эту задачу никак не подходил. Я не оформил должным образом спецификацию на него, но самое главное, что он тоже представлял собой те самые «строчки-колонки». Проще говоря, «*.gbo» — это большущая таблица, высотой в тысячу строк, шириной в несколько сот колонок. Каждое описание в таблице занимает одну строку. Описание разбито на логические элементы, которые размещаются в разных ячейчах. Например, в пятой ячейке первой строки указан автор первого описания, в шестой ячейке первой строки указана дата первого описания и т.д., в пятой ячейке второй строки указан автор второго описания, в шестой ячейке второй строки указана дата второго описания и т.д… Логика формата очень проста, но для импорта внешних файлов, последние приходилось мучительно переделывать (представьте: вашу сводную таблицу описаний необходимо перестроить таким образом, что-бы с 50 по 100 колонку шли названия видов, а с 101 по 151 их проективные покрытия). Эта проблема возникла от того, что вместо разработки программы под формат шла разработка формата под программу.

 

«Это не кадка, а настоящее японское фураке!»

Может быть я изобрел велосипед, но зато на собственной шкуре понял, что программное обеспечение и формат файла это никак не связанные (в плане разработки) вещи. Изначально следует разрабатывать формат файла, причем делать это независимо от того, когда и кем под этот формат будет написано программное обеспечение. После этого уже имеет смысл писать программу. При этом, придется решать многие задачи, которые не возникли бы при создании формата «под себя», но с другой стороны, риски того что формат будет обладать критическими недостатками снижаются.

Вот конкретный пример. Если вы изначально разрабатываете формат, как отдельный проект, то наверняка учтете, что он должен быть приспособлен для импорта в ГИС. После этого, начав разработку, вы будете вынуждены решать проблему с ГИС-совместимостью, даже если геоинформационными системами в вашей программе и не пахнет. Зато от этого формата не откажутся, что неизбежно произошло бы, когда выяснилось, что формат бесполезен для ArcGIS, QGIS или другой программы.

Формат файла должен быть максимально удобным для конвертации в другие и из других форматов.

Разрабатывая Фитософт в рамках идеи упрощения оцифровки бумажных бланков я ошибался. Бумажных бланков не должно быть вообще, полевые данные сразу должны быть готовы к обработке. Но, поскольку любой тупиковый путь рано или поздно заканчивается, примененная концепция довольно быстро изжила себя, породив новую проблему. С одной стороны, стало ясно, что геоботаник должен вводить данные в программу сразу после их получения в поле. С другой стороны, это означает, что он не будет пользоваться ни компьютером, ни ноутбуком. Планшеты? Но их цена столь же аморальна, как и срок заряда батареи. А самое главное, я вспомнил, в каком состоянии возвращаются полевые бланки — намокшие, с пятнами крови от раздавленных комаров. И со стороны пользователя я бы не хотел, что-бы моя (и не только моя) привычка не задумываясь бросать планшетку (которая скрепляет бумажные бланки) рядом с собой погубила однажды электронику. Планшет не подходил. Оставался смартфон. С точки зрения пользования это идеальный вариант — стоят они гораздо меньше, берут их с собой в любую погоду и вероятность повредить их гораздо меньше. Но в то же время это значит, что весь код, связанный с интерфейсом Фитософта можно удалять. Для полевых условий требуется что-то принципиально иное чем множество окон выбора.

 

«Айл би бэк»

Вопрос организации нового интерфейса долгое время казался тупиковым и в настоящее время нет еще полной ясности в некоторых деталях. По мере проработки формата, становится очевидно, что он должен быть максимально простым и компактным. Насколько я представляю, это должно быть нечто сходное командной строкой. Что же касаемо формата, то я считаю самым разумным отказаться от табличной организации данных в пользу HTML-подобного метаязыка. С одной стороны, это позволит легко восстанавливать табличные структуры описаний, с другой стороны, уже введенные в табличные редакторы описания гораздо проще приводить к стандарту, путем добавления соответствующих тегов.

Данный пост посвящен описанию HTML-подобного метаязыка для работы с геоботаническими данными. Поскольку вы такая ленивая жопа, что не стали читать приведенную статью и не уловили мой месседж, сообщаю: в нынешний технологический век, когда даже фаллоимитаторы имеют встроенный компьютер, работать в поле методами Александра Гумбольдта это, право, моветон или, переводя с французского, западло.

Когда геоботаники гордятся своей экселевской таблицей описаний, у меня глаз дергается. Потому что, любому контролеру в электричке известно, что информация делится на содержание и контекст. Данные и мета-данные это те же яйца, только в другой терминологический профиль. Информация имеет ценность только при наличии метаданных. Без них нет информации как таковой.

Что же делают геоботаники? Они берут бланк и переносят его в табличный редактор, в надежде, что чудо-компьютер предоставит им бесконечное количество инструментов для анализа. А когда выясняется, что таким образом никаких новых данных не получить, разводят руками, мол, фуфло все, эти ваши компьютеры: разве что миллиметровку экономят.

Когда геоботаническое описание написано на бланке, мы связываем данные с их контекстом по взаимному расположению записей. То же самое происходит, когда данные перенесены в таблицу экселя. Для того, что-бы машина работала с информацией, ей необходимо явно указать связь данных с их контекстом. Без этого невозможна даже примитивная выборка и сравнение данных, не говоря уже о более сложных вещах. Если не верите, то попробуйте решить следующую задачу:

«Из пяти множеств описаний отобрать те, для которых коэффициент Жаккара более 0,7 если в них присутствует группа таволги и коэффициент от 0,4 до 0,7, если в них доминируют луговые виды»

Представили себе объем работы? Ну, тогда хера ли мы с вами рассуждаем о всякой банальщине, ловите истинную суть этого поста:

=======================================================

Формат FRNP, версия 1 (Voikar)

Формат FRNP (format research nature page) предназначен для хранения и автоматизированной обработки данных о растительности, почвах и отобранных образцах, полученных в ходе полевых работ.

Синтаксис
В нотации Бэкуса-Наура:
Char ::= ‘A’|’B’| … |’Z’|’a’|’b’| … |’z’|’%’|’№’|’0’ | ‘1’ | ‘2’ | … | ‘9’|’_’|’+’
Note ::= ‘A’|’B’| … |’Z’|’a’|’b’| … |’z’|’%’|’0’ | ‘1’ | ‘2’ | … | ‘9’|’_’|»’|’,’|’.’|’%’|’№’|’@’|'(‘|’)’|’+’
Text ::= ‘»‘
Polychardelimited ::= ‘,’
Delimited ::= ‘:’
End ::= ‘;’
String_end ::= ‘$’
Name ::= {Char},Char
Data ::= {{Text,Note,Text}|{{Char},Polychardelimited,{Char},Polychardelimited},{Char}
Descriptor ::= {Name,Delimited,Data,End}String_end
Base ::= {Descriptor}

Семантика
Пробелы и символы переноса строки игнорируются.

Приставки и окончания:
total — общее (например общее проективное покрытие);
% — показатель измеряется в процентах;
1,2…10,… — показатель измеряется в долях от 1,2…10,…;
quality — качество;
№ — номер;
sp. — вид;
c — окружность;
sm — показатель измеряется в сантиметрах;
h — высота;
m — показатель измеряется в метрах;

Корни:
dendro — древесный ярус;
underdendro — подрост;
upgrass — подлесок;
grass — травы и кустарнички;
undergrass — мхи и лишайники;

Дескрипторы описания:
tags — ключевые слова (теги) описания;
time — дата в формате ГГГГММДД, например седьмое июля 2015 года: 20150807;
author — автор или авторы описания;
feedback — контакты для связи с автором;
license — лицензия распространения данных;
source — источник данных;

Дескрипторы местоположения
lat — широта;
long — долгота;
ele — высота над уровнем моря;
datum- система координат:
wgs84 — WGS-84;
pulkovo42 — СК-42;
unknown — Неизвестная система координат;
area — площадь описания в квадратных метрах;
note- примечание;

Дескрипторы описания древостоя:
totaldendrocover% — общая сомкнутость древостоя в процентах;
dendrocover% — повидовая сомкнутость древостоя в процентах;
dendroshare10 — состав древостоя в долях от десяти;
dendrocompleteness — абсолютная полнота древостоя в квадратных метрах;

Дескрипторы описания подроста:
totalunderdendrocover% — общая сомкнутость подроста в процентах;
underdendrocover% — повидовая сомкнутость подроста в процентах;
underdendroquality3 — состояние подроста в трех баллах (1-нормальный, 2-удовлетворительный, 3-угнетенный)

Дескрипторы описания подлеска:
totalupgrasscover% — общая сомкнутость подроста в процентах;
upgrasscover% — повидовая сомкнутость подлеска в процентах;

Дескрипторы описания травяно-кустарничкового яруса:
totalgrasscover% — общее проективное покрытие травяно-кустарничкового яруса в процентах;
grasscover% — повидовое покрытие травяно-кустарничкового яруса в процентах;

Дескрипторы описания мохово-лишайникового яруса:
totalundergrasscover% — общее проективное покрытие мохово-лишайникового яруса в процентах;
undergrasscover% — повидовое покрытие мохово-лишайникового яруса в процентах;

Дескрипторы описания почв:
soil(N) — номер почвенного горизонта верху вниз (soil0,soil1,soil2 и т.д.);
Шаблон значения дескриптора описания почв
m_colorsoil_density_composition_root_stone_coal
m — мощность горизонта;
colorsoil — цвет почвы по А.С. Захарову (например светло серый — «white-grey»)
composition — механический состав горизонта:
cl — глина;
hl — тяжелый суглинок;
ml — средний суглинок;
ll — легкий суглинок;
sl — супесь;
sd — песок;
density — плотность горизонта:
f — слитой;
t — плотный;
p — уплотненный;
c — рассыпчатый;
l — рыхлый;
root — наличие корней;
stone — наличие камней;
coal — присутствие углей;
peat — торф;

Дескрипторы описания отобранных образцов:
dendroextruder№_sp._csm_hm — отобранный образец дерева с указанием номера, вида, окружности и высоты дерева;

Пример описания:
tags:»betula»;
time:20150807;
lat:66.00287;
long:63.66359;
ele:58;
datum:wgs84;
note:
«Описание №102. Склон 3 градуса ЮВ экспозиции с кочками высотой 0,4 м»;
totaldendrocover%:40;
dendroshare10:
picea_obovata_4,
betula_aurata_6;
dendroextruder№_sp._csm_hm:
248_picea_obovata_71_13,
249_picea_obovata_71_14,
280_betula_aurata_53_13;
totalunderdendrocover%:5;
underdendro:
picea_obovata,
betula_aurata;
totalupgrasscover%:5;
upgrasscover%:
sorbus_sibirica_1,
duschekia_fruticosa_3,
rosa_accicularis_1;
totalgrasscover%:80;
grasscover%:
vaccinium_myrtillus_70,
ledum_palustre_7,
carex_globularis_1,
vaccinium_vitis-idaea_1,
licopodium_sp._3,
linnea_borealis_+;
totalundergrasscover%:40;
undergrasscover%:
pleurozium_schreberi_30,
ptilium_crista-castrensis_10,
politrichum_commune_5,
sphagnum_sp._+,
hylocomium_splendens_+;
soil0:
13_peat;
soil1:
6_white-grey_cube_l_sd_stone_;
soil2:
brown_cube_плотн_sd;
$

=======================================================

Да, я знаю, что описанная спецификация содержит косяк на косяке, но надо же хоть с чего то начинать. Кстати, если по Бэкусу-Науру есть специалисты, ткните меня пожалуйста носом в косяки оформления синтаксиса. Пока я вижу только то, что запись Data типа ___,____,_____ будет считаться допустимой. Это не очень хорошо, но приемлимо.