Kompilacja na serwerze
Z UMP
Spis treści |
Uwaga dokument wysoce techniczny
potrzebny w zasadzie tylko nielicznym developerom lub na wypadek przejechania mnie przez tramwaj.
aliasy dla punktów
czyli końcówka na samym początku. Żeby dodać nowy typ dla punktów, lub zmienić istniejący, należy:
- dla kompilacji: zmienić pnt2poi.awk
- dla edytorów: zmienić mont-demont-multi2.pl (i ewentualnie exe)
- dla mapy na www: zmienić ump-www/mapnik_style/settings/styles_points.xml oraz ump-www/ump2osm/rules.xml
crontab woła
#!/bin/sh skrypty=$HOME/skrypty logi=$skrypty/logi mapy=/home/httpd/html/ump/update #naboku=$skrypty/naboku mapa=$mapy/48000003.zip mapatmp=/var/tmp/48000003.zip tempfile=/var/tmp/gps.$$ $skrypty/replikuj-cvs # ------ jak mamy nowe dane, można je skompilować ------------------- # sprawdź jakie są nowe dane na cvs cvs_log=$logi/cvs.log kiedycvs=`grep -n 200.$ $cvs_log | tail -n 1 | cut -d : -f 1` #kiedynury=`grep -n nury $cvs_log | tail -n 1 | cut -d : -f 1` kiedyikonki=`grep -n narzedzia\/ikonki\/ $cvs_log | tail -n 1 | cut -d : -f 1` kiedybialystok=`grep -n UMP-Bialystok\/src $cvs_log | tail -n 1 | cut -d : -f 1` kiedyciechanow=`grep -n UMP-Ciechanow\/src $cvs_log | tail -n 1 | cut -d : -f 1` itd. itd. kiedyanglia=`grep -n UMP-GB-Anglia\/src $cvs_log | tail -n 1 | cut -d : -f 1` kiedycokolwiek=`grep -n -e UMP -e ump $cvs_log | tail -n 1 | cut -d : -f 1` if [ $kiedycokolwiek -gt $kiedycvs ]; then $skrypty/listuj-nazwy; $skrypty/generuj-cvslog; cp -uf $mapa $mapatmp; fi if [ $kiedyszlaki -gt $kiedycvs ]; then $skrypty/generuj-szlaki; fi if [ $kiedyradary -gt $kiedycvs ]; then $skrypty/generuj-radary; fi if [ $kiedybialystok -gt $kiedycvs ]; then $skrypty/kompiluj-bialystok; fi if [ $kiedyciechanow -gt $kiedycvs ]; then $skrypty/kompiluj-ciechanow; fi itd. itd. if [ $kiedyanglia -gt $kiedycvs ]; then $skrypty/kompiluj-gb-anglia; fi if [ $kiedyikonki -gt $kiedycvs ]; then $skrypty/generuj-typy; fi if [ $kiedycokolwiek -gt $kiedycvs ]; then $skrypty/generuj-indeksy; fi $skrypty/sprawdz-www
replikuj cvs
trywialne
#!/bin/sh # ----------------- zreplikuj cvs i spakuj nowe pliczki homek=$HOME cvs_log=$homek/skrypty/logi/cvs.log # (uwaga: nie zauważa skasowania pliku więc rzeczy wywalone z cvs zostają w zipie) cd $homek/cvs date +'%n%c' >> $cvs_log # i żeby najpierw były zmiany w szlakach czyli *.szlaki.topo.txt cvs -d:pserver:aldziew@localhost:/home/cvsroot up UMP-szlaki -Pd 1>> $cvs_log 2>> /dev/null cvs -d:pserver:aldziew@localhost:/home/cvsroot up -Pd 1>> $cvs_log 2>> /dev/null # nie trzeba cvs checkout bo nowe pliki się i tak pojawiają - ale nowe katalogi nie # znowuż co chyba nie wypisuje danych do logu :-o # lista autorów cp -u $homek/cvs/narzedzia/opisy/autorzy $homek/html/ump/autorzy chmod go+r $homek/html/ump/autorzy # pakiet install zip -fj $homek/html/ump/pliki/instaluj.zip $homek/cvs/narzedzia/install/instaluj.*
generuj cvslog
kompiluj
wywołania "krajowe" to po prostu
#!/bin/sh ~/skrypty/kompiluj Andora 37600001
a główny skrypt kompiluj
#!/bin/bash
if [ $# -gt 0 ]; then miasto=$1; ID=$2; shift; shift; else echo Należy się podać dwa parametry - $0 miasto ID; exit; fi
topo=nietopo; ogonki=nie; NI=nie; # ogonkowatość implikuje NI czyli brak kompilowania
while [ $# -gt 0 ]; do
if [ "$1" = "topo" ]; then topo=topo; fi
if [ "$1" = "ogonki" ]; then ogonki=tak; fi
if [ "$1" = "NI" ]; then NI=tak; fi
shift
done
# nie ma sensu wersja ogonki nie-NI
if [ $ogonki = tak ]; then NI=tak; fi
# jeśli wersja zwykła, to trzaśnij źródła do wersji NI (i ogonkowej?)
if [ $NI = nie ]; then
if [ $topo = nietopo ]; then
$0 $miasto $ID NI
$0 $miasto $ID ogonki
fi
fi
homek=$HOME
skad=$homek/cvs/UMP-$miasto
#pnt2poi=$homek/gps/pnt2poi
#\ -c\ nic\ -r\ $miasto
skrypty=$homek/skrypty
narzedzia=$homek/cvs/narzedzia
pnt2poi=$narzedzia/pnt2poi
logi=$skrypty/logi
netgenlog=$logi/routing-$miasto.log
kompillog=$logi/kompiluj-$miasto.log
wojeklog=$logi/wojek-$miasto.log
naboku=$homek/gps/naboku-$topo
#komumaile=aldziew,starazie@interia.pl
komumaile=ump
#komumaile=aldziew
#,Piotr.Frasunkiewicz@eranet.pl
wojekmapa=$narzedzia/mapka_woj.mp
pid=$$
wyslac=/tmp/mail.$pid
temp=/tmp/tmp.$pid
#lockfile=/tmp/cgpsmapper.pid
region=`echo $miasto | cut -f 2 -d "-"`
wynik=$homek/tmp/zrodla/UMP-$miasto-caly-$topo.mp
mapy=/home/httpd/html/ump/update
mapa=$mapy/48000003-$topo.zip
mapatmp=/var/tmp/48000003-$topo.zip
# img musi być lokalnie, bo inaczej zip na siłę zachowuje ścieżkę
img=img/$ID.img
#cat > $wynik << KONIEC-NAGL
echo [IMG ID] > $wynik
echo ID=$ID >> $wynik
echo FamilyID=4800 >> $wynik
echo Name=UMP-$miasto-`date +%d%b` >> $wynik
echo Datum=W84 >> $wynik
# było 2048
echo TreSize=3096 >> $wynik
echo RgnLimit=1024 >> $wynik
echo Levels=6 >> $wynik
echo Level0=24 >> $wynik
echo Level1=22 >> $wynik
echo Level2=20 >> $wynik
# było: 17 15 13
echo Level3=18 >> $wynik
echo Level4=16 >> $wynik
echo Level5=15 >> $wynik
if [ $ogonki = tak ]; then echo NT=Y >> $wynik; fi
echo POIIndex=Y >> $wynik
echo MG=Y >> $wynik
echo Numbering=Y >> $wynik
echo POINumberFirst=N >> $wynik
echo POIZipFirst=Y >> $wynik
echo Routing=Y >> $wynik
# lower first, default 25
echo DrawPriority=23 >> $wynik
echo Copyright=ump.waw.pl debest >> $wynik
echo Elevation=m >> $wynik
#echo DefaultRegionCountry=$miasto >> $wynik
#echo DefaultCityCountry=Polska~[0x1d]PL >> $wynik
if [ $ogonki = tak ]; then
echo LBLcoding=9 >> $wynik
echo Codepage=1250 >> $wynik
# else
#echo LBLcoding=6 >> $wynik
#echo Codepage=0 >> $wynik
fi
# lewostronni: Brytania * 3, Irlandia, Cypr, Malta
if [ $ID = 44100001 ]; then echo LeftSideTraffic=Y >> $wynik; fi
if [ $ID = 44130001 ]; then echo LeftSideTraffic=Y >> $wynik; fi
if [ $ID = 44280001 ]; then echo LeftSideTraffic=Y >> $wynik; fi
if [ $ID = 35300001 ]; then echo LeftSideTraffic=Y >> $wynik; fi
if [ $ID = 35700001 ]; then echo LeftSideTraffic=Y >> $wynik; fi
if [ $ID = 35600001 ]; then echo LeftSideTraffic=Y >> $wynik; fi
echo [END-IMG ID] >> $wynik
#KONIEC-NAGL
#cat $homek/cvs/ump-wawa/src/dictionary.txt >> $wynik
##########cat $narzedzia/regions.txt >> $wynik
if [ -f $skad/$miasto-big.mp ]; then gawk '$0 ~ "END-IMG ID", EOF' < $skad/$miasto-big.mp >> $wynik; fi
# można uprościć: żeby miasta dodawało za każdym razem osobno, a nie wspólne
for pnt in `ls $skad/src/cities-*.pnt 2> /dev/null`; do cat $pnt | $pnt2poi >> $wynik; done
echo \;\; punkty >> $wynik
if [ $topo = nietopo ]; then
for pnt in `ls $skad/src/*.pnt 2> /dev/null | grep -v \.topo\. | grep -v cities`; \
do cat $pnt | grep -vf $narzedzia/md-filtr-bez | $pnt2poi -c nic >> $wynik; done
else
for pnt in `ls $skad/src/*.pnt 2> /dev/null | grep -v cities`; \
do cat $pnt | $pnt2poi -c nic >> $wynik; done
fi;
echo \;\; koniec >> $wynik
$narzedzia/formatuj_numery_telefonow.pl < $wynik > $temp 2> $wyslac
mv $temp $wynik
if [ -d $skad/src ]; then
for m in `ls $skad/src/*.ulice.txt 2> /dev/null | grep -v inne`; do
# nie przerabiaj na miasto
# zpliku=`echo $miasto | cut -d "/" -f 8`
# miastko=`echo $zpliku | cut -d "." -f 1`
# cat $skad/src/$zpliku | gawk '{sub(/^\[POLYLINE\]/,"\[POLYLINE\]\nMiasto='$miastko'");print}' >> $wyniky
gawk -f $narzedzia/md-montaz.awk $m | grep -v Plik= >> $wynik
done
cat $skad/src/*inne.ulice.txt >> $wynik 2> /dev/null
cat $skad/src/*.drogi.txt >> $wynik 2> /dev/null
cd $skad/src
cat `ls -1 | grep -f $narzedzia/md-filtr | grep -v \.ulice\.txt | grep -v \.drogi\.txt | grep -v \.zakazy\.txt` >> $wynik
if [ $topo = topo ]; then cat *.topo.txt 2> /dev/null >> $wynik; fi
# SERIA PODMIAN - może to można uprościć, albo zmienić kolejność, ale po co?
# zamiana typów dwubajtowych na trzybajtowe
cat $wynik | sed -e 's/Type=0xe0/Type=0x010e0/g' \
-e 's/Type=0xe1/Type=0x010e1/g' > $temp; mv $temp $wynik
# -e 's/Type=0xf0/Type=0x010f0/g' \
# -e 's/Type=0xf1/Type=0x010f1/g' > $temp; mv $temp $wynik
cd -> /dev/null
# zmiana typów
# $skrypty/zamien_rampy.pl $wynik 2> /dev/null
# zamień myślniki w nazwach na spacje
sed '/Label/s/-/ /g' $wynik > $temp
# dodaj Label2, jeśli Label ma tabliczkę i nazwę
gawk -f $narzedzia/label2.awk < $temp > $wynik
# mv $temp $wynik
#if [ -a $skad/src/*.zakazy.txt ]; then
cat $skad/src/*.zakazy.txt >> $wynik 2> /dev/null
#; fi
if [ $ogonki = tak ]; then
# zamiana 0x2d-f na 0x04-6 (kodowanie 8bit)
sed -e 's/~\[0x2d/~\[0x04/g' -e 's/~\[0x2e/~\[0x05/g' -e 's/~\[0x2f/~\[0x06/g' $wynik > $temp; mv $temp $wynik
fi;
if [ $NI = nie ]; then
# ucinamy też dzielnice vel drugie miasta
cut -f 1 -d @ $wynik > $temp; mv $temp $wynik; fi
## granice wspólne i obszar - tylko właściwe (szuka całych słów)
grep -w -A 5 $region $narzedzia/granice.txt >> $wynik
grep -w -A 6 $region $narzedzia/obszary.txt >> $wynik
fi
wojekbledy=$logi/wojek-bledy-$miasto.wpt
/usr/local/bin/wojek -s $homek/gps/wojek-slownik.txt -k $wojekmapa -d -e $wojekbledy < $wynik > $temp 2> $wojeklog
mv $temp $wynik
if [ `grep -c . $wojekbledy` -eq 4 ]
then rm $wojekbledy
else cat $wojekbledy | mail aldziew -s wojek-$miasto
fi
### seria podmianek:
# zamiana Miasto= na CityName=, kod pocztowy też
# oraz rozwiązanie sklejania ][ przez dodawanie entera między obiektami
sed -e 's/Miasto=/CityName=/g' -e 's/^KodPoczt=/ZIP=/g' -e 's/^\[POLY/\n\[POLY/g' $wynik > $temp; mv $temp $wynik
# dla Polski - tłumaczenie ISO-8859-2 na CP1250
if [ `echo $ID | cut -c 1,2` -eq 48 ]; then
# ąB1 śB6 źBC ĄA1 ŚA6 ŹAC šB9 <9C>9C <9F>9F ĽA5 <8C>8C <8F>8F
cat $wynik | tr '\261\266\274\241\246\254' '\271\234\237\245\214\217' > $temp; mv $temp $wynik
fi
# tłumaczenie CP1250 na bezogonkowe
if [ $ogonki = nie ]
then
cat $wynik | \
sed -e 's/ß/ss/g' | \
tr '<80><8A><8C><8D><8E><8F><99><9A><9C><9D><9E><9F>ŁĽŠŞŽŻłšşźžżŔŕÁáÂâĂăÄäĹĺĆćÇçČčÉéĘęËëĚěÍíÎîĎďĐđŃńŇňÓóÔôŐőÖöŘřŮůÚúŰűÜüÝýŢţß_' \
'ESSTZZtsstzzLAcSrZlasLlzRrAaAaAaAaLlCcCcCcEeEeEeEeIiIiDdDdNnNnOoOoOoOoRrUuUuUuUuYyTtB ' > $temp;
else
# dla wszystkich - tylko zamiana podkreślenia na spację (bo wieloczłonowe nazwy miast brane z nazw plików *.ulice.txt
cat $wynik | tr "_" " " > $temp;
fi
mv $temp $wynik
zip -qDj $homek/ftp/zrodla/net-$miasto $wynik ; chmod go+r $homek/ftp/zrodla/net-$miasto.zip
#cp $wynik ~/skrypty/dla-netgena.mp
/usr/local/bin/netgen -b -j -k -R -T$narzedzia/netgen.cfg < $wynik > $temp 2> $netgenlog
# -e0.00002 -p5
mv $temp $wynik
# KONIEC MONTOWANIA
if [ $ogonki = nie ]; then
cat $wynik | tr '{}' '()' > $temp
mv $temp $wynik
fi
# poprawka (podnoszenie) leveli - skrypt Michała Jankowskiego
cat $wynik | $skrypty/podnies-poziom.pl > $temp
mv $temp $wynik
# topo albo ogonki - koniec roboty bo serwer nie kompiluje kolorowych szlaków
if [ $topo = topo ]; then zip -q -Dj $homek/ftp/zrodla/srt-$miasto $wynik; chmod go+r $homek/ftp/zrodla/srt-$miasto.zip; rm $wyslac; exit; fi
if [ $ogonki = tak ]; then zip -q -Dj $homek/ftp/zrodla/sro-$miasto $wynik; chmod go+r $homek/ftp/zrodla/sro-$miasto.zip; rm $wyslac; exit; fi
if [ $NI = tak ]; then zip -q -Dj $homek/ftp/zrodla/src-$miasto $wynik; chmod go+r $homek/ftp/zrodla/src-$miasto.zip; rm $wyslac; exit; fi
# zwykłe - nie potrzeba źródeł
# KOMPILACJA
#while [ -a $lockfile ]; do sleep 15s ; done
#touch $lockfile
mkdir img
date > $kompillog
date +%s >> $kompillog
nice -5 /usr/local/bin/cgpsmapper ac -m -e -l $wynik -o $img >> $kompillog
#rm $lockfile
date +%s >> $kompillog
date >> $kompillog
rm img/$ID.img.idx
#sed -e 's/^0095/0097/g' img/$ID.img.idx > $temp; mv $temp img/$ID.img.idx
#chmod go+r img/$ID.img.idx
#if [ -s img/$ID.img.idx ]; then mv img/$ID.img.idx $homek/html/ump/update/idx; else rm mv img/$ID.img.idx; fi
# sposób: luzem (na boku)
mv $img $naboku/$img
## uwaga to był mv
# sposób: do zipa
#if [ ! -f $mapatmp ]; then cp $mapa $mapatmp; fi
#zip -qm $mapatmp $img
#rm $mapatmp
rmdir img
### SPRAWDZANIE BŁĘDÓW ###
## sprawdzmy tylko dla wersji roboczej... żeby nie wypisywał tych samych błędów trzy razy
if [ $ogonki = tak ]; then exit; fi
if [ $NI = tak ]; then exit; fi
# $wynik = plik źródłowy
# Warning: Too many nodes (64) in road 102 (~[0x2c]69).
# albo
# Error R009: Limit of 60 segments for a single road exceed.
if [ `grep -c "Warning: Too many" $netgenlog` -gt 0 ]; then
echo -------- Błąd zbyt wielu skrzyżowań >> $wyslac
grep "Warning: Too many" $netgenlog | cut -d " " -f 8 | tr " " "\n" | gawk '{print "RoadID="$0"$"}' > $temp
grep -A 5 -f $temp $wynik | cut -d "," -f 1-7 >> $wyslac
#
grep -A 1 "Error R009: Limit of 60 segments" $kompillog | grep RoadID | tr -d " " | gawk '{print $0"\$"}' > $temp
grep -B 2 -A 9 -f $temp $wynik | cut -d "," -f 1-7 | grep -E "Label|CityName|Data0|--" >> $wyslac
rm $temp
fi
ilerozjazd=`grep -c "Warning: Road with" $netgenlog`
if [ $ilerozjazd -gt 0 ]
then echo -------- Rozcialem droge z numeracją $ilerozjazd razy >> $wyslac
grep -B 1 "Warning: Road with" $netgenlog >> $wyslac
#else rm $mapka
fi
#Traffic restriction for unknown points/streets
#Points: 8347 , 8479
#Road: 11817
#Note - traffic restrictions can be created only between routable points.
if [ `grep -c "Traffic restriction for unknown" $kompillog` -gt 0 ]; then
echo Traffic restriction for unknown points/streets >> $wyslac
grep -A 8 RoadID=`grep "Traffic restriction for" -A 3 $kompillog | grep Road: | cut -d " " -f 2`$ $wynik | \
grep Data0 | cut -d "," -f 1-7 >> $wyslac
#| mail aldziew -s "Zakaz się sypnął w $miasto"
fi
# kompiler
# BŁĄD cgpsmapper
# RoadID = 4288
# Error R008: Too short road to be routable - coordinates were aligned to same place.
#Error R010: No data for routing - remove 'ROUTING=Y' from [IMG ID] for non routable maps!
# /home/users/aldziew/skrypty/UMP-Olsztyn-caly.mp(18185) : Warning W004: Cannot determine type
# of element, type cannot be defined before RGNTYPE.
# (typ 0x0) bo źle wklepano składnię pnt?
# Błędy KOMPILATORA
#Distance is below 5.4, NODID1: 2269, NODID2: 2268 RgnID: 629
#Error R011: NODID points cannot be closer than 5.4 meter!
if [ `grep -c "Distance is below 5.4" $kompillog` -gt 0 ]; then
echo -------- Za blisko węzły >> $wyslac
grep "Distance is below 5.4" $kompillog | cut -d " " -f 10 | tr " " "\n" | gawk '{print "RoadID="$0"$"}' > $temp
grep -B 2 -A 9 -f $temp $wynik | cut -d "," -f 1-7 | grep -E "Label|CityName|Data0|--" >> $wyslac
rm $temp
# =?iso-8859-2?Q? i na końcu ?=
fi
# UMP-Kalisz-caly.mp(9411) : Error E019: Street cannot intersect with itself! Split this element!
#Warning: Road 544 (~[0x2e]41) passes through node 2099 (50.46705,17.34140) more than once.
if [ `grep -c "Warning.*more than once" $netgenlog` -gt 0 ]; then
echo -------- Za duże zapętlenie >> $wyslac; grep "more than once" $netgenlog >> $wyslac
fi
# cannot parse coordinates ?
# /home/users/aldziew/skrypty/UMP-Zamosc-caly.mp(29114) : Error E038: Type of element cannot be 0.
if [ `grep -c "Error E038" $kompillog` -gt 0 ]; then
echo -------- Linia typ zero >> $wyslac
for linia in `grep "Error E038:" $kompillog $wynik | cut -d "(" -f 2 | cut -d ")" -f 1`; do
head -n $linia $wynik | tail -n 3 | cut -d "," -f 1-8 >> $temp
done
cat $temp >> $wyslac
fi
# Błędy NETGEN
# Restriction: TYTUŁ. Number of roads connecting node 3398 with node 3390 (0) is other than 1.
ilerozjazd=`grep -c "Restralnum:*:" $netgenlog`
if [ $ilerozjazd -gt 0 ]
then echo -------- Restrykcje sztuk $ilerozjazd się nie wpasowało >> $wyslac; grep "Restr[a-z]*:" $netgenlog >> $wyslac
#else rm $mapka
fi
# UMP-Szczecin-caly.mp(119665) : Warning W005: Error reading data.
if [ `grep -c "Warning W005:" $kompillog` -gt 0 ]; then
echo -------- Dziwna pomylka >> $wyslac
echo > $temp
for linia in `grep "Warning W005:" $kompillog | cut -d "(" -f 2 | cut -d ")" -f 1`; do
head -n $linia $wynik | tail -n 3 | cut -d "," -f 1-8 >> $temp
done
cat $temp >> $wyslac
fi
if [ -s $wyslac ]; then
(
cat <<EOT
MIME-Version: 1.0
Content-Type: text/plain; charset="iso-8859-2"
Content-Transfer-Encoding: 8bit
From: bledy <bledy@ump.waw.pl>
To: $komumaile
Reply-To: aldziew@ump.waw.pl
Subject: [blad] Bledy w UMP-$miasto
EOT
cat $wyslac
) | /usr/sbin/sendmail -t
fi
rm $wyslac
chmod go+r $wynik 2> /dev/null
#mv $wynik $homek/skrypty
generuj indeksy
też trywialny
#!/bin/sh
homek=$HOME
cvslogstat=/tmp/cvslog-stat.$$
tmp=/tmp/cvslogtmp.$$
skrypty=$homek/skrypty
html=/home/services/httpd/html/ump
wynik=$html/cvslog.html
#lockfile=/tmp/cgpsmapper.pid
#while [ -a $lockfile ]; do sleep 15s ; done
cd $homek/cvs
#cvs -d:pserver:aldziew@localhost:/home/cvsroot log -d 31day -d now > $cvslogstat 2> /dev/null
cvs -d:pserver:aldziew@localhost:/home/cvsroot log -d "> `date -d "1 month ago" "+%F"`" > $cvslogstat 2> /dev/null
#cd - > /dev/null
gawk '{sub(/aldziew;/,"Alf/red/"); \
sub(/blackpeter;/,"BlackPeter") \
itd. itd.
sub(/Zachu;/,"Tomek_Z") \
sub(/Jarek_K;/,"Jarek_Ko") \
;print}' $cvslogstat > $tmp
## pamiętaj nie dawać spacji w nazwach !
mv $tmp $cvslogstat
rm -f $html/logi/*
gawk -f $skrypty/cvslog_filter.awk $cvslogstat > $wynik
chgrp http $html/logi/*
chmod g+r $html/logi/*
rm $cvslogstat
