Re: Připojovani k serveru

Martin Záruba swz na volny.cz
Pondělí Červen 6 08:18:10 CEST 2016


Děkuji Vám, znám se osobně s Janem Traspem a už jsem se ho dost 
natrápil, našel jsem ve firmware několik chyb, zvláště cca před dvěma 
lety. Ze začátku to byly dost závažné závady, např. výsledkem dělení 
záporným číslem byl nesmysl ap.

Po úporném zkoumání paketů, která PLC posílá a porovnání se situací, kdy 
klientem je můj program místo PLC jsem došel k závěru, že PLC pošle 
korektní paket a za ním většinou ještě jeden vadný. Server si s tím 
poradí, vadný paket zahodí, pouze jej to zbytečně dusí. V okamžiku 
navazování spojení to sice server také zvládá bez problému, ale pokud to 
má procházet několika routery v internetu, routerům se to někdy nelíbí a 
celou komunikaci o navázání spojení zahodí. A já mám smůlu.

Včera jsem posílal několik příspěvků s odkazy na data, která získal 
wireshark. Nejsem moc odborník na sítě, tak bych byl moc rád, kdyby se 
někdo z konference ještě jednou na data podíval a potvrdil mi, že se 
nemýlím. Dříve, než budu Technoline prudit, aby to opravili. Ještě 
jednou všem, kteří se mi včera snažili pomoci a také mě nasměrovali k 
nalezení problému, který jsem hledal u sebe a asi tam není, moc děkuji.

Martin Záruba

Dne 6.6.2016 v 7:40 Radek Sztwiorok napsal(a):
> Napiste Michalovi Traspemu na Technoline, jsou ochotni a vstricni. 
> Popiste problem a pokud je to doopravdy problem relatka(jako ze asi 
> ano) tak to cinan opravi. Nebylo by to poprve a ani naposled. Vypada 
> ze pocitaji vyuziti portu pro spojeni vice relatek dohromady a 
> panelu(odpovidal by tomu ten obcerstvovaci cas) Mne takhle predelaval 
> Advantech modbus komunikaci ktera se chovala podobne. Po vypadku plc 
> ci chvilkovem vypadku ci rozpojeni nebylo schopno znovu navazat 
> komunikaci po TCP s Scada systemem. Striktne mi do dvou dni poslali 
> novy firmware.
>
> Dne 5. června 2016 16:26 Zdeněk Aster <Zdenek.Aster na seznam.cz 
> <mailto:Zdenek.Aster na seznam.cz>> napsal(a):
>
>     Jo to by mohl být problém, to jsem si ani nevšimnul, pravděpodobně si
>     někdo ušetřil starosti a radši pakety posílá dvakrát a moc toho
>     neřeší,
>     v lokální síti se nic neděje v internetu už asi jo.....
>
>     Asi by se dal napsat software a otestovat jak to tcp je moc dobré
>     když mu člověk bude dělat korektní naschvály přehazí pakety a podobně,
>     ale to stejně nic neřeší to masení výrobce bude asi jedna z mála
>     možností.....
>
>     Zdeněk Aster
>
>     ---------- Původní zpráva ----------
>     Od: Martin Záruba <swz na volny.cz <mailto:swz na volny.cz>>
>     Komu: HW-news <hw-list na list.hw.cz <mailto:hw-list na list.hw.cz>>
>     Datum: 5. 6. 2016 16:22:04
>
>
>     Předmět: Re: Připojovani k serveru
>
>         No mě zarazilo to, že pokud SYN posílá program, opakují se po
>         3 a více
>         vteřinách. Nicméně mezi pakety od PLC 3-4 a 5-6 je 0,001964
>         vteřin. To
>         mi připadá jako zcela nesmyslné a je jasné, že pokud je v
>         cestě více
>         routerů, nemohou to stihnout. Takže to vypadá na jedinou
>         možnost a to
>         masit výrobce PLC. Ach jo.
>
>         Martin Záruba
>
>         Dne 5.6.2016 v 16:15 Zdeněk Aster napsal(a):
>         > No uplně netuším zas extra do hloubky tomu nerozumím...
>         > Nevypadá to uplně podezřele, wireshark sice píše nějaké
>         > hlášky k tomu ale SYN tam je, spis ze tam posila naprosto
>         > stejny paket opakuje jestli to nejaky router nemuze brat
>         > jako utok, ale pri dvou stejnych paketech se syn dost tezko....
>         >
>         >
>         > Zdenek Aster
>         >
>         > ---------- Původní zpráva ----------
>         > Od: Martin Záruba <swz na volny.cz <mailto:swz na volny.cz>>
>         > Komu: HW-news <hw-list na list.hw.cz <mailto:hw-list na list.hw.cz>>
>         > Datum: 5. 6. 2016 15:48:05
>         > Předmět: Re: Připojovani k serveru
>         >
>         >
>         > Můžete se prosím podívat ještě na tento soubor?
>         > www.ekovy.cz/plcapc.pcapng <http://www.ekovy.cz/plcapc.pcapng>
>         >
>         > Je vytvořen tak, že k počítači s IP 192.168.15.2, kde ale neběží
>         > server
>         > se pokusí připojit PLC (pakety 1-6) a pak program (Lazarus)
>         (pakety
>         > 7-12). Mám z toho pocit, že pokud se pokusí připojit program,
>         > vyšle SYN
>         > a pak to stále opakuje. Pokud ale PLC, jsou zde pro mě
>         nesrozumitelné
>         > pakety 2,3,4. Nemůže to být důvod potíží?
>         >
>         > Martin Záruba
>         >
>         > Dne 5.6.2016 v 14:39 Zdeněk Aster napsal(a):
>         > > Jo arp broadcast je tam kazdych 16 vterin ocividne funkce.
>         > > No tezko rict jestli preskoci, spis ta implementace toho tcpip
>         > > stacku je dost silena.....
>         > >
>         > > Ja teda mam co povidat, meli jsme zarizeni ktere neumi arp
>         a musi
>         > > se nastavovat rucne, ale melo to sve duvody a vlastni sit....
>         > >
>         > > Co upgrade firmware na nejaky novejsi?
>         > >
>         > > Zdenek Aster
>         > >
>         > > ---------- Původní zpráva ----------
>         > > Od: Martin Záruba <swz na volny.cz <mailto:swz na volny.cz>>
>         > > Komu: HW-news <hw-list na list.hw.cz <mailto:hw-list na list.hw.cz>>
>         > > Datum: 5. 6. 2016 14:35:23
>         > > Předmět: Re: Připojovani k serveru
>         > >
>         > >
>         > > Není, ale nevím jak IP6 vypnout.
>         > >
>         > > Takže máte pocit, že tomu PLC prostě přeskočí? Proč ale
>         pokud jde
>         > > lokálně, tak funguje?
>         > >
>         > > -
>         > >
>         > > -
>         > >
>         > > Ne. Je tam jen stálý pokus o připojení. (V PLC je teď
>         nastavena
>         > > lokální
>         > > IP serveru 192.168.15.10), viz
>         www.ekovy.cz/bezkomunikace.pcapng
>         <http://www.ekovy.cz/bezkomunikace.pcapng>
>         > >
>         > > Martin Záruba
>         > >
>         > > Dne 5.6.2016 v 14:16 Zdeněk Aster napsal(a):
>         > > > To vůbec nevadí to je jedině dobře, že tam je te komunikace
>         > víc, tam
>         > > > jsou totiž ty arp dotazy což mě zajímalo.
>         > > > Ne ze by to nejak vadilo, ale je duvod mit zapnutou IP6?...
>         > > >
>         > > > Nicmene je divne, ze jak to nejde tak se nikdo nepta na MAC
>         > > > adresu a to PLC neustale posila arp reply se svou mac
>         adresou
>         > > > jak kdyby se zacyklylo. To je fakt divný, že tam je hodně
>         > > > odpovedi a zadna otazka.
>         > > >
>         > > > Na ethernetu to funguje tak, ze pro posilani jsou
>         dulezite MAC
>         > > > adresy a aby zjistil jaka IP patri k jake MAC adrese
>         posle dotaz
>         > > > broadcast vsem ARP a pta se na MAC adresu dane ip a dostane
>         > > > odpoved. A to plc posila odpovedi a nedostava otazku.....
>         > > > A nebo si chteli zjednodusit zivot a posila stale odpoved
>         > brodcastem
>         > > > aby to nemuseli resit.....
>         > > > Protoze vetsinou odpovida dotycny uz se svou MAC adresou,
>         > > > ta jednotka odpovida broadcastem...
>         > > >
>         > > > A hlavne je tam jedna odpoved kde rika ze
>         > > > ip 0.0.0.0 ma adresu plc coz taky neni uplne normalni....
>         > > >
>         > > > Kdyz zapojite jednotku, do pc primo, bez zadne
>         komunikace a date
>         > > > wiresharkem grebovat data, tak by me zajimalo jestli tam
>         neco
>         > > beha....
>         > > > Idealne je teda v pc odstranit vsechna vcetne microsoft
>         klienta a
>         > > > necht jen
>         > > > IP4 protokol v konfiguraci.
>         > > >
>         > > >
>         > > > Zdenek Aster
>         > > >
>         > > >
>         > > >
>         > > > ---------- Původní zpráva ----------
>         > > > Od: Martin Záruba <swz na volny.cz <mailto:swz na volny.cz>>
>         > > > Komu: HW-news <hw-list na list.hw.cz
>         <mailto:hw-list na list.hw.cz>>
>         > > > Datum: 5. 6. 2016 13:34:06
>         > > > Předmět: Re: Připojovani k serveru
>         > > >
>         > > >
>         > > > Ty pakety jsou opravdu malé, prakticky všechny jsou do
>         80byte.
>         > > >
>         > > > Té druhé části moc nerozumím. Ještě zopakuji: lokálně to
>         funguje
>         > > > vždy.
>         > > > Přes internet jsem to zkoušel přes tři různá připojení a
>         na velmi
>         > > > pomalém (EDGE) i docela svižném (5MBit) se to chová
>         úplně stejně.
>         > > > Pokud
>         > > > se to chytne, už to funguje bez problémů.
>         > > >
>         > > > Mám pocit, že problém je v rychlosti odezvy. Pokud totiž
>         > > připojím PLC
>         > > > přes router, ale přímo do lokální sítě, tak to funguje vždy.
>         > > Pokud to
>         > > > ale jde po internetu, nedostane se požadavek na navázání
>         spojení
>         > > > (většinou) vůbec k serveru. Pokud ale stejnou cestou
>         připojím
>         > > > program v
>         > > > PC v režimu klienta, připojí se k serveru vždy. Není to
>         tedy tím,
>         > > > že PLC
>         > > > dostane odpověď tak pozdě, že se na to vykašle, protože ten
>         > > > požadavek se
>         > > > vůbec nedostane k serveru. Dal jsem soubor z routeru
>         (PC) kam je
>         > > > připojeno PLC na www.ekovy.cz/data.pcapng
>         <http://www.ekovy.cz/data.pcapng>
>         > > >
>         > > > PLC má IP 192.168.137.13 , je připojena k PC k rozhraní
>         > > 192.168.137.1
>         > > > To posílá data do internetu, na server, který běží na adrese
>         > > > 81.90.250.131 Veškerá komunikace je na portu 21002 Do
>         wiresharku
>         > > jsem
>         > > > dal filtr tcp.port==21002 ale stejně tam jsou i jiné
>         pakety, něco
>         > > > dělám
>         > > > blbě.
>         > > >
>         > > > Od začátku až po paket 5981 je případ, kdy se spojení
>         podařilo
>         > > > navázat a
>         > > > v Data vidím jasně moje data (začínají EK).
>         > > >
>         > > > Pak jsem PLC vypnul a počkal, až na serveru proběhl
>         timeout a
>         > > > znovu jej
>         > > > zapnul. Nyní se již spojení nenavázalo.
>         > > >
>         > > > Martin Záruba
>         > > >
>         > > > Dne 5.6.2016 v 13:05 Zdeněk Aster napsal(a):
>         > > > > No ono uz i ta delka maximalni paketu 1056 o ledascem
>         spatnem
>         > > > svedci.
>         > > > > Nicmene male pakety by nemel byt problem.
>         > > > > Jeste me napada nemuze si to nejak blbe rozumet s default
>         > > > gatway, na
>         > > > > jakou
>         > > > > adresu ty pakety jdou a jakou adresu ma ten router a
>         to pc a
>         > plc?
>         > > > >
>         > > > > Zdenek Aster
>         > > > >
>         > > > > ---------- Původní zpráva ----------
>         > > > > Od: iko <iko.ikoon na gmail.com <mailto:iko.ikoon na gmail.com>>
>         > > > > Komu: HW-news <hw-list na list.hw.cz
>         <mailto:hw-list na list.hw.cz>>
>         > > > > Datum: 5. 6. 2016 12:58:32
>         > > > > Předmět: Re: Připojovani k serveru
>         > > > >
>         > > > >
>         > > > > TTL tam je 255
>         > > > >
>         > > > > ale to PLC ma velmi divnu komunikaciu, uz pri SYN su same
>         > > > > retransmisiomy, a out of order. Taky chaos som uz dlho
>         nevidel.
>         > > > >
>         > > > > Dňa 5. júna 2016 12:34:06 SELČ používateľ "Martin Záruba"
>         > > > > <swz na volny.cz <mailto:swz na volny.cz>> napísal:
>         > > > >
>         > > > > Kde najdu v paketu TTL?
>         > > > >
>         > > > > Martin Záruba
>         > > > >
>         > > > > Dne 5.6.2016 v 12:01 Pavel Hudecek napsal(a):
>         > > > >
>         > > > > Též bych doporučil jako první zkoumat TTL v PLC. PH
>         > > > > *From:* iko <mailto:iko.ikoon na gmail.com
>         <mailto:iko.ikoon na gmail.com>> Skoro si myslim
>         > > > > ze to PLC to ma nejak odflaknute... Napadlo ma, vedeli by
>         > > > > ste zistit ake TTL nastavuje to PLC? TTL je time to live,
>         > > > > cislo v pakete, ktore urcuje zivotnost paketu. Na kazdom
>         > > > > routri sa znizi o 1 a ked je 0, paket sa zahodi. Ak by PLC
>         > > > > nastavovalo nizke, tak paket moze byt cestou normalne
>         > > > > skartovany. Dňa 5. júna 2016 9:59:00 SELČ používateľ
>         > > > > "Martin Záruba" <swz na volny.cz <mailto:swz na volny.cz>>
>         napísal: Tak jsem uchodil
>         > > > > wireshark na serveru a v případě připojení programem chodí
>         > > > > pakety, kde poznám jasně oblast Data, v případě, kdy se má
>         > > > > připojit PLC nepřijde nic (ani SYN). Takže server za to
>         > > > > nemůže. Martin Záruba Dne 5.6.2016 v 8:43 iko napsal(a): a
>         > > > > co na to wireshark na strane serveru? pride aspon SYN
>         > > > > paket? Dňa 5. júna 2016 7:51:50 SELČ používateľ "Martin
>         > > > > Záruba" <swz na volny.cz <mailto:swz na volny.cz>> napísal:
>         Zřejmě je problém v
>         > > > > okamžiku, kdy PLC má vytvořit spojení. PLC jde nastavit
>         > > > > jako klient nebo server. Režim server chodí bez problémů,
>         > > > > ale vyžaduje veřejnou IP na straně PLC. V režimu klient
>         > > > > jde samozřejmě zadat IP adresu serveru, port a dále je zde
>         > > > > volba Active Connect, kde je zvoleno Autostart.
>         > > > > Předpokládám, že to způsobí vytvoření kanálu k serveru.
>         > > > > Ale jen někdy. Jiné nastavení už zde není. Martin Záruba
>         > > > > Dne 5.6.2016 v 7:39 Zdeněk Aster napsal(a): No já nevím
>         > > > > takhle podobně se fakt chová MTU, nejde o velikost dat co
>         > > > > posíláte vy, ale jak to rozdělí obsluha operačního
>         > > > > systému. A pokud to PLC ma nastavené pakety ethernetu,
>         > > > > který mají MTU 1500, a jakmile mam v ceste nekde pppoe uz
>         > > > > je hodnota jen 1492. Je to maximalni paket, ktery lze
>         > > > > protlacit cestou, nezavisi na tom odeslani dat v programu
>         > > > > to jsme resili minule Vy nevité jak to operacni system
>         > > > > naseká na kousky ani to člověka nezajíma. Ale routry jo
>         > > > > pokud je paket delší než mtu, tak většinou to ten router v
>         > > > > cestě zahodí. Fakt nemůžete zkusit nějaký paket z toho PLC
>         > > > > třeba jen pár bajtů. Na pocitaci to clovek vetsinou pozna
>         > > > > tak, ze mu to preklada DNS, (male dotazy) ale nejedou
>         > > > > treba webove stranky a podobne. Zdeněk Aster ----------
>         > > > > Původní zpráva ---------- Od: Martin Záruba
>         <swz na volny.cz <mailto:swz na volny.cz>>
>         > > > > Komu: HW-news <hw-list na list.hw.cz
>         <mailto:hw-list na list.hw.cz>> Datum: 5. 6. 2016
>         > > > > 7:28:59 Předmět: Re: Připojovani k serveru Ano, je to TCP,
>         > > > > ale problém je, že server vůbec nezaregistruje pokus o
>         > > > > otevření portu. Pokud ale totéž udělá PC ze stejného
>         > > > > připojení, server zaznamená pokus o připojení. Zkusil jsem
>         > > > > to i z jiného připojení přes jiného poskytovatele
>         > > > > internetu a chová se to stejně. Mě úplně není jasné, jak
>         > > > > se vlastně vytváří spojení přes několik routerů. Pokud v
>         > > > > programu na PC zavolám TCP.Connect(FIPInterface, FIPPort),
>         > > > > vzdálený server zaregistruje otevření portu. A to muselo
>         > > > > projít přes několik routerů. Pokud ale totéž udělá PLC,
>         > > > > zaregistruje to server jen někdy. Takže problém nastává
>         > > > > dříve, než nějaký paket vůbec odešlu. Myslím proto, že ve
>         > > > > velikosti paketu to nebude, z PC to funguje ať odesílám
>         > > > > pár byte nebo několik MB Martin Záruba Dne 5.6.2016 v 7:13
>         > > > > Zdeněk Aster napsal(a): No ten popis je dost obecný na
>         > > > > nějakou rozumnou diagnostiku, předpokládám, že jde o TCP
>         > > > > protokol, když se tu nedávno řešil server. Jediné co mě
>         > > > > napadá je nastavení MTU, jak velký je ten paket co
>         > > > > neprojde. Mužete zkusit nějaký opravdu krátký paket na
>         > > > > odladění? Zdeněk Aster ---------- Původní zpráva
>         > > > > ---------- Od: Martin Záruba <swz na volny.cz
>         <mailto:swz na volny.cz>> Komu: Martin
>         > > > > Zaruba <hw-list na list.hw.cz
>         <mailto:hw-list na list.hw.cz>> Datum: 5. 6. 2016 5:41:04
>         > > > > Předmět: Připojovani k serveru Mám program v režimu server
>         > > > > IP. Připojuje se k němu jiný program v režimu klient -
>         > > > > funguje. Připojuje se k němu PLC v režimu klient -
>         > > > > funguje. Toto vše, ale jen pokud pracuji na lokální síti.
>         > > > > Server má veřejnou IP a z internetu se k němu program bez
>         > > > > problému a vždy připojí. PLC ale jen někdy. Ve většině
>         > > > > případů server nezaznamená vůbec pokus o připojení od PLC.
>         > > > > Někdy ale ano. PLC vždy bez problémů získá vše z DHCP
>         > > > > serveru, nebo jsem zkusil vše nastavit natvrdo a chová se
>         > > > > to stejně. Vypadá to, že požadavek na připojení od PLC
>         > > > > většinou neprojde přes routery v cestě přes internet. Ale
>         > > > > pokud totéž dělá program na PC, vždy to funguje. Napadá
>         > > > > Vás kde hledat problém? Martin Záruba
>         > > > >
>         > > >
>         > >
>         >
>         ------------------------------------------------------------------------
>         > > > > HW-list mailing list - sponsored by www.HW.cz
>         <http://www.HW.cz>
>         > > > > <http://www.HW.cz> Hw-list na list.hw.cz
>         <mailto:Hw-list na list.hw.cz>
>         > > > > http://list.hw.cz/mailman/listinfo/hw-list
>         > > > >
>         > > > >
>         > > > >
>         > > > > ---
>         > > > > Tato zpráva byla zkontrolována na viry
>         > > > > programem Avast Antivirus.
>         > > > > https://www.avast.com/antivirus
>         > > > >
>         > > > >
>         > > >
>         > >
>         >
>         ------------------------------------------------------------------------
>         > > > >
>         > > > > HW-list mailing list - sponsored bywww.HW.cz
>         <http://bywww.HW.cz> <http://www.HW.cz>
>         > > > > Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>         > > > > http://list.hw.cz/mailman/listinfo/hw-list
>         > > > >
>         > > > > -- iko Tento email neobsahuje virusy, pretoze
>         nepouzivam MS
>         > > Windows.
>         > > > > _______________________________________________
>         HW-list mailing
>         > > > > list - sponsored by www.HW.cz <http://www.HW.cz>
>         Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>         > > > > http://list.hw.cz/mailman/listinfo/hw-list
>         > > > >
>         > > > > _______________________________________________
>         > > > > HW-list mailing list - sponsored by www.HW.cz
>         <http://www.HW.cz>
>         > > > > Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>         > > > > http://list.hw.cz/mailman/listinfo/hw-list
>         > > >
>         > > > ---
>         > > > Tato zpráva byla zkontrolována na viry programem Avast
>         Antivirus.
>         > > > https://www.avast.com/antivirus
>         > > >
>         > > > _______________________________________________
>         > > > HW-list mailing list - sponsored by www.HW.cz
>         <http://www.HW.cz>
>         > > > Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>         > > > http://list.hw.cz/mailman/listinfo/hw-list
>         > > >
>         > > >
>         > > >
>         > > > _______________________________________________
>         > > > HW-list mailing list - sponsored by www.HW.cz
>         <http://www.HW.cz>
>         > > > Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>         > > > http://list.hw.cz/mailman/listinfo/hw-list
>         > >
>         > >
>         > > ---
>         > > Tato zpráva byla zkontrolována na viry programem Avast
>         Antivirus.
>         > > https://www.avast.com/antivirus
>         > >
>         > > _______________________________________________
>         > > HW-list mailing list - sponsored by www.HW.cz
>         <http://www.HW.cz>
>         > > Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>         > > http://list.hw.cz/mailman/listinfo/hw-list
>         > >
>         > >
>         > >
>         > > _______________________________________________
>         > > HW-list mailing list - sponsored by www.HW.cz
>         <http://www.HW.cz>
>         > > Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>         > > http://list.hw.cz/mailman/listinfo/hw-list
>         >
>         >
>         > ---
>         > Tato zpráva byla zkontrolována na viry programem Avast
>         Antivirus.
>         > https://www.avast.com/antivirus
>         >
>         > _______________________________________________
>         > HW-list mailing list - sponsored by www.HW.cz <http://www.HW.cz>
>         > Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>         > http://list.hw.cz/mailman/listinfo/hw-list
>         >
>         >
>         >
>         > _______________________________________________
>         > HW-list mailing list - sponsored by www.HW.cz <http://www.HW.cz>
>         > Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>         > http://list.hw.cz/mailman/listinfo/hw-list
>
>
>         ---
>         Tato zpráva byla zkontrolována na viry programem Avast Antivirus.
>         https://www.avast.com/antivirus
>
>         _______________________________________________
>         HW-list mailing list - sponsored by www.HW.cz <http://www.HW.cz>
>         Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>         http://list.hw.cz/mailman/listinfo/hw-list
>
>
>     _______________________________________________
>     HW-list mailing list  -  sponsored by www.HW.cz <http://www.HW.cz>
>     Hw-list na list.hw.cz <mailto:Hw-list na list.hw.cz>
>     http://list.hw.cz/mailman/listinfo/hw-list
>
>
>
>
> _______________________________________________
> HW-list mailing list  -  sponsored by www.HW.cz
> Hw-list na list.hw.cz
> http://list.hw.cz/mailman/listinfo/hw-list


---
Tato zpráva byla zkontrolována na viry programem Avast Antivirus.
https://www.avast.com/antivirus



Další informace o konferenci Hw-list