site II

[Marek Peca]

> > Je mozne ze se mi v Matlabu stejna sit se stejnou trenovaci mnozinou
> > pokazde natrenuje jinak? Nevim jestli uz nemam halucinace...

Ano, to je zcela normalni, ba dokonce zadane :-).

> Kazdy neuron ma jinou "citlivost" (v realu, pri simulaci nejspis taky - bez 
> toho by totiz neuronove pole nejspis ani nemohlo nikdy fungovat).
> 
> Tedy kdyz restartujete neuronove pole, "rozhodi" se tam i jinak citlive 
> neurony.

Mozna vas nechapu, ale takhle to v klasickem backpropu nefunugje. Jde
o to, ze vahy kazdeho neuronu jsou inicializovany na pocatku nahodne
a pak se jede numericky po svahu kopce dolu.

Problem ovsem je, kdyz se zasekneme v lokalnim doliku nekde vysoko.
Na to jsou pak ruzne leky, jako setrvacnost nebo zihani
("zatrepani"). Holt ovsem aproximovat tak osklivymi nelinearimi
funkcemi, to neni zadnej med.


Marek P.