non linearité et reseau de neurones

une fonction y=f(x) est linéaire si quand vous doublez ( ou triplez ou.....) l 'entrée la sortie double ( ou triple ou ....) aussi

exemple si si pour x =2,5  f(2,5) =6,8 alors pour x=2*2,5=5  f(5)=2*6,8=13,6

si mon circuit électronique fonctionnant en mode linéaire  est une boite noire avec une entrée  et une sortie ben si je triple l entrée alors la sortie triplera.( par exemple une balance électronique sur laquelle je pose 2 boules identiques puis 4 puis 6.....)

une fonction non linéaire ben la sortie  ne doublera pas.

exemple si si pour x =2,5  f(2,5) =6,8 alors pour x=2*2,5=5  f(5)=3 ( exemple la fonction sinus ou carré)

le coeur des reseaux de neurones c'est de l'électronique non linéaire

la non linéarité permet de mieux séparer données.

par exemple la variance en statistique

Étant donnée une série statistique d’une variable réelle (x₁, x₂, ..., x_n), dont on a calculé la moyenne x ¯ = 1 n ∑ i = 1 n x i {\displaystyle {\overline {x}}={\frac {1}{n}}\sum _{i=1}^{n}x_{i}} , la variance est la moyenne des carrés des écarts à cette moyenne :

V = 1 n ∑ i = 1 n ( x i − x ¯ ) 2 {\displaystyle V={\frac {1}{n}}\sum _{i=1}^{n}\left(x_{i}-{\overline {x}}\right)^{2}} .

pour illustrer prenez un jeux de fléchettes la cible va de zero au centre à par exemple 2.Lancer les fléchettes

mesurer la distance entre centre et position fléchette:

flechette1=0.5 flechette 2=0.9 flechette 3=1.1 flechette 4=1.8

maintenant prenons le carré de cette distance ( f(x)=x^2 est une fonction non linéaire)

fléchette 1=0,25 fléchette 2=0,81 fléchette3=1,21 fléchette4=3,24

vous contatez que toutes les fléchettes inferieur à 1 on tendance à se regrouper vers zero et que les fléchettes superieure à 1 ont tendance à s'eloigner  de 1 la non linéarite permet de mieux séparer les fléchettes qui sont inferieures à 1 de celle qui sont supérieures à 1.