ground truth ΠΌΠ°ΡΠΈΠ½Π½ΠΎΠ΅ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅
Sagemaker β Exploring Ground truth labeling | ML
In this article, we are exploring the ground truth labelling and how it is helpful in reducing the burden of labelling datasets on developers.
Attention reader! Donβt stop learning now. Get hold of all the important Machine Learning Concepts with the Machine Learning Foundation Course at a student-friendly price and become industry ready.
Amazon sagemaker Ground truth:
Ask any machine learning expert βWhat is the majority task that consumes a whole lot of time in the machine learning part?β And first, they will say preparing and cleaning datasets and secondly labelling them accurately that fits the models. So, in general labelling, the datasets consume 70% of the time and it would take more if the model you are feeding this dataset is sensitive enough. Amazon Ground truth provides the labelling service in which it not only just does the labelling but also creates the files that are required for the models to understand. Ground truth provides three services namely
Customers can also bring their custom labelling tasks. So, how in the first place we are going to provide input data and what kind of output format that we can expect from ground truth?
Code: Labelling job looks like which was performed on a bird image.
What is the difference between «ground truth» and «ground-truth labels»?
I’m aware that the ground-truth of the example at the top left-hand corner of the image below is «zero»
However, I am confused about the meaning of the terms ground truth and ground-truth labels. What is the difference between them?
Could someone give a hint of it?
2 Answers 2
These two terms could easily refer to the same thing, depending on the context. For example, a lazy person could easily say something like this
We compute the loss/error between the prediction (of the model) and the ground truth.
Here, the ground-truth refers to the «officially correct» label (categorical or numerical) for a given input with which you compute the prediction. So, in this case, ground-truth would be a synonym for a ground-truth label.
However, in general, ground-truth refers to anything, not just labels, that are correct or true (hence the name), so it could be used more generally. For instance, you could say something like this
We assume that the ground-truth underlying probability distribution from which the data is sampled is a Gaussian.
However, in this case, you could also leave out the ground-truth part, as it’s more or less implied by the fact that you’re assuming something.
So, the difference between the two is that «ground-truth» can be used more generally to refer to anything that is «true».
Ground Truth
‘Ground truth’ is that data or information that you have that is ‘true’ or assumed to be true. That means that you have high or perfect knowledge of what it is. For example, in your image of numbers, you know that the first row are zeros, the second row are ones, the third are twos, and so on. You have 10 rows of data, each row is of a different class or category. Each class has 16 samples. Ground truth data is used to train machine learning or deep learning models. The example you provided is from the Modified National Institute of Standards and Technology (MNIST) database which is commonly used for building image classifiers for handwritten digits.
Ground Truth Labels
The ‘ground-truth labels’ are the names you choose to give them. You may choose to label the classes as ‘0’, ‘1’, ‘2’, etc., or as ‘zero’, ‘one’, ‘two’, etc. Maybe you think in Greek. If so label them as ‘ΞΌΞ·Ξ΄ΞΞ½’, ‘ΞΞ½Ξ±’, ‘Ξ΄ΟΞΏ’, etc.
Π‘ΠΠΠΠ ΠΠΠΠΠ
ΠΡΠΈΠΌΠΎΠ»ΠΎΠ³ΠΈΡ
ΠΠΊΡΡΠΎΡΠ΄ΡΠΊΠΈΠΉ ΡΠ»ΠΎΠ²Π°ΡΡ Π°Π½Π³Π»ΠΈΠΉΡΠΊΠΎΠ³ΠΎ ΡΠ·ΡΠΊΠ° (Π£Π Β«Π·Π΅ΠΌΠ»Ρ ΠΈΡΡΠΈΠ½Π°Β») ΡΠ΅Π³ΠΈΡΡΡΠΈΡΡΠ΅Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠ»ΠΎΠ²Π° Β«GroundtruthΒ» Π² ΡΠΌΡΡΠ»Π΅ Β«ΡΡΠ½Π΄Π°ΠΌΠ΅Π½ΡΠ°Π»ΡΠ½ΠΎΠΉ ΠΈΡΡΠΈΠ½ΡΒ» ΠΈΠ· ΠΏΠΎΡΠΌΡ ΠΠ΅Π½ΡΠΈ ΠΠ»Π»ΠΈΡΠΎΠ½Π° Β«Π‘ΠΈΠ±ΠΈΡΡΠΊΠ°Ρ ΡΡΡΠ»ΠΊΠ° Π‘ΠΊΠ°Π·ΠΊΠ°Β», ΠΎΠΏΡΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½Π½ΠΎΠΉ Π² 1833 Π³ΠΎΠ΄Ρ.
Π‘ΡΠ°ΡΠΈΡΡΠΈΠΊΠ° ΠΈ ΠΌΠ°ΡΠΈΠ½Π½ΠΎΠ΅ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅
ΠΠΈΡΡΠ°Π½ΡΠΈΠΎΠ½Π½ΠΎΠ΅ Π·ΠΎΠ½Π΄ΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅
ΠΠΎΠ»Π΅Π΅ ΠΊΠΎΠ½ΠΊΡΠ΅ΡΠ½ΠΎ, Π½Π°Π·Π΅ΠΌΠ½Π°Ρ ΠΈΡΡΠΈΠ½Π° ΠΌΠΎΠΆΠ΅Ρ ΠΎΡΠ½ΠΎΡΠΈΡΡΡΡ ΠΊ ΠΏΡΠΎΡΠ΅ΡΡΡ, Π² ΠΊΠΎΡΠΎΡΠΎΠΌ Β« ΠΏΠΈΠΊΡΠ΅Π»Ρ Β» Π½Π° ΡΠΏΡΡΠ½ΠΈΠΊΠΎΠ²ΠΎΠΌ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΠΈ ΡΡΠ°Π²Π½ΠΈΠ²Π°Π΅ΡΡΡ Ρ ΡΠ΅ΠΌ, ΡΡΠΎ Π΅ΡΡΡ Π½Π° ΡΠ°ΠΌΠΎΠΌ Π΄Π΅Π»Π΅ (Π² Π½Π°ΡΡΠΎΡΡΠ΅Π΅ Π²ΡΠ΅ΠΌΡ), ΡΡΠΎΠ±Ρ ΠΏΡΠΎΠ²Π΅ΡΠΈΡΡ ΡΠΎΠ΄Π΅ΡΠΆΠ°Π½ΠΈΠ΅ Β«ΠΏΠΈΠΊΡΠ΅Π»ΡΒ» Π½Π° ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΠΈ (ΠΎΡΠΌΠ΅ΡΠ°Ρ ΡΡΠΎ ΠΏΠΎΠ½ΡΡΠΈΠ΅ Β«ΠΏΠΈΠΊΡΠ΅Π»ΡΒ» Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ Π½Π΅ΠΊΠΎΡΡΠ΅ΠΊΡΠ½ΠΎ). Π ΡΠ»ΡΡΠ°Π΅ ΠΊΠ»Π°ΡΡΠΈΡΠΈΡΠΈΡΠΎΠ²Π°Π½Π½ΠΎΠ³ΠΎ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΡ ΡΡΠΎ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΠ΅Ρ ΠΎΡΡΡΠ΅ΡΡΠ²Π»ΡΡΡ ΠΊΠΎΠ½ΡΡΠΎΠ»ΠΈΡΡΠ΅ΠΌΡΡ ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΡ, ΡΡΠΎΠ±Ρ ΠΏΠΎΠΌΠΎΡΡ ΠΎΠΏΡΠ΅Π΄Π΅Π»ΠΈΡΡ ΡΠΎΡΠ½ΠΎΡΡΡ ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΈ, Π²ΡΠΏΠΎΠ»Π½ΡΠ΅ΠΌΠΎΠΉ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠ½ΡΠΌ ΠΎΠ±Π΅ΡΠΏΠ΅ΡΠ΅Π½ΠΈΠ΅ΠΌ Π΄ΠΈΡΡΠ°Π½ΡΠΈΠΎΠ½Π½ΠΎΠ³ΠΎ Π·ΠΎΠ½Π΄ΠΈΡΠΎΠ²Π°Π½ΠΈΡ, ΠΈ, ΡΠ»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»ΡΠ½ΠΎ, ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·ΠΈΡΠΎΠ²Π°ΡΡ ΠΎΡΠΈΠ±ΠΊΠΈ Π² ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΈ, ΡΠ°ΠΊΠΈΠ΅ ΠΊΠ°ΠΊ ΠΎΡΠΈΠ±ΠΊΠΈ ΡΠΎΠ²Π΅ΡΡΠ΅Π½ΠΈΡ ΠΈ ΠΎΡΠΈΠ±ΠΊΠΈ ΡΠΏΡΡΠ΅Π½ΠΈΡ.
ΠΠ°Π·Π΅ΠΌΠ½Π°Ρ ΠΏΡΠΎΠ²Π΅ΡΠΊΠ° ΠΎΠ±ΡΡΠ½ΠΎ Π²ΡΠΏΠΎΠ»Π½ΡΠ΅ΡΡΡ Π½Π° ΠΌΠ΅ΡΡΠ΅, Π²ΡΠΏΠΎΠ»Π½ΡΡ Π½Π°Π·Π΅ΠΌΠ½ΡΠ΅ Π½Π°Π±Π»ΡΠ΄Π΅Π½ΠΈΡ ΠΈ ΠΈΠ·ΠΌΠ΅ΡΠ΅Π½ΠΈΡ ΡΠ°Π·Π»ΠΈΡΠ½ΡΡ ΡΠ²ΠΎΠΉΡΡΠ² Ρ Π°ΡΠ°ΠΊΡΠ΅ΡΠΈΡΡΠΈΠΊ ΡΡΠ΅Π΅ΠΊ Π½Π°Π·Π΅ΠΌΠ½ΠΎΠ³ΠΎ ΡΠ°Π·ΡΠ΅ΡΠ΅Π½ΠΈΡ, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΈΠ·ΡΡΠ°ΡΡΡΡ Π½Π° ΡΠΈΡΡΠΎΠ²ΠΎΠΌ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΠΈ, ΠΏΠΎΠ»ΡΡΠ΅Π½Π½ΠΎΠΌ Ρ ΠΏΠΎΠΌΠΎΡΡΡ Π΄ΠΈΡΡΠ°Π½ΡΠΈΠΎΠ½Π½ΠΎΠ³ΠΎ Π·ΠΎΠ½Π΄ΠΈΡΠΎΠ²Π°Π½ΠΈΡ. ΠΠ½ ΡΠ°ΠΊΠΆΠ΅ Π²ΠΊΠ»ΡΡΠ°Π΅Ρ Π² ΡΠ΅Π±Ρ ΠΏΠΎΠ»ΡΡΠ΅Π½ΠΈΠ΅ Π³Π΅ΠΎΠ³ΡΠ°ΡΠΈΡΠ΅ΡΠΊΠΈΡ ΠΊΠΎΠΎΡΠ΄ΠΈΠ½Π°Ρ ΡΡΠ΅ΠΉΠΊΠΈ ΡΠ°Π·ΡΠ΅ΡΠ΅Π½ΠΈΡ Π½Π° ΠΌΠ΅ΡΡΠ½ΠΎΡΡΠΈ Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΡΠ΅Ρ Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ GPS ΠΈ ΡΡΠ°Π²Π½Π΅Π½ΠΈΠ΅ ΠΈΡ Ρ ΠΊΠΎΠΎΡΠ΄ΠΈΠ½Π°ΡΠ°ΠΌΠΈ ΠΈΡΡΠ»Π΅Π΄ΡΠ΅ΠΌΠΎΠ³ΠΎ Β«ΠΏΠΈΠΊΡΠ΅Π»ΡΒ», ΠΏΡΠ΅Π΄ΠΎΡΡΠ°Π²Π»Π΅Π½Π½ΡΠΌΠΈ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠ½ΡΠΌ ΠΎΠ±Π΅ΡΠΏΠ΅ΡΠ΅Π½ΠΈΠ΅ΠΌ Π΄ΠΈΡΡΠ°Π½ΡΠΈΠΎΠ½Π½ΠΎΠ³ΠΎ Π·ΠΎΠ½Π΄ΠΈΡΠΎΠ²Π°Π½ΠΈΡ, ΡΡΠΎΠ±Ρ ΠΏΠΎΠ½ΡΡΡ ΠΈ ΠΏΡΠΎΠ°Π½Π°Π»ΠΈΠ·ΠΈΡΠΎΠ²Π°ΡΡ ΠΎΡΠΈΠ±ΠΊΠΈ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΡ ΠΌΠ΅ΡΡΠΎΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ΠΈΡ ΠΈ ΡΠΎ, ΠΊΠ°ΠΊ ΠΎΠ½ΠΈ ΠΌΠΎΠ³ΡΡ ΠΏΠΎΠ²Π»ΠΈΡΡΡ Π½Π° ΠΊΠΎΠ½ΠΊΡΠ΅ΡΠ½ΠΎΠ΅ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΠ΅.
ΠΠ±ΡΠΎΠ»ΡΡΠ½Π°Ρ Π΄ΠΎΡΡΠΎΠ²Π΅ΡΠ½ΠΎΡΡΡ Π²Π°ΠΆΠ½Π° ΠΏΡΠΈ ΠΏΠ΅ΡΠ²ΠΎΠ½Π°ΡΠ°Π»ΡΠ½ΠΎΠΉ ΠΊΠΎΠ½ΡΡΠΎΠ»ΠΈΡΡΠ΅ΠΌΠΎΠΉ ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΈ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΡ. ΠΠΎΠ³Π΄Π° ΠΈΠ΄Π΅Π½ΡΠΈΡΠ½ΠΎΡΡΡ ΠΈ ΡΠ°ΡΠΏΠΎΠ»ΠΎΠΆΠ΅Π½ΠΈΠ΅ ΡΠΈΠΏΠΎΠ² Π·Π΅ΠΌΠ½ΠΎΠ³ΠΎ ΠΏΠΎΠΊΡΠΎΠ²Π° ΠΈΠ·Π²Π΅ΡΡΠ½Ρ Π±Π»Π°Π³ΠΎΠ΄Π°ΡΡ ΡΠΎΡΠ΅ΡΠ°Π½ΠΈΡ ΠΏΠΎΠ»Π΅Π²ΡΡ ΡΠ°Π±ΠΎΡ, ΠΊΠ°ΡΡ ΠΈ Π»ΠΈΡΠ½ΠΎΠ³ΠΎ ΠΎΠΏΡΡΠ°, ΡΡΠΈ ΠΎΠ±Π»Π°ΡΡΠΈ ΠΈΠ·Π²Π΅ΡΡΠ½Ρ ΠΊΠ°ΠΊ ΡΡΠ΅Π±Π½ΡΠ΅ ΠΏΠ»ΠΎΡΠ°Π΄ΠΊΠΈ. Π‘ΠΏΠ΅ΠΊΡΡΠ°Π»ΡΠ½ΡΠ΅ Ρ Π°ΡΠ°ΠΊΡΠ΅ΡΠΈΡΡΠΈΠΊΠΈ ΡΡΠΈΡ ΠΎΠ±Π»Π°ΡΡΠ΅ΠΉ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡΡΡ Π΄Π»Ρ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠ½ΠΎΠ³ΠΎ ΠΎΠ±Π΅ΡΠΏΠ΅ΡΠ΅Π½ΠΈΡ Π΄ΠΈΡΡΠ°Π½ΡΠΈΠΎΠ½Π½ΠΎΠ³ΠΎ Π·ΠΎΠ½Π΄ΠΈΡΠΎΠ²Π°Π½ΠΈΡ Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ ΡΠ΅ΡΠ°ΡΡΠΈΡ ΠΏΡΠ°Π²ΠΈΠ» Π΄Π»Ρ ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΈ ΠΎΡΡΠ°Π»ΡΠ½ΠΎΠΉ ΡΠ°ΡΡΠΈ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΡ. ΠΡΠΈ ΠΏΡΠ°Π²ΠΈΠ»Π° ΠΏΡΠΈΠ½ΡΡΠΈΡ ΡΠ΅ΡΠ΅Π½ΠΈΠΉ, ΡΠ°ΠΊΠΈΠ΅ ΠΊΠ°ΠΊ ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΡ ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΠΎΠ³ΠΎ ΠΏΡΠ°Π²Π΄ΠΎΠΏΠΎΠ΄ΠΎΠ±ΠΈΡ, ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΡ ΠΏΠ°ΡΠ°Π»Π»Π΅Π»Π΅ΠΏΠΈΠΏΠ΅Π΄ΠΎΠ² ΠΈ ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΡ ΠΌΠΈΠ½ΠΈΠΌΠ°Π»ΡΠ½ΡΡ ΡΠ°ΡΡΡΠΎΡΠ½ΠΈΠΉ, ΠΏΡΠ΅Π΄Π»Π°Π³Π°ΡΡ ΡΠ°Π·Π»ΠΈΡΠ½ΡΠ΅ ΠΌΠ΅ΡΠΎΠ΄Ρ ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΈ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΡ. ΠΠΎΠΏΠΎΠ»Π½ΠΈΡΠ΅Π»ΡΠ½ΡΠ΅ Π½Π°Π·Π΅ΠΌΠ½ΡΠ΅ ΠΊΠΎΠ½ΡΡΠΎΠ»ΡΠ½ΡΠ΅ ΡΠΎΡΠΊΠΈ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡΡ ΡΠ΄Π°Π»Π΅Π½Π½ΠΎΠΌΡ Π΄Π°ΡΡΠΈΠΊΡ ΡΠΎΠ·Π΄Π°Π²Π°ΡΡ ΠΌΠ°ΡΡΠΈΡΡ ΠΎΡΠΈΠ±ΠΎΠΊ, ΠΊΠΎΡΠΎΡΠ°Ρ ΠΏΠΎΠ΄ΡΠ²Π΅ΡΠΆΠ΄Π°Π΅Ρ ΡΠΎΡΠ½ΠΎΡΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΠΌΠΎΠ³ΠΎ ΠΌΠ΅ΡΠΎΠ΄Π° ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΈ. Π Π°Π·Π»ΠΈΡΠ½ΡΠ΅ ΠΌΠ΅ΡΠΎΠ΄Ρ ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΈ ΠΌΠΎΠ³ΡΡ ΠΈΠΌΠ΅ΡΡ ΡΠ°Π·Π½ΡΠΉ ΠΏΡΠΎΡΠ΅Π½Ρ ΠΎΡΠΈΠ±ΠΎΠΊ Π΄Π»Ρ Π΄Π°Π½Π½ΠΎΠ³ΠΎ ΠΏΡΠΎΠ΅ΠΊΡΠ° ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΈ. ΠΠ°ΠΆΠ½ΠΎ, ΡΡΠΎΠ±Ρ ΡΠ΄Π°Π»Π΅Π½Π½ΡΠΉ Π΄Π°ΡΡΠΈΠΊ Π²ΡΠ±ΠΈΡΠ°Π» ΠΌΠ΅ΡΠΎΠ΄ ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΈ, ΠΊΠΎΡΠΎΡΡΠΉ Π»ΡΡΡΠ΅ Π²ΡΠ΅Π³ΠΎ ΡΠ°Π±ΠΎΡΠ°Π΅Ρ Ρ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎΠΌ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΠΌΡΡ ΠΊΠ»Π°ΡΡΠΈΡΠΈΠΊΠ°ΡΠΈΠΉ, ΠΎΠ±Π΅ΡΠΏΠ΅ΡΠΈΠ²Π°Ρ ΠΏΡΠΈ ΡΡΠΎΠΌ Π½Π°ΠΈΠΌΠ΅Π½ΡΡΠ΅Π΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΠΎΡΠΈΠ±ΠΎΠΊ.
ΠΡΠΈΠ±ΠΊΠΈ ΠΊΠΎΠΌΠΈΡΡΠΈΠΈ
ΠΡΠΈΠ±ΠΊΠΈ ΡΠΏΡΡΠ΅Π½ΠΈΡ
ΠΠ΅ΠΎΠ³ΡΠ°ΡΠΈΡΠ΅ΡΠΊΠΈΠ΅ ΠΈΠ½ΡΠΎΡΠΌΠ°ΡΠΈΠΎΠ½Π½ΡΠ΅ ΡΠΈΡΡΠ΅ΠΌΡ
Π ΠΠΠ‘ ΠΏΡΠΎΡΡΡΠ°Π½ΡΡΠ²Π΅Π½Π½ΡΠ΅ Π΄Π°Π½Π½ΡΠ΅ ΠΌΠΎΠ΄Π΅Π»ΠΈΡΡΡΡΡΡ ΠΊΠ°ΠΊ ΠΏΠΎΠ»Π΅ (ΠΊΠ°ΠΊ Π² ΡΠ°ΡΡΡΠΎΠ²ΡΡ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΡΡ Π΄ΠΈΡΡΠ°Π½ΡΠΈΠΎΠ½Π½ΠΎΠ³ΠΎ Π·ΠΎΠ½Π΄ΠΈΡΠΎΠ²Π°Π½ΠΈΡ ) ΠΈΠ»ΠΈ ΠΊΠ°ΠΊ ΠΎΠ±ΡΠ΅ΠΊΡ (ΠΊΠ°ΠΊ Π² ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»Π΅Π½ΠΈΠΈ Π²Π΅ΠΊΡΠΎΡΠ½ΠΎΠΉ ΠΊΠ°ΡΡΡ ). ΠΠ½ΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈΡΡΡΡΡΡ ΠΈΠ· ΡΠ΅Π°Π»ΡΠ½ΠΎΠ³ΠΎ ΠΌΠΈΡΠ° (ΡΠ°ΠΊΠΆΠ΅ Π½Π°Π·ΡΠ²Π°Π΅ΠΌΠΎΠ³ΠΎ Π³Π΅ΠΎΠ³ΡΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠΉ ΡΠ΅Π°Π»ΡΠ½ΠΎΡΡΡΡ ), ΠΊΠ°ΠΊ ΠΏΡΠ°Π²ΠΈΠ»ΠΎ, Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΠΊΠ°ΡΡΠΎΠ³ΡΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠ³ΠΎ ΠΏΡΠΎΡΠ΅ΡΡΠ° (ΠΏΠΎΠΊΠ°Π·Π°Π½ΠΎ).
ΠΠΎΠ΅Π½Π½ΠΎΠ΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅
ΠΠΎΠ΅Π½Π½ΡΠΉ ΡΠ»Π΅Π½Π³ Π‘Π¨Π ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅Ρ Β«Π½Π°Π·Π΅ΠΌΠ½ΡΡ ΠΈΡΡΠΈΠ½ΡΒ» Π΄Π»Ρ ΠΎΠ±ΠΎΠ·Π½Π°ΡΠ΅Π½ΠΈΡ ΡΠ°ΠΊΡΠΎΠ², ΡΠΎΡΡΠ°Π²Π»ΡΡΡΠΈΡ ΡΠ°ΠΊΡΠΈΡΠ΅ΡΠΊΡΡ ΡΠΈΡΡΠ°ΡΠΈΡ, Π² ΠΎΡΠ»ΠΈΡΠΈΠ΅ ΠΎΡ ΡΠ°Π·Π²Π΅Π΄ΡΠ²Π°ΡΠ΅Π»ΡΠ½ΡΡ ΠΎΡΡΠ΅ΡΠΎΠ², ΠΏΠ»Π°Π½ΠΎΠ² ΠΌΠΈΡΡΠΈΠΉ ΠΈ Π΄ΡΡΠ³ΠΈΡ ΠΎΠΏΠΈΡΠ°Π½ΠΈΠΉ, ΠΎΡΡΠ°ΠΆΠ°ΡΡΠΈΡ ΠΊΠΎΠ½Π°ΡΠΈΠ²Π½ΡΠ΅ ΠΈΠ»ΠΈ ΠΎΡΠ½ΠΎΠ²Π°Π½Π½ΡΠ΅ Π½Π° ΠΏΠΎΠ»ΠΈΡΠΈΠΊΠ΅ ΠΏΡΠΎΠ΅ΠΊΡΠΈΠΈ Π²ΠΎΠ΅Π½Π½ΠΎ-ΠΏΡΠΎΠΌΡΡΠ»Π΅Π½Π½ΠΎΠ³ΠΎ ΠΊΠΎΠΌΠΏΠ»Π΅ΠΊΡΠ°. ΠΡΠΎΡ ΡΠ΅ΡΠΌΠΈΠ½ ΠΏΠΎΡΠ²Π»ΡΠ΅ΡΡΡ Π² Π½Π°Π·Π²Π°Π½ΠΈΠΈ Π΄ΠΎΠΊΡΠΌΠ΅Π½ΡΠ°Π»ΡΠ½ΠΎΠ³ΠΎ ΡΠΈΠ»ΡΠΌΠ° ΠΎ Π²ΠΎΠΉΠ½Π΅ Π² ΠΡΠ°ΠΊΠ΅ Β«ΠΠ±ΡΠΎΠ»ΡΡΠ½Π°Ρ ΠΏΡΠ°Π²Π΄Π°Β» (2006), Π° ΡΠ°ΠΊΠΆΠ΅ Π² Π²ΠΎΠ΅Π½Π½ΡΡ ΠΏΡΠ±Π»ΠΈΠΊΠ°ΡΠΈΡΡ , Π½Π°ΠΏΡΠΈΠΌΠ΅Ρ, Π² Β« ΠΠ²Π΅Π·Π΄Π½ΠΎ-ΠΏΠΎΠ»ΠΎΡΠ°ΡΡΡ Β» Π²ΡΡΠΊΠ°Π·ΡΠ²Π°Π½ΠΈΡΡ : Β«ΠΠΎΠ»ΠΎΡΡ ΡΠ΅ΡΠΈΠ»ΠΈ Π²ΡΡΡΠ½ΠΈΡΡ, Π² ΡΠ΅ΠΌ Π·Π°ΠΊΠ»ΡΡΠ°Π»Π°ΡΡ ΠΎΡΠ½ΠΎΠ²Π½Π°Ρ ΠΏΡΠ°Π²Π΄Π° Π² ΠΡΠ°ΠΊΠ΅Β».
ΠΠ»ΡΠ±ΠΎΠΊΠΎΠ΅ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ Π΄Π»Ρ Π½ΠΎΠ²ΠΈΡΠΊΠΎΠ²: ΡΠΎΠ½ΠΊΠ°Ρ Π½Π°ΡΡΡΠΎΠΉΠΊΠ° Π½Π΅ΠΉΡΠΎΠ½Π½ΠΎΠΉ ΡΠ΅ΡΠΈ
ΠΠ²Π΅Π΄Π΅Π½ΠΈΠ΅
Π ΠΏΡΠΎΡΠ»ΡΠΉ ΡΠ°Π· ΠΌΡ ΡΠ°ΡΡΠΌΠΎΡΡΠ΅Π»ΠΈ ΠΌΠΎΠ΄Π΅Π»Ρ ΡΠ²Π΅ΡΡΠΎΡΠ½ΠΎΠΉ Π½Π΅ΠΉΡΠΎΠ½Π½ΠΎΠΉ ΡΠ΅ΡΠΈ ΠΈ ΠΏΠΎΠΊΠ°Π·Π°Π»ΠΈ, ΠΊΠ°ΠΊ ΠΏΡΠΈ ΡΡΠ°ΡΡΠΈΠΈ ΠΏΡΠΎΡΡΠΎΠ³ΠΎ, Π½ΠΎ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎΠ³ΠΎ ΠΌΠ΅ΡΠΎΠ΄Π° ΡΠ΅Π³ΡΠ»ΡΡΠΈΠ·Π°ΡΠΈΠΈ ΠΏΠΎΠ΄ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ΠΌ dropout ΠΌΠΎΠΆΠ½ΠΎ Π±ΡΡΡΡΠΎ Π΄ΠΎΡΡΠΈΡΡ ΡΠΎΡΠ½ΠΎΡΡΠΈ 78.6%, ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡ ΡΡΠ΅ΠΉΠΌΠ²ΠΎΡΠΊ Π΄Π»Ρ ΠΏΠΎΡΡΡΠΎΠ΅Π½ΠΈΡ ΡΠ΅ΡΠ΅ΠΉ Π³Π»ΡΠ±ΠΎΠΊΠΎΠ³ΠΎ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ Keras.
Π’Π΅ΠΏΠ΅ΡΡ Π²Ρ ΠΎΠ±Π»Π°Π΄Π°Π΅ΡΠ΅ Π±Π°Π·ΠΎΠ²ΡΠΌΠΈ Π½Π°Π²ΡΠΊΠ°ΠΌΠΈ, Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΡΠΌΠΈ Π΄Π»Ρ ΠΏΡΠΈΠΌΠ΅Π½Π΅Π½ΠΈΡ Π³Π»ΡΠ±ΠΎΠΊΠΎΠ³ΠΎ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ ΠΊ Π±ΠΎΠ»ΡΡΠΈΠ½ΡΡΠ²Ρ ΠΈΠ½ΡΠ΅ΡΠ΅ΡΠ½ΡΡ Π·Π°Π΄Π°Ρ (ΠΈΡΠΊΠ»ΡΡΠ΅Π½ΠΈΠ΅ ΡΠΎΡΡΠ°Π²Π»ΡΠ΅Ρ Π·Π°Π΄Π°ΡΠ° ΠΎΠ±ΡΠ°Π±ΠΎΡΠΊΠΈ Π½Π΅Π»ΠΈΠ½Π΅ΠΉΠ½ΡΡ Π²ΡΠ΅ΠΌΠ΅Π½Π½ΡΡ ΡΡΠ΄ΠΎΠ², ΡΠ°ΡΡΠΌΠΎΡΡΠ΅Π½ΠΈΠ΅ ΠΊΠΎΡΠΎΡΠΎΠΉ Π²ΡΡ ΠΎΠ΄ΠΈΡ Π·Π° ΡΠ°ΠΌΠΊΠΈ ΡΡΠΎΠ³ΠΎ ΡΡΠΊΠΎΠ²ΠΎΠ΄ΡΡΠ²Π° ΠΈ Π΄Π»Ρ ΡΠ΅ΡΠ΅Π½ΠΈΡ ΠΊΠΎΡΠΎΡΠΎΠΉ ΠΎΠ±ΡΡΠ½ΠΎ ΠΏΡΠ΅Π΄ΠΏΠΎΡΠΈΡΠ΅Π»ΡΠ½Π΅ΠΉ ΡΠ΅ΠΊΡΡΡΠ΅Π½ΡΡΠ΅ Π½Π΅ΠΉΡΠΎΠ½Π½ΡΠ΅ ΡΠ΅ΡΠΈ (RNN). ΠΠ°Π²Π΅ΡΡΠ°ΡΡΠ°Ρ ΡΠ°ΡΡΡ ΡΡΠΎΠ³ΠΎ ΡΡΠΊΠΎΠ²ΠΎΠ΄ΡΡΠ²Π° Π±ΡΠ΄Π΅Ρ ΡΠΎΠ΄Π΅ΡΠΆΠ°ΡΡ ΡΠΎ, ΡΡΠΎ ΠΎΡΠ΅Π½Ρ Π²Π°ΠΆΠ½ΠΎ, Π½ΠΎ ΡΠ°ΡΡΠΎ ΡΠΏΡΡΠΊΠ°Π΅ΡΡΡ Π² ΠΏΠΎΠ΄ΠΎΠ±Π½ΡΡ ΡΡΠ°ΡΡΡΡ β ΠΏΡΠΈΠ΅ΠΌΡ ΠΈ Ρ ΠΈΡΡΠΎΡΡΠΈ ΡΠΎΠ½ΠΊΠΎΠΉ Π½Π°ΡΡΡΠΎΠΉΠΊΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ, ΡΡΠΎΠ±Ρ Π½Π°ΡΡΠΈΡΡ Π΅Π΅ ΠΎΠ±ΠΎΠ±ΡΠ°ΡΡ Π»ΡΡΡΠ΅, ΡΠ΅ΠΌ ΡΠ° Π±Π°Π·ΠΎΠ²Π°Ρ ΠΌΠΎΠ΄Π΅Π»Ρ, Ρ ΠΊΠΎΡΠΎΡΠΎΠΉ Π²Ρ Π½Π°ΡΠ°Π»ΠΈ.
ΠΡΠ° ΡΠ°ΡΡΡ ΡΡΠΊΠΎΠ²ΠΎΠ΄ΡΡΠ²Π° ΠΏΡΠ΅Π΄ΠΏΠΎΠ»Π°Π³Π°Π΅Ρ Π·Π½Π°ΠΊΠΎΠΌΡΡΠ²ΠΎ Ρ ΠΏΠ΅ΡΠ²ΠΎΠΉ ΠΈ Π²ΡΠΎΡΠΎΠΉ ΡΡΠ°ΡΡΡΠΌΠΈ ΡΠΈΠΊΠ»Π°.
ΠΠ°ΡΡΡΠΎΠΉΠΊΠ° Π³ΠΈΠΏΠ΅ΡΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠ² ΠΈ Π±Π°Π·ΠΎΠ²Π°Ρ ΠΌΠΎΠ΄Π΅Π»Ρ
ΠΠ±ΡΡΠ½ΠΎ ΠΏΡΠΎΡΠ΅ΡΡ ΡΠ°Π·ΡΠ°Π±ΠΎΡΠΊΠΈ Π½Π΅ΠΉΡΠΎΠ½Π½ΠΎΠΉ ΡΠ΅ΡΠΈ Π½Π°ΡΠΈΠ½Π°Π΅ΡΡΡ Ρ ΡΠ°Π·ΡΠ°Π±ΠΎΡΠΊΠΈ ΠΊΠ°ΠΊΠΎΠΉ-Π»ΠΈΠ±ΠΎ ΠΏΡΠΎΡΡΠΎΠΉ ΡΠ΅ΡΠΈ, Π»ΠΈΠ±ΠΎ Π½Π΅ΠΏΠΎΡΡΠ΅Π΄ΡΡΠ²Π΅Π½Π½ΠΎ ΠΏΡΠΈΠΌΠ΅Π½ΡΡ ΡΠ΅ Π°ΡΡ ΠΈΡΠ΅ΠΊΡΡΡΡ, ΠΊΠΎΡΠΎΡΡΠ΅ ΡΠΆΠ΅ ΡΡΠΏΠ΅ΡΠ½ΠΎ ΠΏΡΠΈΠΌΠ΅Π½ΡΠ»ΠΈΡΡ Π΄Π»Ρ ΡΠ΅ΡΠ΅Π½ΠΈΡ ΠΏΠΎΠ΄ΠΎΠ±Π½ΡΡ Π·Π°Π΄Π°Ρ, Π»ΠΈΠ±ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡ ΡΠ΅ Π³ΠΈΠΏΠ΅ΡΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΡ, ΠΊΠΎΡΠΎΡΡΠ΅ ΡΠ°Π½ΡΡΠ΅ ΡΠΆΠ΅ Π΄Π°Π²Π°Π»ΠΈ Π½Π΅ΠΏΠ»ΠΎΡ ΠΈΠ΅ ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΡ. Π ΠΊΠΎΠ½Π΅ΡΠ½ΠΎΠΌ ΠΈΡΠΎΠ³Π΅, Π½Π°Π΄Π΅Π΅ΠΌΡΡ, ΠΌΡ Π΄ΠΎΡΡΠΈΠ³Π½Π΅ΠΌ ΡΠ°ΠΊΠΎΠ³ΠΎ ΡΡΠΎΠ²Π½Ρ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΠΈ, ΠΊΠΎΡΠΎΡΡΠΉ ΠΏΠΎΡΠ»ΡΠΆΠΈΡ Ρ ΠΎΡΠΎΡΠ΅ΠΉ ΠΎΡΠΏΡΠ°Π²Π½ΠΎΠΉ ΡΠΎΡΠΊΠΎΠΉ, ΠΏΠΎΡΠ»Π΅ ΠΊΠΎΡΠΎΡΠΎΠΉ ΠΌΡ ΠΌΠΎΠΆΠ΅ΠΌ ΠΏΠΎΠΏΡΠΎΠ±ΠΎΠ²Π°ΡΡ ΠΏΠΎΠΈΠ·ΠΌΠ΅Π½ΡΡΡ Π²ΡΠ΅ Π·Π°ΡΠΈΠΊΡΠΈΡΠΎΠ²Π°Π½Π½ΡΠ΅ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΡ ΠΈ ΠΈΠ·Π²Π»Π΅ΡΡ ΠΈΠ· ΡΠ΅ΡΠΈ ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΡΡ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΡ. ΠΡΠΎΡ ΠΏΡΠΎΡΠ΅ΡΡ ΠΎΠ±ΡΡΠ½ΠΎ Π½Π°Π·ΡΠ²Π°ΡΡ Π½Π°ΡΡΡΠΎΠΉΠΊΠΎΠΉ Π³ΠΈΠΏΠ΅ΡΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠ², ΠΏΠΎΡΠΎΠΌΡ ΡΡΠΎ ΠΎΠ½ Π²ΠΊΠ»ΡΡΠ°Π΅Ρ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½ΡΠΎΠ² ΡΠ΅ΡΠΈ, ΠΊΠΎΡΠΎΡΡΠ΅ Π΄ΠΎΠ»ΠΆΠ½Ρ Π±ΡΡΡ ΡΡΡΠ°Π½ΠΎΠ²Π»Π΅Π½Ρ Π΄ΠΎ Π½Π°ΡΠ°Π»Π° ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ.
Π₯ΠΎΡΡ ΠΎΠΏΠΈΡΠ°Π½Π½ΡΠΉ Π·Π΄Π΅ΡΡ ΠΌΠ΅ΡΠΎΠ΄ ΠΌΠΎΠΆΠ΅Ρ Π΄Π°ΡΡ Π±ΠΎΠ»Π΅Π΅ ΠΎΡΡΡΠΈΠΌΡΠ΅ ΠΏΡΠ΅ΠΈΠΌΡΡΠ΅ΡΡΠ²Π° Π½Π° CIFAR-10, ΠΈΠ·-Π·Π° ΠΎΡΠ½ΠΎΡΠΈΡΠ΅Π»ΡΠ½ΠΎΠΉ ΡΠ»ΠΎΠΆΠ½ΠΎΡΡΠΈ Π±ΡΡΡΡΠΎΠ³ΠΎ ΡΠΎΠ·Π΄Π°Π½ΠΈΡ ΠΏΡΠΎΡΠΎΡΠΈΠΏΠ° Π½Π° Π½Π΅ΠΌ Π² ΠΎΡΡΡΡΡΡΠ²ΠΈΠ΅ Π³ΡΠ°ΡΠΈΡΠ΅ΡΠΊΠΎΠ³ΠΎ ΠΏΡΠΎΡΠ΅ΡΡΠΎΡΠ° ΠΌΡ ΡΠΎΡΡΠ΅Π΄ΠΎΡΠΎΡΠΈΠΌΡΡ Π½Π° ΡΠ»ΡΡΡΠ΅Π½ΠΈΠΈ Π΅Π³ΠΎ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΠΈ Π½Π° MNIST. ΠΠΎΠ½Π΅ΡΠ½ΠΎ, Π΅ΡΠ»ΠΈ ΡΠ΅ΡΡΡΡΡ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡΡ, Ρ ΠΏΡΠΈΠ·ΡΠ²Π°Ρ Π²Π°Ρ ΠΎΠΏΡΠΎΠ±ΠΎΠ²Π°ΡΡ ΠΏΠΎΠ΄ΠΎΠ±Π½ΡΠ΅ ΠΌΠ΅ΡΠΎΠ΄Ρ Π½Π° CIFAR ΠΈ ΡΠ²ΠΎΠΈΠΌΠΈ Π³Π»Π°Π·Π°ΠΌΠΈ ΡΠ²ΠΈΠ΄Π΅ΡΡ, Π½Π°ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΎΠ½ΠΈ Π²ΡΠΈΠ³ΡΡΠ²Π°ΡΡ ΠΏΠΎ ΡΡΠ°Π²Π½Π΅Π½ΠΈΡ ΡΠΎ ΡΡΠ°Π½Π΄Π°ΡΡΠ½ΡΠΌ ΠΏΠΎΠ΄Ρ ΠΎΠ΄ΠΎΠΌ CNN.
ΠΡΠΏΡΠ°Π²Π½ΠΎΠΉ ΡΠΎΡΠΊΠΎΠΉ Π΄Π»Ρ Π½Π°Ρ Π±ΡΠ΄Π΅Ρ ΡΠ»ΡΠΆΠΈΡΡ ΠΈΡΡ ΠΎΠ΄Π½Π°Ρ CNN, ΠΏΡΠ΅Π΄ΡΡΠ°Π²Π»Π΅Π½Π½Π°Ρ Π½ΠΈΠΆΠ΅. ΠΡΠ»ΠΈ ΠΊΠ°ΠΊΠΈΠ΅-ΡΠΎ ΡΡΠ°Π³ΠΌΠ΅Π½ΡΡ ΠΊΠΎΠ΄Π° ΠΊΠ°ΠΆΡΡΡΡ Π²Π°ΠΌ Π½Π΅ΠΏΠΎΠ½ΡΡΠ½ΡΠΌΠΈ, ΠΏΡΠ΅Π΄Π»Π°Π³Π°Ρ ΠΎΠ·Π½Π°ΠΊΠΎΠΌΠΈΡΡΡΡ Ρ ΠΏΡΠ΅Π΄ΡΠ΄ΡΡΠΈΠΌΠΈ Π΄Π²ΡΠΌΡ ΡΠ°ΡΡΡΠΌΠΈ ΡΡΠΎΠ³ΠΎ ΡΠΈΠΊΠ»Π°, Π³Π΄Π΅ ΠΎΠΏΠΈΡΠ°Π½Ρ Π²ΡΠ΅ Π±Π°Π·ΠΎΠ²ΡΠ΅ ΠΏΡΠΈΠ½ΡΠΈΠΏΡ.
ΠΠ°ΠΊ Π²ΠΈΠ΄Π½ΠΎ, Π½Π°ΡΠ° ΠΌΠΎΠ΄Π΅Π»Ρ Π΄ΠΎΡΡΠΈΠ³Π°Π΅Ρ ΡΠΎΡΠ½ΠΎΡΡΠΈ 99.12% Π½Π° ΡΠ΅ΡΡΠΎΠ²ΠΎΠΌ ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²Π΅. ΠΡΠΎ Π½Π΅ΠΌΠ½ΠΎΠ³ΠΎ Π»ΡΡΡΠ΅, ΡΠ΅ΠΌ ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΡ MLP, ΡΠ°ΡΡΠΌΠΎΡΡΠ΅Π½Π½ΠΎΠΉ Π² ΠΏΠ΅ΡΠ²ΠΎΠΉ ΡΠ°ΡΡΠΈ, Π½ΠΎ Π½Π°ΠΌ Π΅ΡΠ΅ Π΅ΡΡΡ ΠΊΡΠ΄Π° ΡΠ°ΡΡΠΈ!
Π Π΄Π°Π½Π½ΠΎΠΌ ΡΡΠΊΠΎΠ²ΠΎΠ΄ΡΡΠ²Π΅ ΠΌΡ ΠΏΠΎΠ΄Π΅Π»ΠΈΠΌΡΡ ΡΠΏΠΎΡΠΎΠ±Π°ΠΌΠΈ ΡΠ»ΡΡΡΠ΅Π½ΠΈΡ ΡΠ°ΠΊΠΈΡ βΠ±Π°Π·ΠΎΠ²ΡΡ β Π½Π΅ΠΉΡΠΎΠ½Π½ΡΡ ΡΠ΅ΡΠ΅ΠΉ (Π½Π΅ ΠΎΡΡΡΡΠΏΠ°Ρ ΠΎΡ Π°ΡΡ ΠΈΡΠ΅ΠΊΡΡΡΡ CNN), Π° Π·Π°ΡΠ΅ΠΌ ΠΎΡΠ΅Π½ΠΈΠΌ ΠΏΡΠΈΡΠΎΡΡ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΠΈ, ΠΊΠΎΡΠΎΡΡΠΉ ΠΌΡ ΠΏΠΎΠ»ΡΡΠΈΠΌ.
-ΡΠ΅Π³ΡΠ»ΡΡΠΈΠ·Π°ΡΠΈΡ
Π ΠΏΡΠ΅Π΄ΡΠ΄ΡΡΠ΅ΠΉ ΡΡΠ°ΡΡΠ΅ ΠΌΡ ΡΠ°ΡΡΠΊΠ°Π·ΡΠ²Π°Π»ΠΈ, ΡΡΠΎ ΠΎΠ΄Π½ΠΎΠΉ ΠΈΠ· ΠΎΡΠ½ΠΎΠ²Π½ΡΡ ΠΏΡΠΎΠ±Π»Π΅ΠΌ ΠΌΠ°ΡΠΈΠ½Π½ΠΎΠ³ΠΎ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ ΡΠ²Π»ΡΠ΅ΡΡΡ ΠΏΡΠΎΠ±Π»Π΅ΠΌΠ° ΠΏΠ΅ΡΠ΅ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ (overfitting), ΠΊΠΎΠ³Π΄Π° ΠΌΠΎΠ΄Π΅Π»Ρ Π² ΠΏΠΎΠ³ΠΎΠ½Π΅ Π·Π° ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·Π°ΡΠΈΠ΅ΠΉ Π·Π°ΡΡΠ°Ρ Π½Π° ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ ΡΠ΅ΡΡΠ΅Ρ ΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡΡ ΠΊ ΠΎΠ±ΠΎΠ±ΡΠ΅Π½ΠΈΡ.
ΠΠ°ΠΊ ΡΠΆΠ΅ Π³ΠΎΠ²ΠΎΡΠΈΠ»ΠΎΡΡ, ΡΡΡΠ΅ΡΡΠ²ΡΠ΅Ρ ΠΏΡΠΎΡΡΠΎΠΉ ΡΠΏΠΎΡΠΎΠ± Π΄Π΅ΡΠΆΠ°ΡΡ ΠΏΠ΅ΡΠ΅ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅ ΠΏΠΎΠ΄ ΠΊΠΎΠ½ΡΡΠΎΠ»Π΅ΠΌ β ΠΌΠ΅ΡΠΎΠ΄ dropout.
ΠΠΎ Π΅ΡΡΡ ΠΈ Π΄ΡΡΠ³ΠΈΠ΅ ΡΠ΅Π³ΡΠ»ΡΡΠΈΠ·Π°ΡΠΎΡΡ, ΠΊΠΎΡΠΎΡΡΠ΅ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡΠΈΠΌΠ΅Π½ΠΈΡΡ ΠΊ Π½Π°ΡΠ΅ΠΉ ΡΠ΅ΡΠΈ. ΠΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ, ΡΠ°ΠΌΡΠΉ ΠΏΠΎΠΏΡΠ»ΡΡΠ½ΡΠΉ ΠΈΠ· Π½ΠΈΡ
β -ΡΠ΅Π³ΡΠ»ΡΡΠΈΠ·Π°ΡΠΈΡ (ΡΠ°ΠΊΠΆΠ΅ Π½Π°Π·ΡΠ²Π°Π΅ΠΌΠ°Ρ ΡΠΎΠΊΡΠ°ΡΠ΅Π½ΠΈΠ΅ΠΌ Π²Π΅ΡΠΎΠ², Π°Π½Π³Π». weight decay), ΠΊΠΎΡΠΎΡΠ°Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅Ρ Π±ΠΎΠ»Π΅Π΅ ΠΏΡΡΠΌΠΎΠΉ ΠΏΠΎΠ΄Ρ
ΠΎΠ΄ ΠΊ ΡΠ΅Π³ΡΠ»ΡΡΠΈΠ·Π°ΡΠΈΠΈ, ΡΠ΅ΠΌ dropout. ΠΠ±ΡΡΠ½ΠΎ ΠΏΠ΅ΡΠ²ΠΎΠΏΡΠΈΡΠΈΠ½ΠΎΠΉ ΠΏΠ΅ΡΠ΅ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ ΡΠ²Π»ΡΠ΅ΡΡΡ ΡΠ»ΠΎΠΆΠ½ΠΎΡΡΡ ΠΌΠΎΠ΄Π΅Π»ΠΈ (Π² ΡΠΌΡΡΠ»Π΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²Π° Π΅Π΅ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠ²), ΡΠ»ΠΈΡΠΊΠΎΠΌ Π²ΡΡΠΎΠΊΠ°Ρ Π΄Π»Ρ ΡΠ΅ΡΠ°Π΅ΠΌΠΎΠΉ Π·Π°Π΄Π°ΡΠΈ ΠΈ ΠΈΠΌΠ΅ΡΡΠ΅Π³ΠΎΡΡ ΠΎΠ±ΡΡΠ°ΡΡΠ΅Π³ΠΎ ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²Π°. Π Π½Π΅ΠΊΠΎΡΠΎΡΠΎΠΌ ΡΠΌΡΡΠ»Π΅, Π·Π°Π΄Π°ΡΠ° ΡΠ΅Π³ΡΠ»ΡΡΠΈΠ·Π°ΡΠΎΡΠ° β ΠΏΠΎΠ½ΠΈΠ·ΠΈΡΡ ΡΠ»ΠΎΠΆΠ½ΠΎΡΡΡ ΠΌΠΎΠ΄Π΅Π»ΠΈ, ΡΠΎΡ
ΡΠ°Π½ΠΈΠ² ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ Π΅Π΅ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠ².
-ΡΠ΅Π³ΡΠ»ΡΡΠΈΠ·Π°ΡΠΈΡ Π²ΡΠΏΠΎΠ»Π½ΡΠ΅ΡΡΡ ΠΏΠΎΡΡΠ΅Π΄ΡΡΠ²ΠΎΠΌ Π½Π°Π»ΠΎΠΆΠ΅Π½ΠΈΡ ΡΡΡΠ°ΡΠΎΠ² (penalising) Π½Π° Π²Π΅ΡΠ° Ρ Π½Π°ΠΈΠ±ΠΎΠ»ΡΡΠΈΠΌΠΈ Π·Π½Π°ΡΠ΅Π½ΠΈΡΠΌΠΈ, ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·ΠΈΡΡΡ ΠΈΡ
-Π½ΠΎΡΠΌΡ Ρ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΠ΅ΠΌ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠ° Ξ» β ΠΊΠΎΡΡΡΠΈΡΠΈΠ΅Π½Ρ ΡΠ΅Π³ΡΠ»ΡΡΠΈΠ·Π°ΡΠΈΠΈ, Π²ΡΡΠ°ΠΆΠ°ΡΡΠΈΠΉ ΠΏΡΠ΅Π΄ΠΏΠΎΡΡΠ΅Π½ΠΈΠ΅ ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·Π°ΡΠΈΠΈ Π½ΠΎΡΠΌΡ ΠΎΡΠ½ΠΎΡΠΈΡΠ΅Π»ΡΠ½ΠΎ ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·Π°ΡΠΈΠΈ ΠΏΠΎΡΠ΅ΡΡ Π½Π° ΠΎΠ±ΡΡΠ°ΡΡΠ΅ΠΌ ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²Π΅. Π’ΠΎ Π΅ΡΡΡ, Π΄Π»Ρ ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ Π²Π΅ΡΠ° Ο ΠΌΡ ΠΏΡΠΈΠ±Π°Π²Π»ΡΠ΅ΠΌ ΠΊ ΡΠ΅Π»Π΅Π²ΠΎΠΉ ΡΡΠ½ΠΊΡΠΈΠΈ
ΡΠ»Π°Π³Π°Π΅ΠΌΠΎΠ΅
(ΠΌΠ½ΠΎΠΆΠΈΡΠ΅Π»Ρ Β½ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΠ΅ΡΡΡ Π΄Π»Ρ ΡΠΎΠ³ΠΎ, ΡΡΠΎΠ±Ρ Π³ΡΠ°Π΄ΠΈΠ΅Π½Ρ ΡΡΠΎΠ³ΠΎ ΡΠ»Π°Π³Π°Π΅ΠΌΠΎΠ³ΠΎ ΠΏΠΎ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΡ Ο ΡΠ°Π²Π½ΡΠ»ΡΡ Ξ»Ο, Π° Π½Π΅ 2Ξ»Ο β Π΄Π»Ρ ΡΠ΄ΠΎΠ±ΡΡΠ²Π° ΠΏΡΠΈΠΌΠ΅Π½Π΅Π½ΠΈΡ ΠΌΠ΅ΡΠΎΠ΄Π° ΠΎΠ±ΡΠ°ΡΠ½ΠΎΠ³ΠΎ ΡΠ°ΡΠΏΡΠΎΡΡΡΠ°Π½Π΅Π½ΠΈΡ ΠΎΡΠΈΠ±ΠΊΠΈ).
ΠΠ±ΡΠ°ΡΠΈΡΠ΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, ΡΡΠΎ ΠΊΡΠ°ΠΉΠ½Π΅ Π²Π°ΠΆΠ½ΠΎ ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΠΎ Π²ΡΠ±ΡΠ°ΡΡ Ξ». ΠΡΠ»ΠΈ ΠΊΠΎΡΡΡΠΈΡΠΈΠ΅Π½Ρ ΡΠ»ΠΈΡΠΊΠΎΠΌ ΠΌΠ°Π», ΡΠΎ ΡΡΡΠ΅ΠΊΡ ΠΎΡ ΡΠ΅Π³ΡΠ»ΡΡΠΈΠ·Π°ΡΠΈΠΈ Π±ΡΠ΄Π΅Ρ Π½ΠΈΡΡΠΎΠΆΠ΅Π½, Π΅ΡΠ»ΠΈ ΠΆΠ΅ ΡΠ»ΠΈΡΠΊΠΎΠΌ Π²Π΅Π»ΠΈΠΊ β ΠΌΠΎΠ΄Π΅Π»Ρ ΠΎΠ±Π½ΡΠ»ΠΈΡ Π²ΡΠ΅ Π²Π΅ΡΠ°. ΠΠ΄Π΅ΡΡ ΠΌΡ Π²ΠΎΠ·ΡΠΌΠ΅ΠΌ Ξ» = 0.0001; ΡΡΠΎΠ±Ρ Π΄ΠΎΠ±Π°Π²ΠΈΡΡ ΡΡΠΎΡ ΠΌΠ΅ΡΠΎΠ΄ ΡΠ΅Π³ΡΠ»ΡΡΠΈΠ·Π°ΡΠΈΠΈ Π² Π½Π°ΡΡ ΠΌΠΎΠ΄Π΅Π»Ρ, Π½Π°ΠΌ ΠΏΠΎΠ½Π°Π΄ΠΎΠ±ΠΈΡΡΡ Π΅ΡΠ΅ ΠΎΠ΄ΠΈΠ½ ΠΈΠΌΠΏΠΎΡΡ, ΠΏΠΎΡΠ»Π΅ ΡΠ΅Π³ΠΎ Π΄ΠΎΡΡΠ°ΡΠΎΡΠ½ΠΎ Π²ΡΠ΅Π³ΠΎ Π»ΠΈΡΡ Π΄ΠΎΠ±Π°Π²ΠΈΡΡ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡ W_regularizer ΠΊ ΠΊΠ°ΠΆΠ΄ΠΎΠΌΡ ΡΠ»ΠΎΡ, Π³Π΄Π΅ ΠΌΡ Ρ ΠΎΡΠΈΠΌ ΠΏΡΠΈΠΌΠ΅Π½ΡΡΡ ΡΠ΅Π³ΡΠ»ΡΡΠΈΠ·Π°ΡΠΈΡ.
ΠΠ½ΠΈΡΠΈΠ°Π»ΠΈΠ·Π°ΡΠΈΡ ΡΠ΅ΡΠΈ
ΠΠ΄ΠΈΠ½ ΠΈΠ· ΠΌΠΎΠΌΠ΅Π½ΡΠΎΠ², ΠΊΠΎΡΠΎΡΡΠΉ ΠΌΡ ΡΠΏΡΡΡΠΈΠ»ΠΈ ΠΈΠ· Π²ΠΈΠ΄Ρ Π² ΠΏΡΠ΅Π΄ΡΠ΄ΡΡΠ΅ΠΉ ΡΡΠ°ΡΡΠ΅ β ΠΏΡΠΈΠ½ΡΠΈΠΏ Π²ΡΠ±ΠΎΡΠ° Π½Π°ΡΠ°Π»ΡΠ½ΡΡ Π·Π½Π°ΡΠ΅Π½ΠΈΠΉ Π²Π΅ΡΠΎΠ² Π΄Π»Ρ ΡΠ»ΠΎΠ΅Π², ΡΠΎΡΡΠ°Π²Π»ΡΡΡΠΈΡ ΠΌΠΎΠ΄Π΅Π»Ρ. ΠΡΠ΅Π²ΠΈΠ΄Π½ΠΎ, ΡΡΠΎ ΡΡΠΎΡ Π²ΠΎΠΏΡΠΎΡ ΠΎΡΠ΅Π½Ρ Π²Π°ΠΆΠ΅Π½: ΡΡΡΠ°Π½ΠΎΠ²ΠΊΠ° Π²ΡΠ΅Ρ Π²Π΅ΡΠΎΠ² Π² 0 Π±ΡΠ΄Π΅Ρ ΡΠ΅ΡΡΠ΅Π·Π½ΡΠΌ ΠΏΡΠ΅ΠΏΡΡΡΡΠ²ΠΈΠ΅ΠΌ Π΄Π»Ρ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ, ΡΠ°ΠΊ ΠΊΠ°ΠΊ Π½ΠΈ ΠΎΠ΄ΠΈΠ½ ΠΈΠ· Π²Π΅ΡΠΎΠ² ΠΈΠ·Π½Π°ΡΠ°Π»ΡΠ½ΠΎ Π½Π΅ Π±ΡΠ΄Π΅Ρ Π°ΠΊΡΠΈΠ²Π΅Π½. ΠΡΠΈΡΠ²Π°ΠΈΠ²Π°ΡΡ Π²Π΅ΡΠ°ΠΌ Π·Π½Π°ΡΠ΅Π½ΠΈΡ ΠΈΠ· ΠΈΠ½ΡΠ΅ΡΠ²Π°Π»Π° Β±1 β ΡΠΎΠΆΠ΅ ΠΎΠ±ΡΡΠ½ΠΎ Π½Π΅ Π»ΡΡΡΠΈΠΉ Π²Π°ΡΠΈΠ°Π½Ρ β Π½Π° ΡΠ°ΠΌΠΎΠΌ Π΄Π΅Π»Π΅, ΠΈΠ½ΠΎΠ³Π΄Π° (Π² Π·Π°Π²ΠΈΡΠΈΠΌΠΎΡΡΠΈ ΠΎΡ Π·Π°Π΄Π°ΡΠΈ ΠΈ ΡΠ»ΠΎΠΆΠ½ΠΎΡΡΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ) ΠΎΡ ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΠΎΠΉ ΠΈΠ½ΠΈΡΠΈΠ°Π»ΠΈΠ·Π°ΡΠΈΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΌΠΎΠΆΠ΅Ρ Π·Π°Π²ΠΈΡΠ΅ΡΡ, Π΄ΠΎΡΡΠΈΠ³Π½Π΅Ρ ΠΎΠ½Π° Π²ΡΡΠΎΡΠ°ΠΉΡΠ΅ΠΉ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΠΈ ΠΈΠ»ΠΈ Π²ΠΎΠΎΠ±ΡΠ΅ Π½Π΅ Π±ΡΠ΄Π΅Ρ ΡΡ ΠΎΠ΄ΠΈΡΡΡΡ. ΠΠ°ΠΆΠ΅ Π΅ΡΠ»ΠΈ Π·Π°Π΄Π°ΡΠ° Π½Π΅ ΠΏΡΠ΅Π΄ΠΏΠΎΠ»Π°Π³Π°Π΅Ρ ΡΠ°ΠΊΠΎΠΉ ΠΊΡΠ°ΠΉΠ½ΠΎΡΡΠΈ, ΡΠ΄Π°ΡΠ½ΠΎ Π²ΡΠ±ΡΠ°Π½Π½ΡΠΉ ΡΠΏΠΎΡΠΎΠ± ΠΈΠ½ΠΈΡΠΈΠ°Π»ΠΈΠ·Π°ΡΠΈΠΈ Π²Π΅ΡΠΎΠ² ΠΌΠΎΠΆΠ΅Ρ Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΠΎ Π²Π»ΠΈΡΡΡ Π½Π° ΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡΡ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΊ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ, ΡΠ°ΠΊ ΠΊΠ°ΠΊ ΠΎΠ½ ΠΏΡΠ΅Π΄ΡΡΡΠ°Π½Π°Π²Π»ΠΈΠ²Π°Π΅Ρ ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΡ ΠΌΠΎΠ΄Π΅Π»ΠΈ Ρ ΡΡΠ΅ΡΠΎΠΌ ΡΡΠ½ΠΊΡΠΈΠΈ ΠΏΠΎΡΠ΅ΡΡ.
ΠΠ΄Π΅ΡΡ Ρ ΠΏΡΠΈΠ²Π΅Π΄Ρ Π΄Π²Π° Π½Π°ΠΈΠ±ΠΎΠ»Π΅Π΅ ΠΈΠ½ΡΠ΅ΡΠ΅ΡΠ½ΡΡ ΠΌΠ΅ΡΠΎΠ΄Π°.
ΠΠ΅ΡΠΎΠ΄ ΠΈΠ½ΠΈΡΠΈΠ°Π»ΠΈΠ·Π°ΡΠΈΠΈ ΠΠ°Π²ΡΠ΅ΡΠ° (Xavier) (ΠΈΠ½ΠΎΠ³Π΄Π° β ΠΌΠ΅ΡΠΎΠ΄ GlorotβΠ°). ΠΡΠ½ΠΎΠ²Π½Π°Ρ ΠΈΠ΄Π΅Ρ ΡΡΠΎΠ³ΠΎ ΠΌΠ΅ΡΠΎΠ΄Π° β ΡΠΏΡΠΎΡΡΠΈΡΡ ΠΏΡΠΎΡ
ΠΎΠΆΠ΄Π΅Π½ΠΈΠ΅ ΡΠΈΠ³Π½Π°Π»Π° ΡΠ΅ΡΠ΅Π· ΡΠ»ΠΎΠΉ Π²ΠΎ Π²ΡΠ΅ΠΌΡ ΠΊΠ°ΠΊ ΠΏΡΡΠΌΠΎΠ³ΠΎ, ΡΠ°ΠΊ ΠΈ ΠΎΠ±ΡΠ°ΡΠ½ΠΎΠ³ΠΎ ΡΠ°ΡΠΏΡΠΎΡΡΡΠ°Π½Π΅Π½ΠΈΡ ΠΎΡΠΈΠ±ΠΊΠΈ Π΄Π»Ρ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ ΡΡΠ½ΠΊΡΠΈΠΈ Π°ΠΊΡΠΈΠ²Π°ΡΠΈΠΈ (ΡΡΠΎΡ ΠΌΠ΅ΡΠΎΠ΄ ΡΠ°ΠΊΠΆΠ΅ Ρ
ΠΎΡΠΎΡΠΎ ΡΠ°Π±ΠΎΡΠ°Π΅Ρ Π΄Π»Ρ ΡΠΈΠ³ΠΌΠΎΠΈΠ΄Π½ΠΎΠΉ ΡΡΠ½ΠΊΡΠΈΠΈ, ΡΠ°ΠΊ ΠΊΠ°ΠΊ ΡΡΠ°ΡΡΠΎΠΊ, Π³Π΄Π΅ ΠΎΠ½Π° Π½Π΅Π½Π°ΡΡΡΠ΅Π½Π°, ΡΠ°ΠΊΠΆΠ΅ ΠΈΠΌΠ΅Π΅Ρ Π»ΠΈΠ½Π΅ΠΉΠ½ΡΠΉ Ρ
Π°ΡΠ°ΠΊΡΠ΅Ρ). ΠΡΠΈ Π²ΡΡΠΈΡΠ»Π΅Π½ΠΈΠΈ Π²Π΅ΡΠΎΠ² ΡΡΠΎΡ ΠΌΠ΅ΡΠΎΠ΄ ΠΎΠΏΠΈΡΠ°Π΅ΡΡΡ Π½Π° Π²Π΅ΡΠΎΡΡΠ½ΠΎΡΡΠ½ΠΎΠ΅ ΡΠ°ΡΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ (ΡΠ°Π²Π½ΠΎΠΌΠ΅ΡΠ½ΠΎΠ΅ ΠΈΠ»ΠΈ Π½ΠΎΡΠΌΠ°Π»ΡΠ½ΠΎΠ΅) Ρ Π΄ΠΈΡΠΏΠ΅ΡΡΠΈΠ΅ΠΉ, ΡΠ°Π²Π½ΠΎΠΉ , Π³Π΄Π΅
ΠΈ
β ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²Π° Π½Π΅ΠΉΡΠΎΠ½ΠΎΠ² Π² ΠΏΡΠ΅Π΄ΡΠ΄ΡΡΠ΅ΠΌ ΠΈ ΠΏΠΎΡΠ»Π΅Π΄ΡΡΡΠ΅ΠΌ ΡΠ»ΠΎΡΡ
ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²Π΅Π½Π½ΠΎ.
ΠΠ΅ΡΠΎΠ΄ ΠΈΠ½ΠΈΡΠΈΠ°Π»ΠΈΠ·Π°ΡΠΈΠΈ ΠΠ΅ (He) β ΡΡΠΎ Π²Π°ΡΠΈΠ°ΡΠΈΡ ΠΌΠ΅ΡΠΎΠ΄Π° ΠΠ°Π²ΡΠ΅ΡΠ°, Π±ΠΎΠ»ΡΡΠ΅ ΠΏΠΎΠ΄Ρ
ΠΎΠ΄ΡΡΠ°Ρ ΡΡΠ½ΠΊΡΠΈΠΈ Π°ΠΊΡΠΈΠ²Π°ΡΠΈΠΈ ReLU, ΠΊΠΎΠΌΠΏΠ΅Π½ΡΠΈΡΡΡΡΠ°Ρ ΡΠΎΡ ΡΠ°ΠΊΡ, ΡΡΠΎ ΡΡΠ° ΡΡΠ½ΠΊΡΠΈΡ Π²ΠΎΠ·Π²ΡΠ°ΡΠ°Π΅Ρ Π½ΡΠ»Ρ Π΄Π»Ρ ΠΏΠΎΠ»ΠΎΠ²ΠΈΠ½Ρ ΠΎΠ±Π»Π°ΡΡΠΈ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΡ. Π ΠΈΠΌΠ΅Π½Π½ΠΎ, Π² ΡΡΠΎΠΌ ΡΠ»ΡΡΠ°Π΅
Π§ΡΠΎΠ±Ρ ΠΏΠΎΠ»ΡΡΠΈΡΡ ΡΡΠ΅Π±ΡΠ΅ΠΌΡΡ Π΄ΠΈΡΠΏΠ΅ΡΡΠΈΡ Π΄Π»Ρ ΠΈΠ½ΠΈΡΠΈΠ°Π»ΠΈΠ·Π°ΡΠΈΠΈ ΠΠ°Π²ΡΠ΅ΡΠ°, ΡΠ°ΡΡΠΌΠΎΡΡΠΈΠΌ, ΡΡΠΎ ΠΏΡΠΎΠΈΡΡ ΠΎΠ΄ΠΈΡ Ρ Π΄ΠΈΡΠΏΠ΅ΡΡΠΈΠ΅ΠΉ Π²ΡΡ ΠΎΠ΄Π½ΡΡ Π·Π½Π°ΡΠ΅Π½ΠΈΠΉ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠ³ΠΎ Π½Π΅ΠΉΡΠΎΠ½Π° (Π±Π΅Π· ΡΠΎΡΡΠ°Π²Π»ΡΡΡΠ΅ΠΉ ΡΠΌΠ΅ΡΠ΅Π½ΠΈΡ), ΠΏΡΠ΅Π΄ΠΏΠΎΠ»Π°Π³Π°Ρ, ΡΡΠΎ Π²Π΅ΡΠ° ΠΈ Π²Ρ ΠΎΠ΄Π½ΡΠ΅ Π·Π½Π°ΡΠ΅Π½ΠΈΡ Π½Π΅ ΠΊΠΎΡΡΠ΅Π»ΠΈΡΡΡΡ ΠΈ ΠΈΠΌΠ΅ΡΡ Π½ΡΠ»Π΅Π²ΠΎΠ΅ ΠΌΠ°ΡΠΎΠΆΠΈΠ΄Π°Π½ΠΈΠ΅:
ΠΠ· ΡΡΠΎΠ³ΠΎ ΡΠ»Π΅Π΄ΡΠ΅Ρ, ΡΡΠΎ, ΡΡΠΎΠ±Ρ ΡΠΎΡ
ΡΠ°Π½ΠΈΡΡ Π΄ΠΈΡΠΏΠ΅ΡΡΠΈΡ Π²Ρ
ΠΎΠ΄Π½ΡΡ
Π΄Π°Π½Π½ΡΡ
ΠΏΠΎΡΠ»Π΅ ΠΏΡΠΎΡ
ΠΎΠΆΠ΄Π΅Π½ΠΈΡ ΡΠ΅ΡΠ΅Π· ΡΠ»ΠΎΠΉ, Π½Π΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΠΎ, ΡΡΠΎΠ±Ρ Π΄ΠΈΡΠΏΠ΅ΡΡΠΈΡ Π±ΡΠ»Π° . ΠΡ ΠΌΠΎΠΆΠ΅ΠΌ ΠΏΡΠΈΠΌΠ΅Π½ΠΈΡΡ ΡΡΠΎΡ ΠΆΠ΅ Π°ΡΠ³ΡΠΌΠ΅Π½Ρ ΠΏΡΠΈ ΠΎΠ±ΡΠ°ΡΠ½ΠΎΠΌ ΡΠ°ΡΠΏΡΠΎΡΡΡΠ°Π½Π΅Π½ΠΈΠΈ ΠΎΡΠΈΠ±ΠΊΠΈ, ΡΡΠΎΠ±Ρ ΠΏΠΎΠ»ΡΡΠΈΡΡ
. Π’Π°ΠΊ ΠΊΠ°ΠΊ ΠΎΠ±ΡΡΠ½ΠΎ ΠΌΡ Π½Π΅ ΠΌΠΎΠΆΠ΅ΠΌ ΡΠ΄ΠΎΠ²Π»Π΅ΡΠ²ΠΎΡΠΈΡΡ ΠΎΠ±ΠΎΠΈΠΌ ΡΡΠΈΠΌ ΡΡΠ΅Π±ΠΎΠ²Π°Π½ΠΈΡΠΌ, ΠΌΡ Π²ΡΠ±ΠΈΡΠ°Π΅ΠΌ Π΄ΠΈΡΠΏΠ΅ΡΡΠΈΡ Π²Π΅ΡΠΎΠ² ΠΊΠ°ΠΊ ΠΈΡ
ΡΡΠ΅Π΄Π½Π΅Π΅:
, ΡΡΠΎ Π½Π° ΠΏΡΠ°ΠΊΡΠΈΠΊΠ΅, ΠΊΠ°ΠΊ ΠΏΡΠ°Π²ΠΈΠ»ΠΎ, ΡΠ°Π±ΠΎΡΠ°Π΅Ρ ΠΏΡΠ΅ΠΊΡΠ°ΡΠ½ΠΎ.
ΠΠ°ΡΡ-Π½ΠΎΡΠΌΠ°Π»ΠΈΠ·Π°ΡΠΈΡ (batch normalization)
ΠΠ°ΡΡ-Π½ΠΎΡΠΌΠ°Π»ΠΈΠ·Π°ΡΠΈΡ β ΠΌΠ΅ΡΠΎΠ΄ ΡΡΠΊΠΎΡΠ΅Π½ΠΈΡ Π³Π»ΡΠ±ΠΎΠΊΠΎΠ³ΠΎ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ, ΠΏΡΠ΅Π΄Π»ΠΎΠΆΠ΅Π½Π½ΡΠΉ Ioffe ΠΈ Szegedy Π² Π½Π°ΡΠ°Π»Π΅ 2015 Π³ΠΎΠ΄Π°, ΡΠΆΠ΅ ΠΏΡΠΎΡΠΈΡΠΈΡΠΎΠ²Π°Π½Π½ΡΠΉ Π½Π° arXiv 560 ΡΠ°Π·! ΠΠ΅ΡΠΎΠ΄ ΡΠ΅ΡΠ°Π΅Ρ ΡΠ»Π΅Π΄ΡΡΡΡΡ ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ, ΠΏΡΠ΅ΠΏΡΡΡΡΠ²ΡΡΡΡΡ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎΠΌΡ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ Π½Π΅ΠΉΡΠΎΠ½Π½ΡΡ ΡΠ΅ΡΠ΅ΠΉ: ΠΏΠΎ ΠΌΠ΅ΡΠ΅ ΡΠ°ΡΠΏΡΠΎΡΡΡΠ°Π½Π΅Π½ΠΈΡ ΡΠΈΠ³Π½Π°Π»Π° ΠΏΠΎ ΡΠ΅ΡΠΈ, Π΄Π°ΠΆΠ΅ Π΅ΡΠ»ΠΈ ΠΌΡ Π½ΠΎΡΠΌΠ°Π»ΠΈΠ·ΠΎΠ²Π°Π»ΠΈ Π΅Π³ΠΎ Π½Π° Π²Ρ ΠΎΠ΄Π΅, ΠΏΡΠΎΠΉΠ΄Ρ ΡΠ΅ΡΠ΅Π· Π²Π½ΡΡΡΠ΅Π½Π½ΠΈΠ΅ ΡΠ»ΠΎΠΈ, ΠΎΠ½ ΠΌΠΎΠΆΠ΅Ρ ΡΠΈΠ»ΡΠ½ΠΎ ΠΈΡΠΊΠ°Π·ΠΈΡΡΡΡ ΠΊΠ°ΠΊ ΠΏΠΎ ΠΌΠ°ΡΠΎΠΆΠΈΠ΄Π½ΠΈΡ, ΡΠ°ΠΊ ΠΈ ΠΏΠΎ Π΄ΠΈΡΠΏΠ΅ΡΡΠΈΠΈ (Π΄Π°Π½Π½ΠΎΠ΅ ΡΠ²Π»Π΅Π½ΠΈΠ΅ Π½Π°Π·ΡΠ²Π°Π΅ΡΡΡ Π²Π½ΡΡΡΠ΅Π½Π½ΠΈΠΌ ΠΊΠΎΠ²Π°ΡΠΈΠ°ΡΠΈΠΎΠ½Π½ΡΠΌ ΡΠ΄Π²ΠΈΠ³ΠΎΠΌ), ΡΡΠΎ ΡΡΠ΅Π²Π°ΡΠΎ ΡΠ΅ΡΡΠ΅Π·Π½ΡΠΌΠΈ Π½Π΅ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΠΈΡΠΌΠΈ ΠΌΠ΅ΠΆΠ΄Ρ Π³ΡΠ°Π΄ΠΈΠ΅Π½ΡΠ°ΠΌΠΈ Π½Π° ΡΠ°Π·Π»ΠΈΡΠ½ΡΡ ΡΡΠΎΠ²Π½ΡΡ . ΠΠΎΡΡΠΎΠΌΡ Π½Π°ΠΌ ΠΏΡΠΈΡ ΠΎΠ΄ΠΈΡΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ Π±ΠΎΠ»Π΅Π΅ ΡΠΈΠ»ΡΠ½ΡΠ΅ ΡΠ΅Π³ΡΠ»ΡΡΠΈΠ·Π°ΡΠΎΡΡ, Π·Π°ΠΌΠ΅Π΄Π»ΡΡ ΡΠ΅ΠΌ ΡΠ°ΠΌΡΠΌ ΡΠ΅ΠΌΠΏ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ.
Π‘ ΠΏΠΎΠΌΠΎΡΡΡ ΡΡΠΈΡ ΡΡΠ°ΡΠΈΡΡΠΈΡΠ΅ΡΠΊΠΈΡ Ρ Π°ΡΠ°ΠΊΡΠ΅ΡΠΈΡΡΠΈΠΊ ΠΌΡ ΠΏΡΠ΅ΠΎΠ±ΡΠ°Π·ΡΠ΅ΠΌ ΡΡΠ½ΠΊΡΠΈΡ Π°ΠΊΡΠΈΠ²Π°ΡΠΈΠΈ ΡΠ°ΠΊΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ, ΡΡΠΎΠ±Ρ ΠΎΠ½Π° ΠΈΠΌΠ΅Π»Π° Π½ΡΠ»Π΅Π²ΠΎΠ΅ ΠΌΠ°ΡΠΎΠΆΠΈΠ΄Π°Π½ΠΈΠ΅ ΠΈ Π΅Π΄ΠΈΠ½ΠΈΡΠ½ΡΡ Π΄ΠΈΡΠΏΠ΅ΡΡΠΈΡ Π½Π° Π²ΡΠ΅ΠΌ Π±Π°ΡΡΠ΅:
Π³Π΄Π΅ Ξ΅ >0 β ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡ, Π·Π°ΡΠΈΡΠ°ΡΡΠΈΠΉ Π½Π°Ρ ΠΎΡ Π΄Π΅Π»Π΅Π½ΠΈΡ Π½Π° 0 (Π² ΡΠ»ΡΡΠ°Π΅, Π΅ΡΠ»ΠΈ ΡΡΠ΅Π΄Π½Π΅ΠΊΠ²Π°Π΄ΡΠ°ΡΠΈΡΠ½ΠΎΠ΅ ΠΎΡΠΊΠ»ΠΎΠ½Π΅Π½ΠΈΠ΅ Π±Π°ΡΡΠ° ΠΎΡΠ΅Π½Ρ ΠΌΠ°Π»ΠΎ ΠΈΠ»ΠΈ Π΄Π°ΠΆΠ΅ ΡΠ°Π²Π½ΠΎ Π½ΡΠ»Ρ). ΠΠ°ΠΊΠΎΠ½Π΅Ρ, ΡΡΠΎΠ±Ρ ΠΏΠΎΠ»ΡΡΠΈΡΡ ΠΎΠΊΠΎΠ½ΡΠ°ΡΠ΅Π»ΡΠ½ΡΡ ΡΡΠ½ΠΊΡΠΈΡ Π°ΠΊΡΠΈΠ²Π°ΡΠΈΠΈ y, Π½Π°ΠΌ Π½Π°Π΄ΠΎ ΡΠ±Π΅Π΄ΠΈΡΡΡΡ, ΡΡΠΎ Π²ΠΎ Π²ΡΠ΅ΠΌΡ Π½ΠΎΡΠΌΠ°Π»ΠΈΠ·Π°ΡΠΈΠΈ ΠΌΡ Π½Π΅ ΠΏΠΎΡΠ΅ΡΡΠ»ΠΈ ΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡΠΈ ΠΊ ΠΎΠ±ΠΎΠ±ΡΠ΅Π½ΠΈΡ, ΠΈ ΡΠ°ΠΊ ΠΊΠ°ΠΊ ΠΊ ΠΈΡΡ ΠΎΠ΄Π½ΡΠΌ Π΄Π°Π½Π½ΡΠΌ ΠΌΡ ΠΏΡΠΈΠΌΠ΅Π½ΠΈΠ»ΠΈ ΠΎΠΏΠ΅ΡΠ°ΡΠΈΠΈ ΠΌΠ°ΡΡΡΠ°Π±ΠΈΡΠΎΠ²Π°Π½ΠΈΡ ΠΈ ΡΠ΄Π²ΠΈΠ³Π°, ΠΌΡ ΠΌΠΎΠΆΠ΅ΠΌ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΡΡ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ»ΡΠ½ΡΠ΅ ΠΌΠ°ΡΡΡΠ°Π±ΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΠΈ ΡΠ΄Π²ΠΈΠ³ Π½ΠΎΡΠΌΠ°Π»ΠΈΠ·ΠΎΠ²Π°Π½Π½ΡΡ Π·Π½Π°ΡΠ΅Π½ΠΈΠΉ, ΠΏΠΎΠ»ΡΡΠΈΠ² ΠΎΠΊΠΎΠ½ΡΠ°ΡΠ΅Π»ΡΠ½ΡΡ ΡΡΠ½ΠΊΡΠΈΡ Π°ΠΊΡΠΈΠ²Π°ΡΠΈΠΈ:
ΠΠ΄Π΅ Ξ² ΠΈ Ξ³ β ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΡ Π±Π°ΡΡ-Π½ΠΎΡΠΌΠ°Π»ΠΈΠ·Π°ΡΠΈΠΈ, ΠΊΠΎΡΠΎΡΡΠΌ ΡΠΈΡΡΠ΅ΠΌΡ ΠΌΠΎΠΆΠ½ΠΎ ΠΎΠ±ΡΡΠΈΡΡ (ΠΈΡ ΠΌΠΎΠΆΠ½ΠΎ ΠΎΠΏΡΠΈΠΌΠΈΠ·ΠΈΡΠΎΠ²Π°ΡΡ ΠΌΠ΅ΡΠΎΠ΄ΠΎΠΌ Π³ΡΠ°Π΄ΠΈΠ΅Π½ΡΠ½ΠΎΠ³ΠΎ ΡΠΏΡΡΠΊΠ° Π½Π° ΠΎΠ±ΡΡΠ°ΡΡΠΈΡ Π΄Π°Π½Π½ΡΡ ). ΠΡΠΎ ΠΎΠ±ΠΎΠ±ΡΠ΅Π½ΠΈΠ΅ ΡΠ°ΠΊΠΆΠ΅ ΠΎΠ·Π½Π°ΡΠ°Π΅Ρ, ΡΡΠΎ Π±Π°ΡΡ-Π½ΠΎΡΠΌΠ°Π»ΠΈΠ·Π°ΡΠΈΡ ΠΌΠΎΠΆΠ΅Ρ Π±ΡΡΡ ΠΏΠΎΠ»Π΅Π·Π½ΠΎ ΠΏΡΠΈΠΌΠ΅Π½ΡΡΡ Π½Π΅ΠΏΠΎΡΡΠ΅Π΄ΡΡΠ²Π΅Π½Π½ΠΎ ΠΊ Π²Ρ ΠΎΠ΄Π½ΡΠΌ Π΄Π°Π½Π½ΡΠΌ Π½Π΅ΠΉΡΠΎΠ½Π½ΠΎΠΉ ΡΠ΅ΡΠΈ.
ΠΡΠΎΡ ΠΌΠ΅ΡΠΎΠ΄ Π² ΠΏΡΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠΈ ΠΊ Π³Π»ΡΠ±ΠΎΠΊΠΈΠΌ ΡΠ²Π΅ΡΡΠΎΡΠ½ΡΠΌ ΡΠ΅ΡΡΠΌ ΠΏΠΎΡΡΠΈ Π²ΡΠ΅Π³Π΄Π° ΡΡΠΏΠ΅ΡΠ½ΠΎ Π΄ΠΎΡΡΠΈΠ³Π°Π΅Ρ ΡΠ²ΠΎΠ΅ΠΉ ΡΠ΅Π»ΠΈ β ΡΡΠΊΠΎΡΠΈΡΡ ΠΎΠ±ΡΡΠ΅Π½ΠΈΠ΅. ΠΠΎΠ»Π΅Π΅ ΡΠΎΠ³ΠΎ, ΠΎΠ½ ΠΌΠΎΠΆΠ΅Ρ ΡΠ»ΡΡΠΈΡΡ ΠΎΡΠ»ΠΈΡΠ½ΡΠΌ ΡΠ΅Π³ΡΠ»ΡΡΠΈΠ·Π°ΡΠΎΡΠΎΠΌ, ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡ Π½Π΅ ΡΠ°ΠΊ ΠΎΡΠΌΠΎΡΡΠΈΡΠ΅Π»ΡΠ½ΠΎ Π²ΡΠ±ΠΈΡΠ°ΡΡ ΡΠ΅ΠΌΠΏ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ, ΠΌΠΎΡΠ½ΠΎΡΡΡ -ΡΠ΅Π³ΡΠ»ΡΡΠΈΠ·Π°ΡΠΎΡΠ° ΠΈ dropout (ΠΈΠ½ΠΎΠ³Π΄Π° Π½Π΅ΠΎΠ±Ρ
ΠΎΠ΄ΠΈΠΌΠΎΡΡΡ Π² Π½ΠΈΡ
ΡΠΎΠ²ΡΠ΅ΠΌ ΠΎΡΠΏΠ°Π΄Π°Π΅Ρ). Π Π΅Π³ΡΠ»ΡΡΠΈΠ·Π°ΡΠΈΡ Π·Π΄Π΅ΡΡ β ΡΠ»Π΅Π΄ΡΡΠ²ΠΈΠ΅ ΡΠΎΠ³ΠΎ ΡΠ°ΠΊΡΠ°, ΡΡΠΎ ΡΠ΅Π·ΡΠ»ΡΡΠ°Ρ ΡΠ°Π±ΠΎΡΡ ΡΠ΅ΡΠΈ Π΄Π»Ρ ΠΎΠΏΡΠ΅Π΄Π΅Π»Π΅Π½Π½ΠΎΠ³ΠΎ ΠΏΡΠΈΠΌΠ΅ΡΠ° Π±ΠΎΠ»ΡΡΠ΅ Π½Π΅ Π΄Π΅ΡΠ΅ΡΠΌΠΈΠ½ΠΈΡΠΎΠ²Π°Π½ΠΎ (ΠΎΠ½ Π·Π°Π²ΠΈΡΠΈΡ ΠΎΡ Π²ΡΠ΅Π³ΠΎ Π±Π°ΡΡΠ°, Π² ΡΠ°ΠΌΠΊΠ°Ρ
ΠΊΠΎΡΠΎΡΠΎΠ³ΠΎ Π΄Π°Π½Π½ΡΠΉ ΡΠ΅Π·ΡΠ»ΡΡΠ°Ρ ΠΏΠΎΠ»ΡΡΠ΅Π½), ΡΡΠΎ ΡΠΏΡΠΎΡΠ°Π΅Ρ ΠΎΠ±ΠΎΠ±ΡΠ΅Π½ΠΈΠ΅.
Π Π½Π°ΠΊΠΎΠ½Π΅Ρ, Ρ ΠΎΡΡ Π°Π²ΡΠΎΡΡ ΠΌΠ΅ΡΠΎΠ΄Π° ΡΠ΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡΡΡ ΠΏΡΠΈΠΌΠ΅Π½ΡΡΡ Π±Π°ΡΡ-Π½ΠΎΡΠΌΠ°Π»ΠΈΠ·Π°ΡΠΈΡ Π΄ΠΎ ΡΡΠ½ΠΊΡΠΈΠΈ Π°ΠΊΡΠΈΠ²Π°ΡΠΈΠΈ Π½Π΅ΠΉΡΠΎΠ½Π°, ΠΏΠΎΡΠ»Π΅Π΄Π½ΠΈΠ΅ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°Π½ΠΈΡ ΠΏΠΎΠΊΠ°Π·ΡΠ²Π°ΡΡ, ΡΡΠΎ Π΅ΡΠ»ΠΈ Π½Π΅ ΠΏΠΎΠ»Π΅Π·Π½Π΅Π΅, ΡΠΎ ΠΏΠΎ ΠΊΡΠ°ΠΉΠ½Π΅ΠΉ ΠΌΠ΅ΡΠ΅ ΡΠ°ΠΊ ΠΆΠ΅ Π²ΡΠ³ΠΎΠ΄Π½ΠΎ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ Π΅Π΅ ΠΏΠΎΡΠ»Π΅ Π°ΠΊΡΠΈΠ²Π°ΡΠΈΠΈ, ΡΡΠΎ ΠΌΡ ΠΈ ΡΠ΄Π΅Π»Π°Π΅ΠΌ Π² ΡΠ°ΠΌΠΊΠ°Ρ ΡΡΠΎΠ³ΠΎ ΡΡΠΊΠΎΠ²ΠΎΠ΄ΡΡΠ²Π°.
Π Π°ΡΡΠΈΡΠ΅Π½ΠΈΠ΅ ΠΎΠ±ΡΡΠ°ΡΡΠ΅Π³ΠΎ ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²Π° (data augmentation)
Π ΡΠΎ Π²ΡΠ΅ΠΌΡ ΠΊΠ°ΠΊ ΠΎΠΏΠΈΡΠ°Π½Π½ΡΠ΅ Π²ΡΡΠ΅ ΠΌΠ΅ΡΠΎΠ΄Ρ ΠΊΠ°ΡΠ°Π»ΠΈΡΡ Π² ΠΎΡΠ½ΠΎΠ²Π½ΠΎΠΌ ΡΠΎΠ½ΠΊΠΎΠΉ Π½Π°ΡΡΡΠΎΠΉΠΊΠΈ ΡΠ°ΠΌΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΠΈ, Π±ΡΠ²Π°Π΅Ρ ΠΏΠΎΠ»Π΅Π·Π½ΠΎ ΠΈΠ·ΡΡΠΈΡΡ Π²Π°ΡΠΈΠ°Π½ΡΡ Π½Π°ΡΡΡΠΎΠΉΠΊΠΈ Π΄Π°Π½Π½ΡΡ , ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎ ΠΊΠΎΠ³Π΄Π° ΡΠ΅ΡΡ ΠΈΠ΄Π΅Ρ ΠΎ Π·Π°Π΄Π°ΡΠ°Ρ ΡΠ°ΡΠΏΠΎΠ·Π½Π°Π²Π°Π½ΠΈΡ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΠΉ.
ΠΡΠ΅Π΄ΡΡΠ°Π²ΠΈΠΌ, ΡΡΠΎ ΠΌΡ ΠΎΠ±ΡΡΠΈΠ»ΠΈ Π½Π΅ΠΉΡΠΎΠ½Π½ΡΡ ΡΠ΅ΡΡ ΡΠ°ΡΠΏΠΎΠ·Π½Π°Π²Π°ΡΡ ΡΡΠΊΠΎΠΏΠΈΡΠ½ΡΠ΅ ΡΠΈΡΡΡ, ΠΊΠΎΡΠΎΡΡΠ΅ Π±ΡΠ»ΠΈ ΠΏΡΠΈΠΌΠ΅ΡΠ½ΠΎ ΠΎΠ΄Π½ΠΎΠ³ΠΎ ΡΠ°Π·ΠΌΠ΅ΡΠ° ΠΈ Π±ΡΠ»ΠΈ Π°ΠΊΠΊΡΡΠ°ΡΠ½ΠΎ Π²ΡΡΠΎΠ²Π½Π΅Π½Ρ. Π’Π΅ΠΏΠ΅ΡΡ Π΄Π°Π²Π°ΠΉΡΠ΅ ΠΏΡΠ΅Π΄ΡΡΠ°Π²ΠΈΠΌ, ΡΡΠΎ ΡΠ»ΡΡΠΈΡΡΡ, Π΅ΡΠ»ΠΈ ΠΊΡΠΎ-ΡΠΎ Π΄Π°ΡΡ ΡΡΠΎΠΉ ΡΠ΅ΡΠΈ Π½Π° ΡΠ΅ΡΡΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅ ΡΠ»Π΅Π³ΠΊΠ° ΡΠ΄Π²ΠΈΠ½ΡΡΡΠ΅ ΡΠΈΡΡΡ ΡΠ°Π·Π½ΠΎΠ³ΠΎ ΡΠ°Π·ΠΌΠ΅ΡΠ° ΠΈ Π½Π°ΠΊΠ»ΠΎΠ½Π° β ΡΠΎΠ³Π΄Π° Π΅Π΅ ΡΠ²Π΅ΡΠ΅Π½Π½ΠΎΡΡΡ Π² ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΠΎΠΌ ΠΊΠ»Π°ΡΡΠ΅ ΡΠ΅Π·ΠΊΠΎ ΡΠΏΠ°Π΄Π΅Ρ. Π ΠΈΠ΄Π΅Π°Π»Π΅ Ρ ΠΎΡΠΎΡΠΎ Π±Ρ ΡΠΌΠ΅ΡΡ ΡΠ°ΠΊ ΠΎΠ±ΡΡΠ°ΡΡ ΡΠ΅ΡΡ, ΡΡΠΎΠ±Ρ ΠΎΠ½Π° ΠΎΡΡΠ°Π²Π°Π»Π°ΡΡ ΡΡΡΠΎΠΉΡΠΈΠ²ΠΎΠΉ ΠΊ ΠΏΠΎΠ΄ΠΎΠ±Π½ΡΠΌ ΠΈΡΠΊΠ°ΠΆΠ΅Π½ΠΈΡΠΌ, Π½ΠΎ Π½Π°ΡΠ° ΠΌΠΎΠ΄Π΅Π»Ρ ΠΌΠΎΠΆΠ΅Ρ ΠΎΠ±ΡΡΠ°ΡΡΡΡ ΡΠΎΠ»ΡΠΊΠΎ Π½Π° ΠΎΡΠ½ΠΎΠ²Π΅ ΡΠ΅Ρ ΠΎΠ±ΡΠ°Π·ΡΠΎΠ², ΠΊΠΎΡΠΎΡΡΠ΅ ΠΌΡ Π΅ΠΉ ΠΏΡΠ΅Π΄ΠΎΡΡΠ°Π²ΠΈΠ»ΠΈ, ΠΏΡΠΈ ΡΠΎΠΌ ΡΡΠΎ ΠΎΠ½Π° ΠΏΡΠΎΠ²ΠΎΠ΄ΠΈΡ Π² Π½Π΅ΠΊΠΎΡΠΎΡΠΎΠΌ ΡΠΎΠ΄Π΅ ΡΡΠ°ΡΠΈΡΡΠΈΡΠ΅ΡΠΊΠΈΠΉ Π°Π½Π°Π»ΠΈΠ· ΠΎΠ±ΡΡΠ°ΡΡΠ΅Π³ΠΎ ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²Π° ΠΈ ΡΠΊΡΡΡΠ°ΠΏΠΎΠ»ΠΈΡΡΠ΅Ρ Π΅Π³ΠΎ.
Π ΡΡΠ°ΡΡΡΡ, Π΄Π»Ρ ΡΡΠΎΠΉ ΠΏΡΠΎΠ±Π»Π΅ΠΌΡ ΡΡΡΠ΅ΡΡΠ²ΡΠ΅Ρ ΡΠ΅ΡΠ΅Π½ΠΈΠ΅, ΠΏΡΠΎΡΡΠΎΠ΅, Π½ΠΎ ΡΡΡΠ΅ΠΊΡΠΈΠ²Π½ΠΎΠ΅, ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎ Π½Π° Π·Π°Π΄Π°ΡΠ°Ρ ΠΏΠΎ ΡΠ°ΡΠΏΠΎΠ·Π½Π°Π²Π°Π½ΠΈΡ ΠΈΠ·ΠΎΠ±ΡΠ°ΠΆΠ΅Π½ΠΈΠΉ: ΠΈΡΠΊΡΡΡΡΠ²Π΅Π½Π½ΠΎ ΡΠ°ΡΡΠΈΡΡΡΠ΅ ΠΎΠ±ΡΡΠ°ΡΡΠΈΠ΅ Π΄Π°Π½Π½ΡΠ΅ ΠΈΡΠΊΠ°ΠΆΠ΅Π½Π½ΡΠΌΠΈ Π²Π΅ΡΡΠΈΡΠΌΠΈ Π²ΠΎ Π²ΡΠ΅ΠΌΡ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ! ΠΡΠΎ ΠΎΠ·Π½Π°ΡΠ°Π΅Ρ ΡΠ»Π΅Π΄ΡΡΡΠ΅Π΅: ΠΏΠ΅ΡΠ΅Π΄ ΡΠ΅ΠΌ, ΠΊΠ°ΠΊ ΠΏΠΎΠ΄Π°ΡΡ ΠΏΡΠΈΠΌΠ΅Ρ Π½Π° Π²Ρ ΠΎΠ΄ ΠΌΠΎΠ΄Π΅Π»ΠΈ, ΠΌΡ ΠΏΡΠΈΠΌΠ΅Π½ΠΈΠΌ ΠΊ Π½Π΅ΠΌΡ Π²ΡΠ΅ ΡΡΠ°Π½ΡΡΠΎΡΠΌΠ°ΡΠΈΠΈ, ΠΊΠΎΡΠΎΡΡΠ΅ ΡΠΎΡΡΠ΅ΠΌ Π½ΡΠΆΠ½ΡΠΌΠΈ, Π° ΠΏΠΎΡΠΎΠΌ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΠΌ ΡΠ΅ΡΠΈ Π½Π°ΠΏΡΡΠΌΡΡ Π½Π°Π±Π»ΡΠ΄Π°ΡΡ, ΠΊΠ°ΠΊΠΎΠΉ ΡΡΡΠ΅ΠΊΡ ΠΈΠΌΠ΅Π΅Ρ ΠΏΡΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ ΠΈΡ ΠΊ Π΄Π°Π½Π½ΡΠΌ ΠΈ ΠΎΠ±ΡΡΠ°Ρ Π΅Π΅ βΡ ΠΎΡΠΎΡΠΎ Π²Π΅ΡΡΠΈ ΡΠ΅Π±Ρβ ΠΈ Π½Π° ΡΡΠΈΡ ΠΏΡΠΈΠΌΠ΅ΡΠ°Ρ . ΠΠ°ΠΏΡΠΈΠΌΠ΅Ρ, Π²ΠΎΡ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ ΠΏΡΠΈΠΌΠ΅ΡΠΎΠ² ΡΠ΄Π²ΠΈΠ½ΡΡΡΡ , ΠΌΠ°ΡΡΡΠ°Π±ΠΈΡΠΎΠ²Π°Π½Π½ΡΡ , Π΄Π΅ΡΠΎΡΠΌΠΈΡΠΎΠ²Π°Π½Π½ΡΡ , Π½Π°ΠΊΠ»ΠΎΠ½Π΅Π½Π½ΡΡ ΡΠΈΡΡ ΠΈΠ· Π½Π°Π±ΠΎΡΠ° MNIST.
ΠΠ΄Π΅ΡΡ ΠΌΡ Π±ΡΠ΄Π΅ΠΌ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ ΡΠ»ΡΡΠ°ΠΉΠ½ΡΠ΅ Π³ΠΎΡΠΈΠ·ΠΎΠ½ΡΠ°Π»ΡΠ½ΡΠ΅ ΠΈ Π²Π΅ΡΡΠΈΠΊΠ°Π»ΡΠ½ΡΠ΅ ΡΠ΄Π²ΠΈΠ³ΠΈ. ImageDataGenerator ΡΠ°ΠΊΠΆΠ΅ ΠΏΡΠ΅Π΄ΠΎΡΡΠ°Π²Π»ΡΠ΅Ρ Π½Π°ΠΌ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡΡ Π²ΡΠΏΠΎΠ»Π½ΡΡΡ ΡΠ»ΡΡΠ°ΠΉΠ½ΡΠ΅ ΠΏΠΎΠ²ΠΎΡΠΎΡΡ, ΠΌΠ°ΡΡΡΠ°Π±ΠΈΡΠΎΠ²Π°Π½ΠΈΠ΅, Π΄Π΅ΡΠΎΡΠΌΠ°ΡΠΈΡ ΠΈ Π·Π΅ΡΠΊΠ°Π»ΡΠ½ΠΎΠ΅ ΠΎΡΡΠ°ΠΆΠ΅Π½ΠΈΠ΅. ΠΡΠ΅ ΡΡΠΈ ΡΡΠ°Π½ΡΡΠΎΡΠΌΠ°ΡΠΈΠΈ ΡΠ°ΠΊΠΆΠ΅ ΡΡΠΎΠΈΡ ΠΏΠΎΠΏΡΠΎΠ±ΠΎΠ²Π°ΡΡ, ΠΊΡΠΎΠΌΠ΅ ΡΠ°Π·Π²Π΅ ΡΡΠΎ Π·Π΅ΡΠΊΠ°Π»ΡΠ½ΠΎΠ³ΠΎ ΠΎΡΡΠ°ΠΆΠ΅Π½ΠΈΡ, ΡΠ°ΠΊ ΠΊΠ°ΠΊ Π² ΡΠ΅Π°Π»ΡΠ½ΠΎΠΉ ΠΆΠΈΠ·Π½ΠΈ ΠΌΡ Π²ΡΡΠ΄ Π»ΠΈ Π²ΡΡΡΠ΅ΡΠΈΠΌ ΡΠ°Π·Π²Π΅ΡΠ½ΡΡΡΠ΅ ΡΠ°ΠΊΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ ΡΡΠΊΠΎΠΏΠΈΡΠ½ΡΠ΅ ΡΠΈΡΡΡ.
ΠΠ½ΡΠ°ΠΌΠ±Π»ΠΈ (ensembles)
ΠΠ΄Π½Π° ΠΈΠ½ΡΠ΅ΡΠ΅ΡΠ½Π°Ρ ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎΡΡΡ Π½Π΅ΠΉΡΠΎΠ½Π½ΡΡ ΡΠ΅ΡΠ΅ΠΉ, ΠΊΠΎΡΠΎΡΡΡ ΠΌΠΎΠΆΠ½ΠΎ Π·Π°ΠΌΠ΅ΡΠΈΡΡ, ΠΊΠΎΠ³Π΄Π° ΠΎΠ½ΠΈ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡΡΡ Π΄Π»Ρ ΡΠ°ΡΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΡ Π΄Π°Π½Π½ΡΡ Π½Π° Π±ΠΎΠ»Π΅Π΅ ΡΠ΅ΠΌ Π΄Π²Π° ΠΊΠ»Π°ΡΡΠ° β ΡΡΠΎ ΡΠΎ, ΡΡΠΎ ΠΏΡΠΈ ΡΠ°Π·Π»ΠΈΡΠ½ΡΡ Π½Π°ΡΠ°Π»ΡΠ½ΡΡ ΡΡΠ»ΠΎΠ²ΠΈΡΡ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ ΠΈΠΌ Π»Π΅Π³ΡΠ΅ Π΄Π°Π΅ΡΡΡ ΡΠ°ΡΠΏΡΠ΅Π΄Π΅Π»Π΅Π½ΠΈΠ΅ ΠΏΠΎ ΠΎΠ΄Π½ΠΈΠΌ ΠΊΠ»Π°ΡΡΠ°ΠΌ, Π² ΡΠΎ Π²ΡΠ΅ΠΌΡ ΠΊΠ°ΠΊ Π΄ΡΡΠ³ΠΈΠ΅ ΠΏΡΠΈΠ²ΠΎΠ΄ΡΡ Π² Π·Π°ΠΌΠ΅ΡΠ°ΡΠ΅Π»ΡΡΡΠ²ΠΎ. ΠΠ° ΠΏΡΠΈΠΌΠ΅ΡΠ΅ MNIST ΠΌΠΎΠΆΠ½ΠΎ ΠΎΠ±Π½Π°ΡΡΠΆΠΈΡΡ, ΡΡΠΎ ΠΎΡΠ΄Π΅Π»ΡΠ½ΠΎ Π²Π·ΡΡΠ°Ρ Π½Π΅ΠΉΡΠΎΠ½Π½Π°Ρ ΡΠ΅ΡΡ ΠΏΡΠ΅ΠΊΡΠ°ΡΠ½ΠΎ ΡΠΌΠ΅Π΅Ρ ΠΎΡΠ»ΠΈΡΠ°ΡΡ ΡΡΠΎΠΉΠΊΠΈ ΠΎΡ ΠΏΡΡΠ΅ΡΠΎΠΊ, Π½ΠΎ Π½Π΅ ΡΡΠΈΡΡΡ ΠΏΡΠ°Π²ΠΈΠ»ΡΠ½ΠΎ ΠΎΡΠ΄Π΅Π»ΡΡΡ Π΅Π΄ΠΈΠ½ΠΈΡΡ ΠΎΡ ΡΠ΅ΠΌΠ΅ΡΠΎΠΊ, Π² ΡΠΎ Π²ΡΠ΅ΠΌΡ ΠΊΠ°ΠΊ Ρ Π΄Π΅Π»Ρ Ρ Π΄ΡΡΠ³ΠΎΠΉ ΡΠ΅ΡΡΡ ΠΎΠ±ΡΡΠΎΡΡ Π½Π°ΠΎΠ±ΠΎΡΠΎΡ.
Π‘ ΡΡΠΈΠΌ Π½Π΅ΡΠΎΠΎΡΠ²Π΅ΡΡΡΠ²ΠΈΠ΅ΠΌ ΠΌΠΎΠΆΠ½ΠΎ Π±ΠΎΡΠΎΡΡΡΡ Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΠΌΠ΅ΡΠΎΠ΄Π° ΡΡΠ°ΡΠΈΡΡΠΈΡΠ΅ΡΠΊΠΈΡ Π°Π½ΡΠ°ΠΌΠ±Π»Π΅ΠΉ β ΠΌΠ΅ΡΡΠΎ ΠΎΠ΄Π½ΠΎΠΉ ΡΠ΅ΡΠΈ ΠΏΠΎΡΡΡΠΎΠΉΡΠ΅ Π½Π΅ΡΠΊΠΎΠ»ΡΠΊΠΎ Π΅Π΅ ΠΊΠΎΠΏΠΈΠΉ Ρ ΡΠ°Π·Π½ΡΠΌΠΈ Π½Π°ΡΠ°Π»ΡΠ½ΡΠΌΠΈ Π·Π½Π°ΡΠ΅Π½ΠΈΡΠΌΠΈ ΠΈ Π²ΡΡΠΈΡΠ»ΠΈΡΠ΅ ΠΈΡ ΡΡΠ΅Π΄Π½ΠΈΠΉ ΡΠ΅Π·ΡΠ»ΡΡΠ°Ρ Π½Π° ΠΎΠ΄Π½ΠΈΡ ΠΈ ΡΠ΅Ρ ΠΆΠ΅ Π²Ρ ΠΎΠ΄Π½ΡΡ Π΄Π°Π½Π½ΡΡ . ΠΠ΄Π΅ΡΡ ΠΌΡ Π±ΡΠ΄Π΅ΠΌ ΡΡΡΠΎΠΈΡΡ ΡΡΠΈ ΠΎΡΠ΄Π΅Π»ΡΠ½ΡΡ ΠΌΠΎΠ΄Π΅Π»ΠΈ. Π Π°Π·Π»ΠΈΡΠΈΡ ΠΌΠ΅ΠΆΠ΄Ρ Π½ΠΈΠΌΠΈ ΠΌΠΎΠΆΠ½ΠΎ Π»Π΅Π³ΠΊΠΎ ΠΏΡΠ΅Π΄ΡΡΠ°Π²ΠΈΡΡ Π² Π²ΠΈΠ΄Π΅ Π΄ΠΈΠ°Π³ΡΠ°ΠΌΠΌΡ, ΠΏΠΎΡΡΡΠΎΠ΅Π½Π½ΠΎΠΉ ΡΠ°ΠΊΠΆΠ΅ Π² Keras.
Π Π°Π½Π½ΡΡ ΠΎΡΡΠ°Π½ΠΎΠ²ΠΊΠ° (early stopping)
ΠΠΏΠΈΡΡ Π·Π΄Π΅ΡΡ Π΅ΡΠ΅ ΠΎΠ΄ΠΈΠ½ ΠΌΠ΅ΡΠΎΠ΄ Π² ΠΊΠ°ΡΠ΅ΡΡΠ²Π΅ Π²Π²Π΅Π΄Π΅Π½ΠΈΡ Π² Π±ΠΎΠ»Π΅Π΅ ΡΠΈΡΠΎΠΊΡΡ ΠΎΠ±Π»Π°ΡΡΡ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΈ Π³ΠΈΠΏΠ΅ΡΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠ². ΠΠΎΠΊΠ° ΡΡΠΎ ΠΌΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π»ΠΈ Π²Π°Π»ΠΈΠ΄Π°ΡΠΈΠΎΠ½Π½ΠΎΠ΅ ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²ΠΎ Π΄Π°Π½Π½ΡΡ ΠΈΡΠΊΠ»ΡΡΠΈΡΠ΅Π»ΡΠ½ΠΎ Π΄Π»Ρ ΠΊΠΎΠ½ΡΡΠΎΠ»Ρ Π·Π° Ρ ΠΎΠ΄ΠΎΠΌ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ, ΡΡΠΎ, Π±Π΅Π· ΡΠΎΠΌΠ½Π΅Π½ΠΈΡ, Π½Π΅ ΡΠ°ΡΠΈΠΎΠ½Π°Π»ΡΠ½ΠΎ (ΡΠ°ΠΊ ΠΊΠ°ΠΊ ΡΡΠΈ Π΄Π°Π½Π½ΡΠ΅ Π½Π΅ ΠΈΡΠΏΠΎΠ»ΡΠ·ΡΡΡΡΡ Π² ΠΊΠΎΠ½ΡΡΡΡΠΊΡΠΈΠ²Π½ΡΡ ΡΠ΅Π»ΡΡ ). ΠΠ° ΡΠ°ΠΌΠΎΠΌ ΠΆΠ΅ Π΄Π΅Π»Π΅ Π²Π°Π»ΠΈΠ΄Π°ΡΠΈΠΎΠ½Π½ΠΎΠ΅ ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²ΠΎ ΠΌΠΎΠΆΠ΅Ρ ΡΠ»ΡΠΆΠΈΡΡ Π±Π°Π·ΠΎΠΉ Π΄Π»Ρ ΠΎΡΠ΅Π½ΠΊΠΈ Π³ΠΈΠΏΠ΅ΡΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠ² ΡΠ΅ΡΠΈ (ΡΠ°ΠΊΠΈΡ , ΠΊΠ°ΠΊ Π³Π»ΡΠ±ΠΈΠ½Π°, ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ Π½Π΅ΠΉΡΠΎΠ½ΠΎΠ²/ΡΠ΄Π΅Ρ, ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΡ ΡΠ΅Π³ΡΠ»ΡΡΠΈΠ·Π°ΡΠΈΠΈ ΠΈ Ρ.Π΄.). ΠΡΠ΅Π΄ΡΡΠ°Π²ΡΡΠ΅, ΡΡΠΎ ΡΠ΅ΡΡ ΠΏΡΠΎΠ³ΠΎΠ½ΡΠ΅ΡΡΡ Ρ ΡΠ°Π·Π»ΠΈΡΠ½ΡΠΌΠΈ ΠΊΠΎΠΌΠ±ΠΈΠ½Π°ΡΠΈΡΠΌΠΈ Π³ΠΈΠΏΠ΅ΡΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠΎΠ², Π° Π·Π°ΡΠ΅ΠΌ ΡΠ΅ΡΠ΅Π½ΠΈΠ΅ ΠΏΡΠΈΠ½ΠΈΠΌΠ°Π΅ΡΡΡ Π½Π° ΠΎΡΠ½ΠΎΠ²Π΅ ΠΈΡ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΠΈ Π½Π° Π²Π°Π»ΠΈΠ΄Π°ΡΠΈΠΎΠ½Π½ΠΎΠΌ ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²Π΅. ΠΠ±ΡΠ°ΡΠΈΡΠ΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, ΡΡΠΎ ΠΌΡ Π½Π΅ Π΄ΠΎΠ»ΠΆΠ½Ρ Π·Π½Π°ΡΡ Π½ΠΈΡΠ΅Π³ΠΎ ΠΎ ΡΠ΅ΡΡΠΎΠ²ΠΎΠΌ ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²Π΅ Π΄ΠΎ ΡΠΎΠ³ΠΎ ΠΊΠ°ΠΊ ΠΎΠΊΠΎΠ½ΡΠ°ΡΠ΅Π»ΡΠ½ΠΎ ΠΎΠΏΡΠ΅Π΄Π΅Π»ΠΈΠΌΡΡ Ρ Π³ΠΈΠΏΠ΅ΡΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡΠ°ΠΌΠΈ, ΡΠ°ΠΊ ΠΊΠ°ΠΊ ΠΈΠ½Π°ΡΠ΅ ΠΏΡΠΈΠ·Π½Π°ΠΊΠΈ ΡΠ΅ΡΡΠΎΠ²ΠΎΠ³ΠΎ ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²Π° Π½Π΅ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ»ΡΠ½ΠΎ Π²ΠΎΠ»ΡΡΡΡΡ Π² ΠΏΡΠΎΡΠ΅ΡΡ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ. ΠΡΠΎΡ ΠΏΡΠΈΠ½ΡΠΈΠΏ ΡΠ°ΠΊΠΆΠ΅ ΠΈΠ·Π²Π΅ΡΡΠ΅Π½ ΠΊΠ°ΠΊ Π·ΠΎΠ»ΠΎΡΠΎΠ΅ ΠΏΡΠ°Π²ΠΈΠ»ΠΎ ΠΌΠ°ΡΠΈΠ½Π½ΠΎΠ³ΠΎ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ, ΠΈ Π½Π°ΡΡΡΠ°Π»ΠΎΡΡ Π²ΠΎ ΠΌΠ½ΠΎΠ³ΠΈΡ ΡΠ°Π½Π½ΠΈΡ ΠΏΠΎΠ΄Ρ ΠΎΠ΄Π°Ρ .
ΠΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ, ΡΠ°ΠΌΡΠΉ ΠΏΡΠΎΡΡΠΎΠΉ ΡΠΏΠΎΡΠΎΠ± ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°Π½ΠΈΡ Π²Π°Π»ΠΈΠ΄Π°ΡΠΈΠΎΠ½Π½ΠΎΠ³ΠΎ ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²Π° β Π½Π°ΡΡΡΠΎΠΉΠΊΠ° ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²Π° βΡΠΏΠΎΡ β (ΡΠΈΠΊΠ»ΠΎΠ²) Ρ ΠΏΠΎΠΌΠΎΡΡΡ ΠΏΡΠΎΡΠ΅Π΄ΡΡΡ, ΠΈΠ·Π²Π΅ΡΡΠ½ΠΎΠΉ ΠΊΠ°ΠΊ ΡΠ°Π½Π½ΡΡ ΠΎΡΡΠ°Π½ΠΎΠ²ΠΊΠ° β ΠΏΡΠΎΡΡΠΎ ΠΎΡΡΠ°Π½ΠΎΠ²ΠΈΡΠ΅ ΠΏΡΠΎΡΠ΅ΡΡ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ, Π΅ΡΠ»ΠΈ Π·Π° Π·Π°Π΄Π°Π½Π½ΠΎΠ΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΡΠΏΠΎΡ (ΠΏΠ°ΡΠ°ΠΌΠ΅ΡΡ patience) ΠΏΠΎΡΠ΅ΡΠΈ Π½Π΅ Π½Π°ΡΠΈΠ½Π°ΡΡ ΡΠΌΠ΅Π½ΡΡΠ°ΡΡΡΡ. Π’Π°ΠΊ ΠΊΠ°ΠΊ Π½Π°Ρ Π½Π°Π±ΠΎΡ Π΄Π°Π½Π½ΡΡ ΠΎΡΠ½ΠΎΡΠΈΡΠ΅Π»ΡΠ½ΠΎ Π½Π΅Π²Π΅Π»ΠΈΠΊ ΠΈ Π½Π°ΡΡΡΠ°Π΅ΡΡΡ Π±ΡΡΡΡΠΎ, ΠΌΡ ΡΡΡΠ°Π½ΠΎΠ²ΠΈΠΌ patience ΡΠ°Π²Π½ΡΠΌ ΠΏΡΡΠΈ ΡΠΏΠΎΡ Π°ΠΌ, Π° ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡΠ½ΠΎΠ΅ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²ΠΎ ΡΠΏΠΎΡ ΡΠ²Π΅Π»ΠΈΡΠΈΠΌ Π΄ΠΎ 50 (Π²ΡΡΠ΄ Π»ΠΈ ΡΡΠΎ ΡΠΈΡΠ»ΠΎ ΠΊΠΎΠ³Π΄Π°-Π»ΠΈΠ±ΠΎ Π±ΡΠ΄Π΅Ρ Π΄ΠΎΡΡΠΈΠ³Π½ΡΡΠΎ).
ΠΡΠΎΡΡΠΎ ΠΏΠΎΠΊΠ°ΠΆΠΈΡΠ΅ ΠΌΠ½Π΅ ΠΊΠΎΠ΄
ΠΠΎΡΠ»Π΅ ΠΏΡΠΈΠΌΠ΅Π½Π΅Π½ΠΈΡ ΡΠ΅ΡΡΠΈ Π²ΡΡΠ΅ΠΎΠΏΠΈΡΠ°Π½Π½ΡΡ ΠΏΡΠΈΠ΅ΠΌΠΎΠ² ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΈ, ΠΊΠΎΠ΄ Π½Π°ΡΠ΅ΠΉ Π½Π΅ΠΉΡΠΎΠ½Π½ΠΎΠΉ ΡΠ΅ΡΠΈ Π±ΡΠ΄Π΅Ρ Π²ΡΠ³Π»ΡΠ΄Π΅ΡΡ ΡΠ»Π΅Π΄ΡΡΡΠΈΠΌ ΠΎΠ±ΡΠ°Π·ΠΎΠΌ.
ΠΠ°ΡΠ° ΠΌΠΎΠ΄Π΅Π»Ρ ΠΏΠΎΡΠ»Π΅ ΠΎΠ±Π½ΠΎΠ²Π»Π΅Π½ΠΈΡ Π΄ΠΎΡΡΠΈΠ³Π°Π΅Ρ ΡΠΎΡΠ½ΠΎΡΡΠΈ 99.47% Π½Π° ΡΠ΅ΡΡΠΎΠ²ΠΎΠΌ Π½Π°Π±ΠΎΡΠ΅ Π΄Π°Π½Π½ΡΡ , Π° ΡΡΠΎ Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΡΠΉ ΠΏΡΠΈΡΠΎΡΡ ΠΏΠΎ ΡΡΠ°Π²Π½Π΅Π½ΠΈΡ Ρ Π½Π°ΡΠ°Π»ΡΠ½ΠΎΠΉ ΠΏΡΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡΠ΅Π»ΡΠ½ΠΎΡΡΡΡ 99.12%. ΠΠΎΠ½Π΅ΡΠ½ΠΎ, Π΄Π»Ρ ΡΠ°ΠΊΠΎΠ³ΠΎ ΠΌΠ°Π»Π΅Π½ΡΠΊΠΎΠ³ΠΎ ΠΈ ΠΎΡΠ½ΠΎΡΠΈΡΠ΅Π»ΡΠ½ΠΎ ΠΏΡΠΎΡΡΠΎΠ³ΠΎ Π½Π°Π±ΠΎΡΠ° Π΄Π°Π½Π½ΡΡ , ΠΊΠ°ΠΊ MNIST, Π²ΡΠ³ΠΎΠ΄Π° Π½Π΅ ΠΊΠ°ΠΆΠ΅ΡΡΡ ΡΡΠΎΠ»Ρ Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΠΎΠΉ. ΠΡΠΈΠΌΠ΅Π½ΠΈΠ² ΡΠ΅ ΠΆΠ΅ ΠΏΡΠΈΠ΅ΠΌΡ ΠΊ Π·Π°Π΄Π°ΡΠ΅ ΡΠ°ΡΠΏΠΎΠ·Π½Π°Π²Π°Π½ΠΈΡ CIFAR-10, ΠΏΡΠΈ Π½Π°Π»ΠΈΡΠΈΠΈ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΡΡ ΡΠ΅ΡΡΡΡΠΎΠ², Π²Ρ ΡΠΌΠΎΠΆΠ΅ΡΠ΅ ΠΏΠΎΠ»ΡΡΠΈΡΡ Π±ΠΎΠ»Π΅Π΅ ΠΎΡΡΡΠΈΠΌΠΎΠ΅ ΠΏΡΠ΅ΠΈΠΌΡΡΠ΅ΡΡΠ²ΠΎ.
ΠΡΠ΅Π΄Π»Π°Π³Π°Ρ Π²Π°ΠΌ Π΄Π°Π»ΡΡΠ΅ ΠΏΠΎΡΠ°Π±ΠΎΡΠ°ΡΡ Ρ ΡΡΠΎΠΉ ΠΌΠΎΠ΄Π΅Π»ΡΡ: Π² ΡΠ°ΡΡΠ½ΠΎΡΡΠΈ, ΠΏΠΎΠΏΡΡΠ°ΠΉΡΠ΅ΡΡ ΠΈΡΠΏΠΎΠ»ΡΠ·ΠΎΠ²Π°ΡΡ Π²Π°Π»ΠΈΠ΄Π°ΡΠΈΠΎΠ½Π½ΡΠ΅ Π΄Π°Π½Π½ΡΠ΅ Π½Π΅ ΡΠΎΠ»ΡΠΊΠΎ Π΄Π»Ρ ΠΏΡΠΈΠ΅ΠΌΠ° ΡΠ°Π½Π½Π΅ΠΉ ΠΎΡΡΠ°Π½ΠΎΠ²ΠΊΠΈ, Π½ΠΎ Π΅ΡΠ΅ ΠΈ Π΄Π»Ρ ΠΎΡΠ΅Π½ΠΊΠΈ ΡΠ°Π·ΠΌΠ΅ΡΠ½ΠΎΡΡΠΈ ΠΈ ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²Π° ΡΠ΄Π΅Ρ, ΡΠ°Π·ΠΌΠ΅ΡΠΎΠ² ΡΠΊΡΡΡΡΡ ΡΠ»ΠΎΠ΅Π², ΡΡΡΠ°ΡΠ΅Π³ΠΈΠΉ ΠΎΠΏΡΠΈΠΌΠΈΠ·Π°ΡΠΈΠΈ, ΡΡΠ½ΠΊΡΠΈΠΉ Π°ΠΊΡΠΈΠ²Π°ΡΠΈΠΈ, ΠΊΠΎΠ»ΠΈΡΠ΅ΡΡΠ²Π° ΡΠ΅ΡΠ΅ΠΉ Π² Π°Π½ΡΠ°ΠΌΠ±Π»Π΅, ΠΈ ΡΡΠ°Π²Π½ΠΈΡΠ΅ ΡΠ΅Π·ΡΠ»ΡΡΠ°ΡΡ Ρ Π»ΡΡΡΠΈΠΌΠΈ ΠΈΠ· Π»ΡΡΡΠΈΡ (Π² ΠΌΠΎΠΌΠ΅Π½Ρ Π½Π°ΠΏΠΈΡΠ°Π½ΠΈΡ ΡΡΠΎΠ³ΠΎ ΠΏΠΎΡΡΠ° Π»ΡΡΡΠ°Ρ ΠΌΠΎΠ΄Π΅Π»Ρ Π΄ΠΎΡΡΠΈΠ³Π°Π»Π° ΡΠΎΡΠ½ΠΎΡΡΠΈ 99.79% Π½Π° MNIST).
ΠΠ°ΠΊΠ»ΡΡΠ΅Π½ΠΈΠ΅
Π Π΄Π°Π½Π½ΠΎΠΉ ΡΡΠ°ΡΡΠ΅ ΠΌΡ ΡΠ°ΡΡΠΌΠΎΡΡΠ΅Π»ΠΈ ΡΠ΅ΡΡΡ ΠΏΡΠΈΠ΅ΠΌΠΎΠ² Π΄Π»Ρ ΡΠΎΠ½ΠΊΠΎΠΉ Π½Π°ΡΡΡΠΎΠΉΠΊΠΈ Π½Π΅ΠΉΡΠΎΠ½Π½ΡΡ ΡΠ΅ΡΠ΅ΠΉ, ΠΎΠΏΠΈΡΠ°Π½Π½ΡΡ Π² ΠΏΡΠ΅Π΄ΡΠ΄ΡΡΠΈΡ ΠΏΠΎΡΡΠ°Ρ :
-ΡΠ΅Π³ΡΠ»ΡΡΠΈΠ°ΡΠΈΡ
ΠΠ½ΠΈΡΠΈΠ°Π»ΠΈΠ·Π°ΡΠΈΡ
ΠΠ°ΡΡ-Π½ΠΎΡΠΌΠ°Π»ΠΈΠ·Π°ΡΠΈΡ
Π Π°ΡΡΠΈΡΠ΅Π½ΠΈΠ΅ ΠΎΠ±ΡΡΠ°ΡΡΠ΅Π³ΠΎ ΠΌΠ½ΠΎΠΆΠ΅ΡΡΠ²Π°
ΠΠ΅ΡΠΎΠ΄ Π°Π½ΡΠ°ΠΌΠ±Π»Π΅ΠΉ
Π Π°Π½Π½ΡΡ ΠΎΡΡΠ°Π½ΠΎΠ²ΠΊΠ°
Π ΡΡΠΏΠ΅ΡΠ½ΠΎ ΠΏΡΠΈΠΌΠ΅Π½ΠΈΠ»ΠΈ ΠΈΡ ΠΊ Π³Π»ΡΠ±ΠΎΠΊΠΎΠΉ ΡΠ²Π΅ΡΡΠΎΡΠ½ΠΎΠΉ ΡΠ΅ΡΠΈ, ΠΏΠΎΡΡΡΠΎΠ΅Π½Π½ΠΎΠΉ Π² Keras, ΡΡΠΎ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΠ»ΠΎ Π΄ΠΎΡΡΠΈΠ³Π½ΡΡΡ Π·Π½Π°ΡΠΈΡΠ΅Π»ΡΠ½ΠΎΠ³ΠΎ ΡΠ²Π΅Π»ΠΈΡΠ΅Π½ΠΈΡ ΡΠΎΡΠ½ΠΎΡΡΠΈ Π½Π° MNIST ΠΈ Π·Π°Π½ΡΠ»ΠΎ ΠΌΠ΅Π½Π΅Π΅ 90 ΡΡΡΠΎΠΊ ΠΊΠΎΠ΄Π°.
ΠΡΠΎ Π±ΡΠ»Π° Π·Π°Π²Π΅ΡΡΠ°ΡΡΠ°Ρ ΡΡΠ°ΡΡΡ ΡΠΈΠΊΠ»Π°. ΠΡΠΎΡΠ΅ΡΡΡ ΠΏΡΠ΅Π΄ΡΠ΄ΡΡΠΈΠ΅ Π΄Π²Π΅ ΡΠ°ΡΡΠΈ ΠΌΠΎΠΆΠ½ΠΎ Π·Π΄Π΅ΡΡ ΠΈ Π·Π΄Π΅ΡΡ.
ΠΠ°Π΄Π΅ΡΡΡ, ΠΏΠΎΠ»ΡΡΠ΅Π½Π½ΡΠ΅ Π²Π°ΠΌΠΈ Π·Π½Π°Π½ΠΈΡ ΡΡΠ°Π½ΡΡ ΡΠ΅ΠΌ ΡΡΠΈΠΌΡΠ»ΠΎΠΌ, ΠΊΠΎΡΠΎΡΡΠΉ Π² ΡΠΎΡΠ΅ΡΠ°Π½ΠΈΠΈ Ρ Π½Π΅ΠΎΠ±Ρ ΠΎΠ΄ΠΈΠΌΡΠΌΠΈ ΡΠ΅ΡΡΡΡΠ°ΠΌΠΈ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΡ Π²Π°ΠΌ ΡΡΠ°ΡΡ Π½Π°ΠΈΠΊΡΡΡΠ΅ΠΉΡΠΈΠΌΠΈ ΠΈΠ½ΠΆΠ΅Π½Π΅ΡΠ°ΠΌΠΈ ΡΠ΅ΡΠ΅ΠΉ Π³Π»ΡΠ±ΠΎΠΊΠΎΠ³ΠΎ ΠΎΠ±ΡΡΠ΅Π½ΠΈΡ.
wunderfund.io β ΠΌΠΎΠ»ΠΎΠ΄ΠΎΠΉ ΡΠΎΠ½Π΄, ΠΊΠΎΡΠΎΡΡΠΉ Π·Π°Π½ΠΈΠΌΠ°Π΅ΡΡΡ Π²ΡΡΠΎΠΊΠΎΡΠ°ΡΡΠΎΡΠ½ΠΎΠΉ Π°Π»Π³ΠΎΡΠΎΡΠ³ΠΎΠ²Π»Π΅ΠΉ. ΠΡΡΠΎΠΊΠΎΡΠ°ΡΡΠΎΡΠ½Π°Ρ ΡΠΎΡΠ³ΠΎΠ²Π»Ρ β ΡΡΠΎ Π½Π΅ΠΏΡΠ΅ΡΡΠ²Π½ΠΎΠ΅ ΡΠΎΡΠ΅Π²Π½ΠΎΠ²Π°Π½ΠΈΠ΅ Π»ΡΡΡΠΈΡ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠΈΡΡΠΎΠ² ΠΈ ΠΌΠ°ΡΠ΅ΠΌΠ°ΡΠΈΠΊΠΎΠ² Π²ΡΠ΅Π³ΠΎ ΠΌΠΈΡΠ°. ΠΡΠΈΡΠΎΠ΅Π΄ΠΈΠ½ΠΈΠ²ΡΠΈΡΡ ΠΊ Π½Π°ΠΌ, Π²Ρ ΡΡΠ°Π½Π΅ΡΠ΅ ΡΠ°ΡΡΡΡ ΡΡΠΎΠΉ ΡΠ²Π»Π΅ΠΊΠ°ΡΠ΅Π»ΡΠ½ΠΎΠΉ ΡΡ Π²Π°ΡΠΊΠΈ.
ΠΡ ΠΏΡΠ΅Π΄Π»Π°Π³Π°Π΅ΠΌ ΠΈΠ½ΡΠ΅ΡΠ΅ΡΠ½ΡΠ΅ ΠΈ ΡΠ»ΠΎΠΆΠ½ΡΠ΅ Π·Π°Π΄Π°ΡΠΈ ΠΏΠΎ Π°Π½Π°Π»ΠΈΠ·Ρ Π΄Π°Π½Π½ΡΡ ΠΈ low latency ΡΠ°Π·ΡΠ°Π±ΠΎΡΠΊΠ΅ Π΄Π»Ρ ΡΠ²Π»Π΅ΡΠ΅Π½Π½ΡΡ ΠΈΡΡΠ»Π΅Π΄ΠΎΠ²Π°ΡΠ΅Π»Π΅ΠΉ ΠΈ ΠΏΡΠΎΠ³ΡΠ°ΠΌΠΌΠΈΡΡΠΎΠ². ΠΠΈΠ±ΠΊΠΈΠΉ Π³ΡΠ°ΡΠΈΠΊ ΠΈ Π½ΠΈΠΊΠ°ΠΊΠΎΠΉ Π±ΡΡΠΎΠΊΡΠ°ΡΠΈΠΈ, ΡΠ΅ΡΠ΅Π½ΠΈΡ Π±ΡΡΡΡΠΎ ΠΏΡΠΈΠ½ΠΈΠΌΠ°ΡΡΡΡ ΠΈ Π²ΠΎΠΏΠ»ΠΎΡΠ°ΡΡΡΡ Π² ΠΆΠΈΠ·Π½Ρ.