ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

Sagemaker – Exploring Ground truth labeling | ML

In this article, we are exploring the ground truth labelling and how it is helpful in reducing the burden of labelling datasets on developers.

Attention reader! Don’t stop learning now. Get hold of all the important Machine Learning Concepts with the Machine Learning Foundation Course at a student-friendly price and become industry ready.

Amazon sagemaker Ground truth:
Ask any machine learning expert β€œWhat is the majority task that consumes a whole lot of time in the machine learning part?” And first, they will say preparing and cleaning datasets and secondly labelling them accurately that fits the models. So, in general labelling, the datasets consume 70% of the time and it would take more if the model you are feeding this dataset is sensitive enough. Amazon Ground truth provides the labelling service in which it not only just does the labelling but also creates the files that are required for the models to understand. Ground truth provides three services namely

Customers can also bring their custom labelling tasks. So, how in the first place we are going to provide input data and what kind of output format that we can expect from ground truth?

ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

Code: Labelling job looks like which was performed on a bird image.

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

What is the difference between «ground truth» and «ground-truth labels»?

I’m aware that the ground-truth of the example at the top left-hand corner of the image below is «zero»

ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

However, I am confused about the meaning of the terms ground truth and ground-truth labels. What is the difference between them?

Could someone give a hint of it?

2 Answers 2

These two terms could easily refer to the same thing, depending on the context. For example, a lazy person could easily say something like this

We compute the loss/error between the prediction (of the model) and the ground truth.

Here, the ground-truth refers to the «officially correct» label (categorical or numerical) for a given input with which you compute the prediction. So, in this case, ground-truth would be a synonym for a ground-truth label.

However, in general, ground-truth refers to anything, not just labels, that are correct or true (hence the name), so it could be used more generally. For instance, you could say something like this

We assume that the ground-truth underlying probability distribution from which the data is sampled is a Gaussian.

However, in this case, you could also leave out the ground-truth part, as it’s more or less implied by the fact that you’re assuming something.

So, the difference between the two is that «ground-truth» can be used more generally to refer to anything that is «true».

Ground Truth

‘Ground truth’ is that data or information that you have that is ‘true’ or assumed to be true. That means that you have high or perfect knowledge of what it is. For example, in your image of numbers, you know that the first row are zeros, the second row are ones, the third are twos, and so on. You have 10 rows of data, each row is of a different class or category. Each class has 16 samples. Ground truth data is used to train machine learning or deep learning models. The example you provided is from the Modified National Institute of Standards and Technology (MNIST) database which is commonly used for building image classifiers for handwritten digits.

Ground Truth Labels

The ‘ground-truth labels’ are the names you choose to give them. You may choose to label the classes as ‘0’, ‘1’, ‘2’, etc., or as ‘zero’, ‘one’, ‘two’, etc. Maybe you think in Greek. If so label them as ‘μηδέν’, ‘Ξ­Ξ½Ξ±’, ‘δύο’, etc.

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

Π‘ΠžΠ”Π•Π Π–ΠΠΠ˜Π•

Этимология

ΠžΠΊΡΡ„ΠΎΡ€Π΄ΡΠΊΠΈΠΉ ΡΠ»ΠΎΠ²Π°Ρ€ΡŒ английского языка (УО «зСмля истина») рСгистрируСт использованиС слова Β«GroundtruthΒ» Π² смыслС Β«Ρ„ΡƒΠ½Π΄Π°ΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½ΠΎΠΉ истины» ΠΈΠ· поэмы Π“Π΅Π½Ρ€ΠΈ Эллисона «Бибирская ссылка Π‘ΠΊΠ°Π·ΠΊΠ°Β», ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½Π½ΠΎΠΉ Π² 1833 Π³ΠΎΠ΄Ρƒ.

Бтатистика ΠΈ машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

ДистанционноС Π·ΠΎΠ½Π΄ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅

Π‘ΠΎΠ»Π΅Π΅ ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½ΠΎ, назСмная истина ΠΌΠΎΠΆΠ΅Ρ‚ ΠΎΡ‚Π½ΠΎΡΠΈΡ‚ΡŒΡΡ ΠΊ процСссу, Π² ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌ Β« пиксСль Β» Π½Π° спутниковом ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΈ сравниваСтся с Ρ‚Π΅ΠΌ, Ρ‡Ρ‚ΠΎ Π΅ΡΡ‚ΡŒ Π½Π° самом Π΄Π΅Π»Π΅ (Π² настоящСС врСмя), Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΈΡ‚ΡŒ содСрТаниС «пиксСля» Π½Π° ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΈ (отмСчая Ρ‡Ρ‚ΠΎ понятиС «пиксСль» нСсколько Π½Π΅ΠΊΠΎΡ€Ρ€Π΅ΠΊΡ‚Π½ΠΎ). Π’ случаС классифицированного изобраТСния это позволяСт ΠΎΡΡƒΡ‰Π΅ΡΡ‚Π²Π»ΡΡ‚ΡŒ ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΠΈΡ€ΡƒΠ΅ΠΌΡƒΡŽ ΠΊΠ»Π°ΡΡΠΈΡ„ΠΈΠΊΠ°Ρ†ΠΈΡŽ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΠΎΠΌΠΎΡ‡ΡŒ ΠΎΠΏΡ€Π΅Π΄Π΅Π»ΠΈΡ‚ΡŒ Ρ‚ΠΎΡ‡Π½ΠΎΡΡ‚ΡŒ классификации, выполняСмой ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ½Ρ‹ΠΌ обСспСчСниСм дистанционного зондирования, ΠΈ, ΡΠ»Π΅Π΄ΠΎΠ²Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ, ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ошибки Π² классификации, Ρ‚Π°ΠΊΠΈΠ΅ ΠΊΠ°ΠΊ ошибки ΡΠΎΠ²Π΅Ρ€ΡˆΠ΅Π½ΠΈΡ ΠΈ ошибки упущСния.

НазСмная ΠΏΡ€ΠΎΠ²Π΅Ρ€ΠΊΠ° ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ выполняСтся Π½Π° мСстС, выполняя Π½Π°Π·Π΅ΠΌΠ½Ρ‹Π΅ наблюдСния ΠΈ измСрСния Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… свойств характСристик ячССк Π½Π°Π·Π΅ΠΌΠ½ΠΎΠ³ΠΎ Ρ€Π°Π·Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΈΠ·ΡƒΡ‡Π°ΡŽΡ‚ΡΡ Π½Π° Ρ†ΠΈΡ„Ρ€ΠΎΠ²ΠΎΠΌ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΈ, ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½Π½ΠΎΠΌ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ дистанционного зондирования. Он Ρ‚Π°ΠΊΠΆΠ΅ Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ Π² сСбя ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½ΠΈΠ΅ гСографичСских ΠΊΠΎΠΎΡ€Π΄ΠΈΠ½Π°Ρ‚ ячСйки Ρ€Π°Π·Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ Π½Π° мСстности с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ Ρ‚Π΅Ρ…Π½ΠΎΠ»ΠΎΠ³ΠΈΠΈ GPS ΠΈ сравнСниС ΠΈΡ… с ΠΊΠΎΠΎΡ€Π΄ΠΈΠ½Π°Ρ‚Π°ΠΌΠΈ исслСдуСмого «пиксСля», прСдоставлСнными ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ½Ρ‹ΠΌ обСспСчСниСм дистанционного зондирования, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΠΎΠ½ΡΡ‚ΡŒ ΠΈ ΠΏΡ€ΠΎΠ°Π½Π°Π»ΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ошибки опрСдСлСния мСстополоТСния ΠΈ Ρ‚ΠΎ, ΠΊΠ°ΠΊ ΠΎΠ½ΠΈ ΠΌΠΎΠ³ΡƒΡ‚ ΠΏΠΎΠ²Π»ΠΈΡΡ‚ΡŒ Π½Π° ΠΊΠΎΠ½ΠΊΡ€Π΅Ρ‚Π½ΠΎΠ΅ исслСдованиС.

ΠΠ±ΡΠΎΠ»ΡŽΡ‚Π½Π°Ρ Π΄ΠΎΡΡ‚ΠΎΠ²Π΅Ρ€Π½ΠΎΡΡ‚ΡŒ Π²Π°ΠΆΠ½Π° ΠΏΡ€ΠΈ ΠΏΠ΅Ρ€Π²ΠΎΠ½Π°Ρ‡Π°Π»ΡŒΠ½ΠΎΠΉ ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΠΈΡ€ΡƒΠ΅ΠΌΠΎΠΉ классификации изобраТСния. Когда ΠΈΠ΄Π΅Π½Ρ‚ΠΈΡ‡Π½ΠΎΡΡ‚ΡŒ ΠΈ располоТСниС Ρ‚ΠΈΠΏΠΎΠ² Π·Π΅ΠΌΠ½ΠΎΠ³ΠΎ ΠΏΠΎΠΊΡ€ΠΎΠ²Π° извСстны благодаря ΡΠΎΡ‡Π΅Ρ‚Π°Π½ΠΈΡŽ ΠΏΠΎΠ»Π΅Π²Ρ‹Ρ… Ρ€Π°Π±ΠΎΡ‚, ΠΊΠ°Ρ€Ρ‚ ΠΈ Π»ΠΈΡ‡Π½ΠΎΠ³ΠΎ ΠΎΠΏΡ‹Ρ‚Π°, эти области извСстны ΠΊΠ°ΠΊ ΡƒΡ‡Π΅Π±Π½Ρ‹Π΅ ΠΏΠ»ΠΎΡ‰Π°Π΄ΠΊΠΈ. Π‘ΠΏΠ΅ΠΊΡ‚Ρ€Π°Π»ΡŒΠ½Ρ‹Π΅ характСристики этих областСй ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ΡΡ для обучСния ΠΏΡ€ΠΎΠ³Ρ€Π°ΠΌΠΌΠ½ΠΎΠ³ΠΎ обСспСчСния дистанционного зондирования с использованиСм Ρ€Π΅ΡˆΠ°ΡŽΡ‰ΠΈΡ… ΠΏΡ€Π°Π²ΠΈΠ» для классификации ΠΎΡΡ‚Π°Π»ΡŒΠ½ΠΎΠΉ части изобраТСния. Π­Ρ‚ΠΈ ΠΏΡ€Π°Π²ΠΈΠ»Π° принятия Ρ€Π΅ΡˆΠ΅Π½ΠΈΠΉ, Ρ‚Π°ΠΊΠΈΠ΅ ΠΊΠ°ΠΊ классификация максимального правдоподобия, классификация ΠΏΠ°Ρ€Π°Π»Π»Π΅Π»Π΅ΠΏΠΈΠΏΠ΅Π΄ΠΎΠ² ΠΈ классификация ΠΌΠΈΠ½ΠΈΠΌΠ°Π»ΡŒΠ½Ρ‹Ρ… расстояний, ΠΏΡ€Π΅Π΄Π»Π°Π³Π°ΡŽΡ‚ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ классификации изобраТСния. Π”ΠΎΠΏΠΎΠ»Π½ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ Π½Π°Π·Π΅ΠΌΠ½Ρ‹Π΅ ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»ΡŒΠ½Ρ‹Π΅ Ρ‚ΠΎΡ‡ΠΊΠΈ ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‚ ΡƒΠ΄Π°Π»Π΅Π½Π½ΠΎΠΌΡƒ Π΄Π°Ρ‚Ρ‡ΠΈΠΊΡƒ ΡΠΎΠ·Π΄Π°Π²Π°Ρ‚ΡŒ ΠΌΠ°Ρ‚Ρ€ΠΈΡ†Ρƒ ошибок, которая ΠΏΠΎΠ΄Ρ‚Π²Π΅Ρ€ΠΆΠ΄Π°Π΅Ρ‚ Ρ‚ΠΎΡ‡Π½ΠΎΡΡ‚ΡŒ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌΠΎΠ³ΠΎ ΠΌΠ΅Ρ‚ΠΎΠ΄Π° классификации. Π Π°Π·Π»ΠΈΡ‡Π½Ρ‹Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ классификации ΠΌΠΎΠ³ΡƒΡ‚ ΠΈΠΌΠ΅Ρ‚ΡŒ Ρ€Π°Π·Π½Ρ‹ΠΉ ΠΏΡ€ΠΎΡ†Π΅Π½Ρ‚ ошибок для Π΄Π°Π½Π½ΠΎΠ³ΠΎ ΠΏΡ€ΠΎΠ΅ΠΊΡ‚Π° классификации. Π’Π°ΠΆΠ½ΠΎ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡƒΠ΄Π°Π»Π΅Π½Π½Ρ‹ΠΉ Π΄Π°Ρ‚Ρ‡ΠΈΠΊ Π²Ρ‹Π±ΠΈΡ€Π°Π» ΠΌΠ΅Ρ‚ΠΎΠ΄ классификации, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π»ΡƒΡ‡ΡˆΠ΅ всСго Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ с количСством ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅ΠΌΡ‹Ρ… классификаций, обСспСчивая ΠΏΡ€ΠΈ этом наимСньшСС количСство ошибок.

Ошибки комиссии

Ошибки упущСния

ГСографичСскиС ΠΈΠ½Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΠΎΠ½Π½Ρ‹Π΅ систСмы

ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

Π’ Π“Π˜Π‘ пространствСнныС Π΄Π°Π½Π½Ρ‹Π΅ ΠΌΠΎΠ΄Π΅Π»ΠΈΡ€ΡƒΡŽΡ‚ΡΡ ΠΊΠ°ΠΊ ΠΏΠΎΠ»Π΅ (ΠΊΠ°ΠΊ Π² растровых изобраТСниях дистанционного зондирования ) ΠΈΠ»ΠΈ ΠΊΠ°ΠΊ ΠΎΠ±ΡŠΠ΅ΠΊΡ‚ (ΠΊΠ°ΠΊ Π² прСдставлСнии Π²Π΅ΠΊΡ‚ΠΎΡ€Π½ΠΎΠΉ ΠΊΠ°Ρ€Ρ‚Ρ‹ ). Они ΠΌΠΎΠ΄Π΅Π»ΠΈΡ€ΡƒΡŽΡ‚ΡΡ ΠΈΠ· Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΠ³ΠΎ ΠΌΠΈΡ€Π° (Ρ‚Π°ΠΊΠΆΠ΅ Π½Π°Π·Ρ‹Π²Π°Π΅ΠΌΠΎΠ³ΠΎ гСографичСской Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΡΡ‚ΡŒΡŽ ), ΠΊΠ°ΠΊ ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ, с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ картографичСского процСсса (ΠΏΠΎΠΊΠ°Π·Π°Π½ΠΎ).

Π’ΠΎΠ΅Π½Π½ΠΎΠ΅ использованиС

Π’ΠΎΠ΅Π½Π½Ρ‹ΠΉ слСнг БША ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ Β«Π½Π°Π·Π΅ΠΌΠ½ΡƒΡŽ истину» для обозначСния Ρ„Π°ΠΊΡ‚ΠΎΠ², ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‰ΠΈΡ… Ρ‚Π°ΠΊΡ‚ΠΈΡ‡Π΅ΡΠΊΡƒΡŽ ΡΠΈΡ‚ΡƒΠ°Ρ†ΠΈΡŽ, Π² ΠΎΡ‚Π»ΠΈΡ‡ΠΈΠ΅ ΠΎΡ‚ Ρ€Π°Π·Π²Π΅Π΄Ρ‹Π²Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Ρ… ΠΎΡ‚Ρ‡Π΅Ρ‚ΠΎΠ², ΠΏΠ»Π°Π½ΠΎΠ² миссий ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΡ… описаний, ΠΎΡ‚Ρ€Π°ΠΆΠ°ΡŽΡ‰ΠΈΡ… ΠΊΠΎΠ½Π°Ρ‚ΠΈΠ²Π½Ρ‹Π΅ ΠΈΠ»ΠΈ основанныС Π½Π° ΠΏΠΎΠ»ΠΈΡ‚ΠΈΠΊΠ΅ ΠΏΡ€ΠΎΠ΅ΠΊΡ†ΠΈΠΈ Π²ΠΎΠ΅Π½Π½ΠΎ-ΠΏΡ€ΠΎΠΌΡ‹ΡˆΠ»Π΅Π½Π½ΠΎΠ³ΠΎ комплСкса. Π­Ρ‚ΠΎΡ‚ Ρ‚Π΅Ρ€ΠΌΠΈΠ½ появляСтся Π² Π½Π°Π·Π²Π°Π½ΠΈΠΈ Π΄ΠΎΠΊΡƒΠΌΠ΅Π½Ρ‚Π°Π»ΡŒΠ½ΠΎΠ³ΠΎ Ρ„ΠΈΠ»ΡŒΠΌΠ° ΠΎ Π²ΠΎΠΉΠ½Π΅ Π² Π˜Ρ€Π°ΠΊΠ΅ Β«ΠΠ±ΡΠΎΠ»ΡŽΡ‚Π½Π°Ρ ΠΏΡ€Π°Π²Π΄Π°Β» (2006), Π° Ρ‚Π°ΠΊΠΆΠ΅ Π² Π²ΠΎΠ΅Π½Π½Ρ‹Ρ… публикациях, Π½Π°ΠΏΡ€ΠΈΠΌΠ΅Ρ€, Π² Β« Π—Π²Π΅Π·Π΄Π½ΠΎ-полосатых» высказываниях: Β«ΠŸΠΎΠ»ΠΎΡΡ‹ Ρ€Π΅ΡˆΠΈΠ»ΠΈ Π²Ρ‹ΡΡΠ½ΠΈΡ‚ΡŒ, Π² Ρ‡Π΅ΠΌ Π·Π°ΠΊΠ»ΡŽΡ‡Π°Π»Π°ΡΡŒ основная ΠΏΡ€Π°Π²Π΄Π° Π² Π˜Ρ€Π°ΠΊΠ΅Β».

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

Π“Π»ΡƒΠ±ΠΎΠΊΠΎΠ΅ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ для Π½ΠΎΠ²ΠΈΡ‡ΠΊΠΎΠ²: тонкая настройка Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти

Π’Π²Π΅Π΄Π΅Π½ΠΈΠ΅

ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

Π’ ΠΏΡ€ΠΎΡˆΠ»Ρ‹ΠΉ Ρ€Π°Π· ΠΌΡ‹ рассмотрСли модСль свСрточной Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти ΠΈ ΠΏΠΎΠΊΠ°Π·Π°Π»ΠΈ, ΠΊΠ°ΠΊ ΠΏΡ€ΠΈ участии простого, Π½ΠΎ эффСктивного ΠΌΠ΅Ρ‚ΠΎΠ΄Π° рСгуляризации ΠΏΠΎΠ΄ Π½Π°Π·Π²Π°Π½ΠΈΠ΅ΠΌ dropout ΠΌΠΎΠΆΠ½ΠΎ быстро Π΄ΠΎΡΡ‚ΠΈΡ‡ΡŒ точности 78.6%, ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡ Ρ„Ρ€Π΅ΠΉΠΌΠ²ΠΎΡ€ΠΊ для построСния сСтСй Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠ³ΠΎ обучСния Keras.

Π’Π΅ΠΏΠ΅Ρ€ΡŒ Π²Ρ‹ ΠΎΠ±Π»Π°Π΄Π°Π΅Ρ‚Π΅ Π±Π°Π·ΠΎΠ²Ρ‹ΠΌΠΈ Π½Π°Π²Ρ‹ΠΊΠ°ΠΌΠΈ, Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹ΠΌΠΈ для примСнСния Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠ³ΠΎ обучСния ΠΊ Π±ΠΎΠ»ΡŒΡˆΠΈΠ½ΡΡ‚Π²Ρƒ интСрСсных Π·Π°Π΄Π°Ρ‡ (ΠΈΡΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅ составляСт Π·Π°Π΄Π°Ρ‡Π° ΠΎΠ±Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ Π½Π΅Π»ΠΈΠ½Π΅ΠΉΠ½Ρ‹Ρ… Π²Ρ€Π΅ΠΌΠ΅Π½Π½Ρ‹Ρ… рядов, рассмотрСниС ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ Π²Ρ‹Ρ…ΠΎΠ΄ΠΈΡ‚ Π·Π° Ρ€Π°ΠΌΠΊΠΈ этого руководства ΠΈ для Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ ΠΏΡ€Π΅Π΄ΠΏΠΎΡ‡ΠΈΡ‚Π΅Π»ΡŒΠ½Π΅ΠΉ Ρ€Π΅ΠΊΡƒΡ€Ρ€Π΅Π½Ρ‚Ρ‹Π΅ Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Π΅ сСти (RNN). Π—Π°Π²Π΅Ρ€ΡˆΠ°ΡŽΡ‰Π°Ρ Ρ‡Π°ΡΡ‚ΡŒ этого руководства Π±ΡƒΠ΄Π΅Ρ‚ ΡΠΎΠ΄Π΅Ρ€ΠΆΠ°Ρ‚ΡŒ Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ ΠΎΡ‡Π΅Π½ΡŒ Π²Π°ΠΆΠ½ΠΎ, Π½ΠΎ часто упускаСтся Π² ΠΏΠΎΠ΄ΠΎΠ±Π½Ρ‹Ρ… ΡΡ‚Π°Ρ‚ΡŒΡΡ… β€” ΠΏΡ€ΠΈΠ΅ΠΌΡ‹ ΠΈ хитрости Ρ‚ΠΎΠ½ΠΊΠΎΠΉ настройки ΠΌΠΎΠ΄Π΅Π»ΠΈ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π½Π°ΡƒΡ‡ΠΈΡ‚ΡŒ Π΅Π΅ ΠΎΠ±ΠΎΠ±Ρ‰Π°Ρ‚ΡŒ Π»ΡƒΡ‡ΡˆΠ΅, Ρ‡Π΅ΠΌ Ρ‚Π° базовая модСль, с ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ Π²Ρ‹ Π½Π°Ρ‡Π°Π»ΠΈ.

Π­Ρ‚Π° Ρ‡Π°ΡΡ‚ΡŒ руководства ΠΏΡ€Π΅Π΄ΠΏΠΎΠ»Π°Π³Π°Π΅Ρ‚ знакомство с ΠΏΠ΅Ρ€Π²ΠΎΠΉ ΠΈ Π²Ρ‚ΠΎΡ€ΠΎΠΉ ΡΡ‚Π°Ρ‚ΡŒΡΠΌΠΈ Ρ†ΠΈΠΊΠ»Π°.

Настройка Π³ΠΈΠΏΠ΅Ρ€ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² ΠΈ базовая модСль

ΠžΠ±Ρ‹Ρ‡Π½ΠΎ процСсс Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти начинаСтся с Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠΈ ΠΊΠ°ΠΊΠΎΠΉ-Π»ΠΈΠ±ΠΎ простой сСти, Π»ΠΈΠ±ΠΎ нСпосрСдствСнно примСняя Ρ‚Π΅ Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Ρ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΡƒΠΆΠ΅ ΡƒΡΠΏΠ΅ΡˆΠ½ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΠ»ΠΈΡΡŒ для Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ ΠΏΠΎΠ΄ΠΎΠ±Π½Ρ‹Ρ… Π·Π°Π΄Π°Ρ‡, Π»ΠΈΠ±ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡ Ρ‚Π΅ Π³ΠΈΠΏΠ΅Ρ€ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Ρ€Π°Π½ΡŒΡˆΠ΅ ΡƒΠΆΠ΅ Π΄Π°Π²Π°Π»ΠΈ Π½Π΅ΠΏΠ»ΠΎΡ…ΠΈΠ΅ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹. Π’ ΠΊΠΎΠ½Π΅Ρ‡Π½ΠΎΠΌ ΠΈΡ‚ΠΎΠ³Π΅, надССмся, ΠΌΡ‹ достигнСм Ρ‚Π°ΠΊΠΎΠ³ΠΎ уровня ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ послуТит Ρ…ΠΎΡ€ΠΎΡˆΠ΅ΠΉ ΠΎΡ‚ΠΏΡ€Π°Π²Π½ΠΎΠΉ Ρ‚ΠΎΡ‡ΠΊΠΎΠΉ, послС ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΉ ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ ΠΏΠΎΠΏΡ€ΠΎΠ±ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΠΎΠΈΠ·ΠΌΠ΅Π½ΡΡ‚ΡŒ всС зафиксированныС ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ ΠΈ ΠΈΠ·Π²Π»Π΅Ρ‡ΡŒ ΠΈΠ· сСти ΠΌΠ°ΠΊΡΠΈΠΌΠ°Π»ΡŒΠ½ΡƒΡŽ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒ. Π­Ρ‚ΠΎΡ‚ процСсс ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ Π½Π°Π·Ρ‹Π²Π°ΡŽΡ‚ настройкой Π³ΠΈΠΏΠ΅Ρ€ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ², ΠΏΠΎΡ‚ΠΎΠΌΡƒ Ρ‡Ρ‚ΠΎ ΠΎΠ½ Π²ΠΊΠ»ΡŽΡ‡Π°Π΅Ρ‚ ΠΈΠ·ΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ ΠΊΠΎΠΌΠΏΠΎΠ½Π΅Π½Ρ‚ΠΎΠ² сСти, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Π±Ρ‹Ρ‚ΡŒ установлСны Π΄ΠΎ Π½Π°Ρ‡Π°Π»Π° обучСния.

Π₯отя описанный здСсь ΠΌΠ΅Ρ‚ΠΎΠ΄ ΠΌΠΎΠΆΠ΅Ρ‚ Π΄Π°Ρ‚ΡŒ Π±ΠΎΠ»Π΅Π΅ ΠΎΡ‰ΡƒΡ‚ΠΈΠΌΡ‹Π΅ прСимущСства Π½Π° CIFAR-10, ΠΈΠ·-Π·Π° ΠΎΡ‚Π½ΠΎΡΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠΉ слоТности быстрого создания ΠΏΡ€ΠΎΡ‚ΠΎΡ‚ΠΈΠΏΠ° Π½Π° Π½Π΅ΠΌ Π² отсутствиС графичСского процСссора ΠΌΡ‹ сосрСдоточимся Π½Π° ΡƒΠ»ΡƒΡ‡ΡˆΠ΅Π½ΠΈΠΈ Π΅Π³ΠΎ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ Π½Π° MNIST. ΠšΠΎΠ½Π΅Ρ‡Π½ΠΎ, Ссли рСсурсы ΠΏΠΎΠ·Π²ΠΎΠ»ΡΡŽΡ‚, я ΠΏΡ€ΠΈΠ·Ρ‹Π²Π°ΡŽ вас ΠΎΠΏΡ€ΠΎΠ±ΠΎΠ²Π°Ρ‚ΡŒ ΠΏΠΎΠ΄ΠΎΠ±Π½Ρ‹Π΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ Π½Π° CIFAR ΠΈ своими Π³Π»Π°Π·Π°ΠΌΠΈ ΡƒΠ²ΠΈΠ΄Π΅Ρ‚ΡŒ, насколько ΠΎΠ½ΠΈ Π²Ρ‹ΠΈΠ³Ρ€Ρ‹Π²Π°ΡŽΡ‚ ΠΏΠΎ ΡΡ€Π°Π²Π½Π΅Π½ΠΈΡŽ со стандартным ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ΠΎΠΌ CNN.

ΠžΡ‚ΠΏΡ€Π°Π²Π½ΠΎΠΉ Ρ‚ΠΎΡ‡ΠΊΠΎΠΉ для нас Π±ΡƒΠ΄Π΅Ρ‚ ΡΠ»ΡƒΠΆΠΈΡ‚ΡŒ исходная CNN, прСдставлСнная Π½ΠΈΠΆΠ΅. Если ΠΊΠ°ΠΊΠΈΠ΅-Ρ‚ΠΎ Ρ„Ρ€Π°Π³ΠΌΠ΅Π½Ρ‚Ρ‹ ΠΊΠΎΠ΄Π° каТутся Π²Π°ΠΌ нСпонятными, ΠΏΡ€Π΅Π΄Π»Π°Π³Π°ΡŽ ΠΎΠ·Π½Π°ΠΊΠΎΠΌΠΈΡ‚ΡŒΡΡ с ΠΏΡ€Π΅Π΄Ρ‹Π΄ΡƒΡ‰ΠΈΠΌΠΈ двумя частями этого Ρ†ΠΈΠΊΠ»Π°, Π³Π΄Π΅ описаны всС Π±Π°Π·ΠΎΠ²Ρ‹Π΅ ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏΡ‹.

Как Π²ΠΈΠ΄Π½ΠΎ, наша модСль достигаСт точности 99.12% Π½Π° тСстовом мноТСствС. Π­Ρ‚ΠΎ Π½Π΅ΠΌΠ½ΠΎΠ³ΠΎ Π»ΡƒΡ‡ΡˆΠ΅, Ρ‡Π΅ΠΌ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ MLP, рассмотрСнной Π² ΠΏΠ΅Ρ€Π²ΠΎΠΉ части, Π½ΠΎ Π½Π°ΠΌ Π΅Ρ‰Π΅ Π΅ΡΡ‚ΡŒ ΠΊΡƒΠ΄Π° расти!

Π’ Π΄Π°Π½Π½ΠΎΠΌ руководствС ΠΌΡ‹ подСлимся способами ΡƒΠ»ΡƒΡ‡ΡˆΠ΅Π½ΠΈΡ Ρ‚Π°ΠΊΠΈΡ… β€œΠ±Π°Π·ΠΎΠ²Ρ‹Ρ…β€ Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… сСтСй (Π½Π΅ отступая ΠΎΡ‚ Π°Ρ€Ρ…ΠΈΡ‚Π΅ΠΊΡ‚ΡƒΡ€Ρ‹ CNN), Π° Π·Π°Ρ‚Π΅ΠΌ ΠΎΡ†Π΅Π½ΠΈΠΌ прирост ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ ΠΌΡ‹ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠΌ.

ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅-рСгуляризация

Π’ ΠΏΡ€Π΅Π΄Ρ‹Π΄ΡƒΡ‰Π΅ΠΉ ΡΡ‚Π°Ρ‚ΡŒΠ΅ ΠΌΡ‹ рассказывали, Ρ‡Ρ‚ΠΎ ΠΎΠ΄Π½ΠΎΠΉ ΠΈΠ· основных ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌ машинного обучСния являСтся ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΠ° пСрСобучСния (overfitting), ΠΊΠΎΠ³Π΄Π° модСль Π² ΠΏΠΎΠ³ΠΎΠ½Π΅ Π·Π° ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠ΅ΠΉ Π·Π°Ρ‚Ρ€Π°Ρ‚ Π½Π° ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ тСряСт ΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡ‚ΡŒ ΠΊ ΠΎΠ±ΠΎΠ±Ρ‰Π΅Π½ΠΈΡŽ.

ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

Как ΡƒΠΆΠ΅ Π³ΠΎΠ²ΠΎΡ€ΠΈΠ»ΠΎΡΡŒ, сущСствуСт простой способ Π΄Π΅Ρ€ΠΆΠ°Ρ‚ΡŒ ΠΏΠ΅Ρ€Π΅ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ ΠΏΠΎΠ΄ ΠΊΠΎΠ½Ρ‚Ρ€ΠΎΠ»Π΅ΠΌ β€” ΠΌΠ΅Ρ‚ΠΎΠ΄ dropout.

Но Π΅ΡΡ‚ΡŒ ΠΈ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ рСгуляризаторы, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΌΠΎΠΆΠ½ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΡ‚ΡŒ ΠΊ нашСй сСти. Π’ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ, самый популярный ΠΈΠ· Π½ΠΈΡ… β€” ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅-рСгуляризация (Ρ‚Π°ΠΊΠΆΠ΅ называСмая сокращСниСм вСсов, Π°Π½Π³Π». weight decay), которая ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ Π±ΠΎΠ»Π΅Π΅ прямой ΠΏΠΎΠ΄Ρ…ΠΎΠ΄ ΠΊ рСгуляризации, Ρ‡Π΅ΠΌ dropout. ΠžΠ±Ρ‹Ρ‡Π½ΠΎ ΠΏΠ΅Ρ€Π²ΠΎΠΏΡ€ΠΈΡ‡ΠΈΠ½ΠΎΠΉ пСрСобучСния являСтся ΡΠ»ΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ (Π² смыслС количСства Π΅Π΅ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ²), слишком высокая для Ρ€Π΅ΡˆΠ°Π΅ΠΌΠΎΠΉ Π·Π°Π΄Π°Ρ‡ΠΈ ΠΈ ΠΈΠΌΠ΅ΡŽΡ‰Π΅Π³ΠΎΡΡ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰Π΅Π³ΠΎ мноТСства. Π’ Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌ смыслС, Π·Π°Π΄Π°Ρ‡Π° рСгуляризатора β€” ΠΏΠΎΠ½ΠΈΠ·ΠΈΡ‚ΡŒ ΡΠ»ΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ, сохранив количСство Π΅Π΅ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ². ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅-рСгуляризация выполняСтся посрСдством налоТСния ΡˆΡ‚Ρ€Π°Ρ„ΠΎΠ² (penalising) Π½Π° вСса с наибольшими значСниями, минимизируя ΠΈΡ… ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅-Π½ΠΎΡ€ΠΌΡƒ с использованиСм ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Π° Ξ» β€” коэффициСнт рСгуляризации, Π²Ρ‹Ρ€Π°ΠΆΠ°ΡŽΡ‰ΠΈΠΉ ΠΏΡ€Π΅Π΄ΠΏΠΎΡ‡Ρ‚Π΅Π½ΠΈΠ΅ ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ Π½ΠΎΡ€ΠΌΡ‹ ΠΎΡ‚Π½ΠΎΡΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ ΠΌΠΈΠ½ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ Π½Π° ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰Π΅ΠΌ мноТСствС. Π’ΠΎ Π΅ΡΡ‚ΡŒ, для ΠΊΠ°ΠΆΠ΄ΠΎΠ³ΠΎ вСса Ο‰ ΠΌΡ‹ прибавляСм ΠΊ Ρ†Π΅Π»Π΅Π²ΠΎΠΉ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС обучСниСслагаСмоС ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅(ΠΌΠ½ΠΎΠΆΠΈΡ‚Π΅Π»ΡŒ Β½ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΠ΅Ρ‚ΡΡ для Ρ‚ΠΎΠ³ΠΎ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚ этого слагаСмого ΠΏΠΎ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρƒ Ο‰ равнялся λω, Π° Π½Π΅ 2λω β€” для удобства примСнСния ΠΌΠ΅Ρ‚ΠΎΠ΄Π° ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎΠ³ΠΎ распространСния ошибки).

ΠžΠ±Ρ€Π°Ρ‚ΠΈΡ‚Π΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, Ρ‡Ρ‚ΠΎ ΠΊΡ€Π°ΠΉΠ½Π΅ Π²Π°ΠΆΠ½ΠΎ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ Π²Ρ‹Π±Ρ€Π°Ρ‚ΡŒ Ξ». Если коэффициСнт слишком ΠΌΠ°Π», Ρ‚ΠΎ эффСкт ΠΎΡ‚ рСгуляризации Π±ΡƒΠ΄Π΅Ρ‚ Π½ΠΈΡ‡Ρ‚ΠΎΠΆΠ΅Π½, Ссли ΠΆΠ΅ слишком Π²Π΅Π»ΠΈΠΊ β€” модСль ΠΎΠ±Π½ΡƒΠ»ΠΈΡ‚ всС вСса. Π—Π΄Π΅ΡΡŒ ΠΌΡ‹ возьмСм Ξ» = 0.0001; Ρ‡Ρ‚ΠΎΠ±Ρ‹ Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ этот ΠΌΠ΅Ρ‚ΠΎΠ΄ рСгуляризации Π² Π½Π°ΡˆΡƒ модСль, Π½Π°ΠΌ понадобится Π΅Ρ‰Π΅ ΠΎΠ΄ΠΈΠ½ ΠΈΠΌΠΏΠΎΡ€Ρ‚, послС Ρ‡Π΅Π³ΠΎ достаточно всСго лишь Π΄ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ W_regularizer ΠΊ ΠΊΠ°ΠΆΠ΄ΠΎΠΌΡƒ слою, Π³Π΄Π΅ ΠΌΡ‹ Ρ…ΠΎΡ‚ΠΈΠΌ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡ‚ΡŒ Ρ€Π΅Π³ΡƒΠ»ΡΡ€ΠΈΠ·Π°Ρ†ΠΈΡŽ.

Π˜Π½ΠΈΡ†ΠΈΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΡ сСти

Один ΠΈΠ· ΠΌΠΎΠΌΠ΅Π½Ρ‚ΠΎΠ², ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ ΠΌΡ‹ упустили ΠΈΠ· Π²ΠΈΠ΄Ρƒ Π² ΠΏΡ€Π΅Π΄Ρ‹Π΄ΡƒΡ‰Π΅ΠΉ ΡΡ‚Π°Ρ‚ΡŒΠ΅ β€” ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏ Π²Ρ‹Π±ΠΎΡ€Π° Π½Π°Ρ‡Π°Π»ΡŒΠ½Ρ‹Ρ… Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ вСсов для слоСв, ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‰ΠΈΡ… модСль. ΠžΡ‡Π΅Π²ΠΈΠ΄Π½ΠΎ, Ρ‡Ρ‚ΠΎ этот вопрос ΠΎΡ‡Π΅Π½ΡŒ Π²Π°ΠΆΠ΅Π½: установка всСх вСсов Π² 0 Π±ΡƒΠ΄Π΅Ρ‚ ΡΠ΅Ρ€ΡŒΠ΅Π·Π½Ρ‹ΠΌ прСпятствиСм для обучСния, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ Π½ΠΈ ΠΎΠ΄ΠΈΠ½ ΠΈΠ· вСсов ΠΈΠ·Π½Π°Ρ‡Π°Π»ΡŒΠ½ΠΎ Π½Π΅ Π±ΡƒΠ΄Π΅Ρ‚ Π°ΠΊΡ‚ΠΈΠ²Π΅Π½. ΠŸΡ€ΠΈΡΠ²Π°ΠΈΠ²Π°Ρ‚ΡŒ вСсам значСния ΠΈΠ· ΠΈΠ½Ρ‚Π΅Ρ€Π²Π°Π»Π° Β±1 β€” Ρ‚ΠΎΠΆΠ΅ ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ Π½Π΅ Π»ΡƒΡ‡ΡˆΠΈΠΉ Π²Π°Ρ€ΠΈΠ°Π½Ρ‚ β€” Π½Π° самом Π΄Π΅Π»Π΅, ΠΈΠ½ΠΎΠ³Π΄Π° (Π² зависимости ΠΎΡ‚ Π·Π°Π΄Π°Ρ‡ΠΈ ΠΈ слоТности ΠΌΠΎΠ΄Π΅Π»ΠΈ) ΠΎΡ‚ ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΠΉ ΠΈΠ½ΠΈΡ†ΠΈΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΌΠΎΠΆΠ΅Ρ‚ Π·Π°Π²ΠΈΡΠ΅Ρ‚ΡŒ, достигнСт ΠΎΠ½Π° Π²Ρ‹ΡΠΎΡ‡Π°ΠΉΡˆΠ΅ΠΉ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ ΠΈΠ»ΠΈ Π²ΠΎΠΎΠ±Ρ‰Π΅ Π½Π΅ Π±ΡƒΠ΄Π΅Ρ‚ ΡΡ…ΠΎΠ΄ΠΈΡ‚ΡŒΡΡ. Π”Π°ΠΆΠ΅ Ссли Π·Π°Π΄Π°Ρ‡Π° Π½Π΅ ΠΏΡ€Π΅Π΄ΠΏΠΎΠ»Π°Π³Π°Π΅Ρ‚ Ρ‚Π°ΠΊΠΎΠΉ крайности, ΡƒΠ΄Π°Ρ‡Π½ΠΎ Π²Ρ‹Π±Ρ€Π°Π½Π½Ρ‹ΠΉ способ ΠΈΠ½ΠΈΡ†ΠΈΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ вСсов ΠΌΠΎΠΆΠ΅Ρ‚ Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Π²Π»ΠΈΡΡ‚ΡŒ Π½Π° ΡΠΏΠΎΡΠΎΠ±Π½ΠΎΡΡ‚ΡŒ ΠΌΠΎΠ΄Π΅Π»ΠΈ ΠΊ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΡŽ, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ ΠΎΠ½ прСдустанавливаСт ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ ΠΌΠΎΠ΄Π΅Π»ΠΈ с ΡƒΡ‡Π΅Ρ‚ΠΎΠΌ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ ΠΏΠΎΡ‚Π΅Ρ€ΡŒ.

Π—Π΄Π΅ΡΡŒ я ΠΏΡ€ΠΈΠ²Π΅Π΄Ρƒ Π΄Π²Π° Π½Π°ΠΈΠ±ΠΎΠ»Π΅Π΅ интСрСсных ΠΌΠ΅Ρ‚ΠΎΠ΄Π°.

ΠœΠ΅Ρ‚ΠΎΠ΄ ΠΈΠ½ΠΈΡ†ΠΈΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ Π—Π°Π²ΡŒΠ΅Ρ€Π° (Xavier) (ΠΈΠ½ΠΎΠ³Π΄Π° β€” ΠΌΠ΅Ρ‚ΠΎΠ΄ Glorot’а). Основная идСя этого ΠΌΠ΅Ρ‚ΠΎΠ΄Π° β€” ΡƒΠΏΡ€ΠΎΡΡ‚ΠΈΡ‚ΡŒ ΠΏΡ€ΠΎΡ…ΠΎΠΆΠ΄Π΅Π½ΠΈΠ΅ сигнала Ρ‡Π΅Ρ€Π΅Π· слой Π²ΠΎ врСмя ΠΊΠ°ΠΊ прямого, Ρ‚Π°ΠΊ ΠΈ ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎΠ³ΠΎ распространСния ошибки для Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠΉ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ (этот ΠΌΠ΅Ρ‚ΠΎΠ΄ Ρ‚Π°ΠΊΠΆΠ΅ Ρ…ΠΎΡ€ΠΎΡˆΠΎ Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ для сигмоидной Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ участок, Π³Π΄Π΅ ΠΎΠ½Π° нСнасыщСна, Ρ‚Π°ΠΊΠΆΠ΅ ΠΈΠΌΠ΅Π΅Ρ‚ Π»ΠΈΠ½Π΅ΠΉΠ½Ρ‹ΠΉ Ρ…Π°Ρ€Π°ΠΊΡ‚Π΅Ρ€). ΠŸΡ€ΠΈ вычислСнии вСсов этот ΠΌΠ΅Ρ‚ΠΎΠ΄ опираСтся Π½Π° вСроятностноС распрСдСлСниС (Ρ€Π°Π²Π½ΠΎΠΌΠ΅Ρ€Π½ΠΎΠ΅ ΠΈΠ»ΠΈ Π½ΠΎΡ€ΠΌΠ°Π»ΡŒΠ½ΠΎΠ΅) с диспСрсиСй, Ρ€Π°Π²Π½ΠΎΠΉ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅, Π³Π΄Π΅ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ΠΈ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅β€” количСства Π½Π΅ΠΉΡ€ΠΎΠ½ΠΎΠ² Π² ΠΏΡ€Π΅Π΄Ρ‹Π΄ΡƒΡ‰Π΅ΠΌ ΠΈ ΠΏΠΎΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅ΠΌ слоях соотвСтствСнно.

ΠœΠ΅Ρ‚ΠΎΠ΄ ΠΈΠ½ΠΈΡ†ΠΈΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ Π“Π΅ (He) β€” это вариация ΠΌΠ΅Ρ‚ΠΎΠ΄Π° Π—Π°Π²ΡŒΠ΅Ρ€Π°, большС подходящая Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ ReLU, ΠΊΠΎΠΌΠΏΠ΅Π½ΡΠΈΡ€ΡƒΡŽΡ‰Π°Ρ Ρ‚ΠΎΡ‚ Ρ„Π°ΠΊΡ‚, Ρ‡Ρ‚ΠΎ эта функция Π²ΠΎΠ·Π²Ρ€Π°Ρ‰Π°Π΅Ρ‚ Π½ΡƒΠ»ΡŒ для ΠΏΠΎΠ»ΠΎΠ²ΠΈΠ½Ρ‹ области опрСдСлСния. А ΠΈΠΌΠ΅Π½Π½ΠΎ, Π² этом случаС ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

Π§Ρ‚ΠΎΠ±Ρ‹ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ Ρ‚Ρ€Π΅Π±ΡƒΠ΅ΠΌΡƒΡŽ Π΄ΠΈΡΠΏΠ΅Ρ€ΡΠΈΡŽ для ΠΈΠ½ΠΈΡ†ΠΈΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ Π—Π°Π²ΡŒΠ΅Ρ€Π°, рассмотрим, Ρ‡Ρ‚ΠΎ происходит с диспСрсиСй Π²Ρ‹Ρ…ΠΎΠ΄Π½Ρ‹Ρ… Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ Π»ΠΈΠ½Π΅ΠΉΠ½ΠΎΠ³ΠΎ Π½Π΅ΠΉΡ€ΠΎΠ½Π° (Π±Π΅Π· ΡΠΎΡΡ‚Π°Π²Π»ΡΡŽΡ‰Π΅ΠΉ смСщСния), прСдполагая, Ρ‡Ρ‚ΠΎ вСса ΠΈ Π²Ρ…ΠΎΠ΄Π½Ρ‹Π΅ значСния Π½Π΅ ΠΊΠΎΡ€Ρ€Π΅Π»ΠΈΡ€ΡƒΡŽΡ‚ ΠΈ ΠΈΠΌΠ΅ΡŽΡ‚ Π½ΡƒΠ»Π΅Π²ΠΎΠ΅ ΠΌΠ°Ρ‚ΠΎΠΆΠΈΠ΄Π°Π½ΠΈΠ΅:

ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

Из этого слСдуСт, Ρ‡Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΡΠΎΡ…Ρ€Π°Π½ΠΈΡ‚ΡŒ Π΄ΠΈΡΠΏΠ΅Ρ€ΡΠΈΡŽ Π²Ρ…ΠΎΠ΄Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ… послС прохоТдСния Ρ‡Π΅Ρ€Π΅Π· слой, Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ диспСрсия Π±Ρ‹Π»Π° ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠœΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΡ‚ΡŒ этот ΠΆΠ΅ Π°Ρ€Π³ΡƒΠΌΠ΅Π½Ρ‚ ΠΏΡ€ΠΈ ΠΎΠ±Ρ€Π°Ρ‚Π½ΠΎΠΌ распространСнии ошибки, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π’Π°ΠΊ ΠΊΠ°ΠΊ ΠΎΠ±Ρ‹Ρ‡Π½ΠΎ ΠΌΡ‹ Π½Π΅ ΠΌΠΎΠΆΠ΅ΠΌ ΡƒΠ΄ΠΎΠ²Π»Π΅Ρ‚Π²ΠΎΡ€ΠΈΡ‚ΡŒ ΠΎΠ±ΠΎΠΈΠΌ этим трСбованиям, ΠΌΡ‹ Π²Ρ‹Π±ΠΈΡ€Π°Π΅ΠΌ Π΄ΠΈΡΠΏΠ΅Ρ€ΡΠΈΡŽ вСсов ΠΊΠ°ΠΊ ΠΈΡ… срСднСС: ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅, Ρ‡Ρ‚ΠΎ Π½Π° ΠΏΡ€Π°ΠΊΡ‚ΠΈΠΊΠ΅, ΠΊΠ°ΠΊ ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ, Ρ€Π°Π±ΠΎΡ‚Π°Π΅Ρ‚ прСкрасно.

Π‘Π°Ρ‚Ρ‡-нормализация (batch normalization)

Π‘Π°Ρ‚Ρ‡-нормализация β€” ΠΌΠ΅Ρ‚ΠΎΠ΄ ускорСния Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠ³ΠΎ обучСния, ΠΏΡ€Π΅Π΄Π»ΠΎΠΆΠ΅Π½Π½Ρ‹ΠΉ Ioffe ΠΈ Szegedy Π² Π½Π°Ρ‡Π°Π»Π΅ 2015 Π³ΠΎΠ΄Π°, ΡƒΠΆΠ΅ ΠΏΡ€ΠΎΡ†ΠΈΡ‚ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹ΠΉ Π½Π° arXiv 560 Ρ€Π°Π·! ΠœΠ΅Ρ‚ΠΎΠ΄ Ρ€Π΅ΡˆΠ°Π΅Ρ‚ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΡƒΡŽ ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡƒ, ΠΏΡ€Π΅ΠΏΡΡ‚ΡΡ‚Π²ΡƒΡŽΡ‰ΡƒΡŽ эффСктивному ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΡŽ Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… сСтСй: ΠΏΠΎ ΠΌΠ΅Ρ€Π΅ распространСния сигнала ΠΏΠΎ сСти, Π΄Π°ΠΆΠ΅ Ссли ΠΌΡ‹ Π½ΠΎΡ€ΠΌΠ°Π»ΠΈΠ·ΠΎΠ²Π°Π»ΠΈ Π΅Π³ΠΎ Π½Π° Π²Ρ…ΠΎΠ΄Π΅, пройдя Ρ‡Π΅Ρ€Π΅Π· Π²Π½ΡƒΡ‚Ρ€Π΅Π½Π½ΠΈΠ΅ слои, ΠΎΠ½ ΠΌΠΎΠΆΠ΅Ρ‚ сильно ΠΈΡΠΊΠ°Π·ΠΈΡ‚ΡŒΡΡ ΠΊΠ°ΠΊ ΠΏΠΎ ΠΌΠ°Ρ‚ΠΎΠΆΠΈΠ΄Π½ΠΈΡŽ, Ρ‚Π°ΠΊ ΠΈ ΠΏΠΎ диспСрсии (Π΄Π°Π½Π½ΠΎΠ΅ явлСниС называСтся Π²Π½ΡƒΡ‚Ρ€Π΅Π½Π½ΠΈΠΌ ΠΊΠΎΠ²Π°Ρ€ΠΈΠ°Ρ†ΠΈΠΎΠ½Π½Ρ‹ΠΌ сдвигом), Ρ‡Ρ‚ΠΎ Ρ‡Ρ€Π΅Π²Π°Ρ‚ΠΎ ΡΠ΅Ρ€ΡŒΠ΅Π·Π½Ρ‹ΠΌΠΈ нСсоотвСтствиями ΠΌΠ΅ΠΆΠ΄Ρƒ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π°ΠΌΠΈ Π½Π° Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… уровнях. ΠŸΠΎΡΡ‚ΠΎΠΌΡƒ Π½Π°ΠΌ приходится ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π±ΠΎΠ»Π΅Π΅ ΡΠΈΠ»ΡŒΠ½Ρ‹Π΅ рСгуляризаторы, замСдляя Ρ‚Π΅ΠΌ самым Ρ‚Π΅ΠΌΠΏ обучСния.

ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

Π‘ ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ этих статистичСских характСристик ΠΌΡ‹ ΠΏΡ€Π΅ΠΎΠ±Ρ€Π°Π·ΡƒΠ΅ΠΌ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΡŽ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ Ρ‚Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΎΠ½Π° ΠΈΠΌΠ΅Π»Π° Π½ΡƒΠ»Π΅Π²ΠΎΠ΅ ΠΌΠ°Ρ‚ΠΎΠΆΠΈΠ΄Π°Π½ΠΈΠ΅ ΠΈ Π΅Π΄ΠΈΠ½ΠΈΡ‡Π½ΡƒΡŽ Π΄ΠΈΡΠΏΠ΅Ρ€ΡΠΈΡŽ Π½Π° всСм Π±Π°Ρ‚Ρ‡Π΅:

ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

Π³Π΄Π΅ Ξ΅ >0 β€” ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€, Π·Π°Ρ‰ΠΈΡ‰Π°ΡŽΡ‰ΠΈΠΉ нас ΠΎΡ‚ дСлСния Π½Π° 0 (Π² случаС, Ссли срСднСквадратичноС ΠΎΡ‚ΠΊΠ»ΠΎΠ½Π΅Π½ΠΈΠ΅ Π±Π°Ρ‚Ρ‡Π° ΠΎΡ‡Π΅Π½ΡŒ ΠΌΠ°Π»ΠΎ ΠΈΠ»ΠΈ Π΄Π°ΠΆΠ΅ Ρ€Π°Π²Π½ΠΎ Π½ΡƒΠ»ΡŽ). НаконСц, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ ΠΎΠΊΠΎΠ½Ρ‡Π°Ρ‚Π΅Π»ΡŒΠ½ΡƒΡŽ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΡŽ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ y, Π½Π°ΠΌ Π½Π°Π΄ΠΎ ΡƒΠ±Π΅Π΄ΠΈΡ‚ΡŒΡΡ, Ρ‡Ρ‚ΠΎ Π²ΠΎ врСмя Π½ΠΎΡ€ΠΌΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ ΠΌΡ‹ Π½Π΅ потСряли способности ΠΊ ΠΎΠ±ΠΎΠ±Ρ‰Π΅Π½ΠΈΡŽ, ΠΈ Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ ΠΊ исходным Π΄Π°Π½Π½Ρ‹ΠΌ ΠΌΡ‹ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΠ»ΠΈ ΠΎΠΏΠ΅Ρ€Π°Ρ†ΠΈΠΈ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΡ ΠΈ сдвига, ΠΌΡ‹ ΠΌΠΎΠΆΠ΅ΠΌ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΡ‚ΡŒ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ»ΡŒΠ½Ρ‹Π΅ ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅ ΠΈ сдвиг Π½ΠΎΡ€ΠΌΠ°Π»ΠΈΠ·ΠΎΠ²Π°Π½Π½Ρ‹Ρ… Π·Π½Π°Ρ‡Π΅Π½ΠΈΠΉ, ΠΏΠΎΠ»ΡƒΡ‡ΠΈΠ² ΠΎΠΊΠΎΠ½Ρ‡Π°Ρ‚Π΅Π»ΡŒΠ½ΡƒΡŽ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΡŽ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ:

ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

Π“Π΄Π΅ Ξ² ΠΈ Ξ³ β€” ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ Π±Π°Ρ‚Ρ‡-Π½ΠΎΡ€ΠΌΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΠΈ, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΌ систСмы ΠΌΠΎΠΆΠ½ΠΎ ΠΎΠ±ΡƒΡ‡ΠΈΡ‚ΡŒ (ΠΈΡ… ΠΌΠΎΠΆΠ½ΠΎ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·ΠΈΡ€ΠΎΠ²Π°Ρ‚ΡŒ ΠΌΠ΅Ρ‚ΠΎΠ΄ΠΎΠΌ Π³Ρ€Π°Π΄ΠΈΠ΅Π½Ρ‚Π½ΠΎΠ³ΠΎ спуска Π½Π° ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΡ… Π΄Π°Π½Π½Ρ‹Ρ…). Π­Ρ‚ΠΎ ΠΎΠ±ΠΎΠ±Ρ‰Π΅Π½ΠΈΠ΅ Ρ‚Π°ΠΊΠΆΠ΅ ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚, Ρ‡Ρ‚ΠΎ Π±Π°Ρ‚Ρ‡-Π½ΠΎΡ€ΠΌΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΡŽ ΠΌΠΎΠΆΠ΅Ρ‚ Π±Ρ‹Ρ‚ΡŒ ΠΏΠΎΠ»Π΅Π·Π½ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡ‚ΡŒ нСпосрСдствСнно ΠΊ Π²Ρ…ΠΎΠ΄Π½Ρ‹ΠΌ Π΄Π°Π½Π½Ρ‹ΠΌ Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти.

Π­Ρ‚ΠΎΡ‚ ΠΌΠ΅Ρ‚ΠΎΠ΄ Π² ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠΈ ΠΊ Π³Π»ΡƒΠ±ΠΎΠΊΠΈΠΌ свСрточным сСтям ΠΏΠΎΡ‡Ρ‚ΠΈ всСгда ΡƒΡΠΏΠ΅ΡˆΠ½ΠΎ достигаСт своСй Ρ†Π΅Π»ΠΈ β€” ΡƒΡΠΊΠΎΡ€ΠΈΡ‚ΡŒ ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΎΠ»Π΅Π΅ Ρ‚ΠΎΠ³ΠΎ, ΠΎΠ½ ΠΌΠΎΠΆΠ΅Ρ‚ ΡΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ ΠΎΡ‚Π»ΠΈΡ‡Π½Ρ‹ΠΌ рСгуляризатором, позволяя Π½Π΅ Ρ‚Π°ΠΊ ΠΎΡΠΌΠΎΡ‚Ρ€ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Π²Ρ‹Π±ΠΈΡ€Π°Ρ‚ΡŒ Ρ‚Π΅ΠΌΠΏ обучСния, ΠΌΠΎΡ‰Π½ΠΎΡΡ‚ΡŒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅-рСгуляризатора ΠΈ dropout (ΠΈΠ½ΠΎΠ³Π΄Π° Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΠΎΡΡ‚ΡŒ Π² Π½ΠΈΡ… совсСм ΠΎΡ‚ΠΏΠ°Π΄Π°Π΅Ρ‚). РСгуляризация здСсь β€” слСдствиС Ρ‚ΠΎΠ³ΠΎ Ρ„Π°ΠΊΡ‚Π°, Ρ‡Ρ‚ΠΎ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ Ρ€Π°Π±ΠΎΡ‚Ρ‹ сСти для ΠΎΠΏΡ€Π΅Π΄Π΅Π»Π΅Π½Π½ΠΎΠ³ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π° большС Π½Π΅ Π΄Π΅Ρ‚Π΅Ρ€ΠΌΠΈΠ½ΠΈΡ€ΠΎΠ²Π°Π½ΠΎ (ΠΎΠ½ зависит ΠΎΡ‚ всСго Π±Π°Ρ‚Ρ‡Π°, Π² Ρ€Π°ΠΌΠΊΠ°Ρ… ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠ³ΠΎ Π΄Π°Π½Π½Ρ‹ΠΉ Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½), Ρ‡Ρ‚ΠΎ ΡƒΠΏΡ€ΠΎΡ‰Π°Π΅Ρ‚ ΠΎΠ±ΠΎΠ±Ρ‰Π΅Π½ΠΈΠ΅.

И Π½Π°ΠΊΠΎΠ½Π΅Ρ†, хотя Π°Π²Ρ‚ΠΎΡ€Ρ‹ ΠΌΠ΅Ρ‚ΠΎΠ΄Π° Ρ€Π΅ΠΊΠΎΠΌΠ΅Π½Π΄ΡƒΡŽΡ‚ ΠΏΡ€ΠΈΠΌΠ΅Π½ΡΡ‚ΡŒ Π±Π°Ρ‚Ρ‡-Π½ΠΎΡ€ΠΌΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΡŽ Π΄ΠΎ Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΈ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ Π½Π΅ΠΉΡ€ΠΎΠ½Π°, послСдниС исслСдования ΠΏΠΎΠΊΠ°Π·Ρ‹Π²Π°ΡŽΡ‚, Ρ‡Ρ‚ΠΎ Ссли Π½Π΅ ΠΏΠΎΠ»Π΅Π·Π½Π΅Π΅, Ρ‚ΠΎ ΠΏΠΎ ΠΊΡ€Π°ΠΉΠ½Π΅ΠΉ ΠΌΠ΅Ρ€Π΅ Ρ‚Π°ΠΊ ΠΆΠ΅ Π²Ρ‹Π³ΠΎΠ΄Π½ΠΎ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π΅Π΅ послС Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ, Ρ‡Ρ‚ΠΎ ΠΌΡ‹ ΠΈ сдСлаСм Π² Ρ€Π°ΠΌΠΊΠ°Ρ… этого руководства.

Π Π°ΡΡˆΠΈΡ€Π΅Π½ΠΈΠ΅ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰Π΅Π³ΠΎ мноТСства (data augmentation)

Π’ Ρ‚ΠΎ врСмя ΠΊΠ°ΠΊ описанныС Π²Ρ‹ΡˆΠ΅ ΠΌΠ΅Ρ‚ΠΎΠ΄Ρ‹ касались Π² основном Ρ‚ΠΎΠ½ΠΊΠΎΠΉ настройки самой ΠΌΠΎΠ΄Π΅Π»ΠΈ, Π±Ρ‹Π²Π°Π΅Ρ‚ ΠΏΠΎΠ»Π΅Π·Π½ΠΎ ΠΈΠ·ΡƒΡ‡ΠΈΡ‚ΡŒ Π²Π°Ρ€ΠΈΠ°Π½Ρ‚Ρ‹ настройки Π΄Π°Π½Π½Ρ‹Ρ…, особСнно ΠΊΠΎΠ³Π΄Π° Ρ€Π΅Ρ‡ΡŒ ΠΈΠ΄Π΅Ρ‚ ΠΎ Π·Π°Π΄Π°Ρ‡Π°Ρ… распознавания ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ.

ΠŸΡ€Π΅Π΄ΡΡ‚Π°Π²ΠΈΠΌ, Ρ‡Ρ‚ΠΎ ΠΌΡ‹ ΠΎΠ±ΡƒΡ‡ΠΈΠ»ΠΈ Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΡƒΡŽ ΡΠ΅Ρ‚ΡŒ Ρ€Π°ΡΠΏΠΎΠ·Π½Π°Π²Π°Ρ‚ΡŒ рукописныС Ρ†ΠΈΡ„Ρ€Ρ‹, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ Π±Ρ‹Π»ΠΈ ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π½ΠΎ ΠΎΠ΄Π½ΠΎΠ³ΠΎ Ρ€Π°Π·ΠΌΠ΅Ρ€Π° ΠΈ Π±Ρ‹Π»ΠΈ Π°ΠΊΠΊΡƒΡ€Π°Ρ‚Π½ΠΎ Π²Ρ‹Ρ€ΠΎΠ²Π½Π΅Π½Ρ‹. Π’Π΅ΠΏΠ΅Ρ€ΡŒ Π΄Π°Π²Π°ΠΉΡ‚Π΅ прСдставим, Ρ‡Ρ‚ΠΎ случится, Ссли ΠΊΡ‚ΠΎ-Ρ‚ΠΎ даст этой сСти Π½Π° тСстированиС слСгка сдвинутыС Ρ†ΠΈΡ„Ρ€Ρ‹ Ρ€Π°Π·Π½ΠΎΠ³ΠΎ Ρ€Π°Π·ΠΌΠ΅Ρ€Π° ΠΈ Π½Π°ΠΊΠ»ΠΎΠ½Π° β€” Ρ‚ΠΎΠ³Π΄Π° Π΅Π΅ ΡƒΠ²Π΅Ρ€Π΅Π½Π½ΠΎΡΡ‚ΡŒ Π² ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎΠΌ классС Ρ€Π΅Π·ΠΊΠΎ ΡƒΠΏΠ°Π΄Π΅Ρ‚. Π’ ΠΈΠ΄Π΅Π°Π»Π΅ Ρ…ΠΎΡ€ΠΎΡˆΠΎ Π±Ρ‹ ΡƒΠΌΠ΅Ρ‚ΡŒ Ρ‚Π°ΠΊ ΠΎΠ±ΡƒΡ‡Π°Ρ‚ΡŒ ΡΠ΅Ρ‚ΡŒ, Ρ‡Ρ‚ΠΎΠ±Ρ‹ ΠΎΠ½Π° ΠΎΡΡ‚Π°Π²Π°Π»Π°ΡΡŒ устойчивой ΠΊ ΠΏΠΎΠ΄ΠΎΠ±Π½Ρ‹ΠΌ искаТСниям, Π½ΠΎ наша модСль ΠΌΠΎΠΆΠ΅Ρ‚ ΠΎΠ±ΡƒΡ‡Π°Ρ‚ΡŒΡΡ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ Π½Π° основС Ρ‚Π΅Ρ… ΠΎΠ±Ρ€Π°Π·Ρ†ΠΎΠ², ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ ΠΌΡ‹ Π΅ΠΉ прСдоставили, ΠΏΡ€ΠΈ Ρ‚ΠΎΠΌ Ρ‡Ρ‚ΠΎ ΠΎΠ½Π° ΠΏΡ€ΠΎΠ²ΠΎΠ΄ΠΈΡ‚ Π² Π½Π΅ΠΊΠΎΡ‚ΠΎΡ€ΠΎΠΌ Ρ€ΠΎΠ΄Π΅ статистичСский Π°Π½Π°Π»ΠΈΠ· ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰Π΅Π³ΠΎ мноТСства ΠΈ экстраполируСт Π΅Π³ΠΎ.

К ΡΡ‡Π°ΡΡ‚ΡŒΡŽ, для этой ΠΏΡ€ΠΎΠ±Π»Π΅ΠΌΡ‹ сущСствуСт Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅, простоС, Π½ΠΎ эффСктивноС, особСнно Π½Π° Π·Π°Π΄Π°Ρ‡Π°Ρ… ΠΏΠΎ Ρ€Π°ΡΠΏΠΎΠ·Π½Π°Π²Π°Π½ΠΈΡŽ ΠΈΠ·ΠΎΠ±Ρ€Π°ΠΆΠ΅Π½ΠΈΠΉ: искусствСнно Ρ€Π°ΡΡˆΠΈΡ€ΡŒΡ‚Π΅ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰ΠΈΠ΅ Π΄Π°Π½Π½Ρ‹Π΅ искаТСнными вСрсиями Π²ΠΎ врСмя обучСния! Π­Ρ‚ΠΎ ΠΎΠ·Π½Π°Ρ‡Π°Π΅Ρ‚ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰Π΅Π΅: ΠΏΠ΅Ρ€Π΅Π΄ Ρ‚Π΅ΠΌ, ΠΊΠ°ΠΊ ΠΏΠΎΠ΄Π°Ρ‚ΡŒ ΠΏΡ€ΠΈΠΌΠ΅Ρ€ Π½Π° Π²Ρ…ΠΎΠ΄ ΠΌΠΎΠ΄Π΅Π»ΠΈ, ΠΌΡ‹ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΠΌ ΠΊ Π½Π΅ΠΌΡƒ всС трансформации, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹Π΅ сочтСм Π½ΡƒΠΆΠ½Ρ‹ΠΌΠΈ, Π° ΠΏΠΎΡ‚ΠΎΠΌ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΠΌ сСти Π½Π°ΠΏΡ€ΡΠΌΡƒΡŽ Π½Π°Π±Π»ΡŽΠ΄Π°Ρ‚ΡŒ, ΠΊΠ°ΠΊΠΎΠΉ эффСкт ΠΈΠΌΠ΅Π΅Ρ‚ ΠΏΡ€ΠΈΠΌΠ΅Π½Π΅Π½ΠΈΠ΅ ΠΈΡ… ΠΊ Π΄Π°Π½Π½Ρ‹ΠΌ ΠΈ обучая Π΅Π΅ β€œΡ…ΠΎΡ€ΠΎΡˆΠΎ вСсти сСбя” ΠΈ Π½Π° этих ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π°Ρ…. НапримСр, Π²ΠΎΡ‚ нСсколько ΠΏΡ€ΠΈΠΌΠ΅Ρ€ΠΎΠ² сдвинутых, ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Ρ…, Π΄Π΅Ρ„ΠΎΡ€ΠΌΠΈΡ€ΠΎΠ²Π°Π½Π½Ρ‹Ρ…, Π½Π°ΠΊΠ»ΠΎΠ½Π΅Π½Π½Ρ‹Ρ… Ρ†ΠΈΡ„Ρ€ ΠΈΠ· Π½Π°Π±ΠΎΡ€Π° MNIST.

ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

Π—Π΄Π΅ΡΡŒ ΠΌΡ‹ Π±ΡƒΠ΄Π΅ΠΌ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ случайныС Π³ΠΎΡ€ΠΈΠ·ΠΎΠ½Ρ‚Π°Π»ΡŒΠ½Ρ‹Π΅ ΠΈ Π²Π΅Ρ€Ρ‚ΠΈΠΊΠ°Π»ΡŒΠ½Ρ‹Π΅ сдвиги. ImageDataGenerator Ρ‚Π°ΠΊΠΆΠ΅ прСдоставляСт Π½Π°ΠΌ Π²ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎΡΡ‚ΡŒ Π²Ρ‹ΠΏΠΎΠ»Π½ΡΡ‚ΡŒ случайныС ΠΏΠΎΠ²ΠΎΡ€ΠΎΡ‚Ρ‹, ΠΌΠ°ΡΡˆΡ‚Π°Π±ΠΈΡ€ΠΎΠ²Π°Π½ΠΈΠ΅, Π΄Π΅Ρ„ΠΎΡ€ΠΌΠ°Ρ†ΠΈΡŽ ΠΈ Π·Π΅Ρ€ΠΊΠ°Π»ΡŒΠ½ΠΎΠ΅ ΠΎΡ‚Ρ€Π°ΠΆΠ΅Π½ΠΈΠ΅. ВсС эти трансформации Ρ‚Π°ΠΊΠΆΠ΅ стоит ΠΏΠΎΠΏΡ€ΠΎΠ±ΠΎΠ²Π°Ρ‚ΡŒ, ΠΊΡ€ΠΎΠΌΠ΅ Ρ€Π°Π·Π²Π΅ Ρ‡Ρ‚ΠΎ Π·Π΅Ρ€ΠΊΠ°Π»ΡŒΠ½ΠΎΠ³ΠΎ отраТСния, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ Π² Ρ€Π΅Π°Π»ΡŒΠ½ΠΎΠΉ ΠΆΠΈΠ·Π½ΠΈ ΠΌΡ‹ вряд Π»ΠΈ встрСтим Ρ€Π°Π·Π²Π΅Ρ€Π½ΡƒΡ‚Ρ‹Π΅ Ρ‚Π°ΠΊΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ рукописныС Ρ†ΠΈΡ„Ρ€Ρ‹.

Ансамбли (ensembles)

Одна интСрСсная ΠΎΡΠΎΠ±Π΅Π½Π½ΠΎΡΡ‚ΡŒ Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… сСтСй, ΠΊΠΎΡ‚ΠΎΡ€ΡƒΡŽ ΠΌΠΎΠΆΠ½ΠΎ Π·Π°ΠΌΠ΅Ρ‚ΠΈΡ‚ΡŒ, ΠΊΠΎΠ³Π΄Π° ΠΎΠ½ΠΈ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ΡΡ для распрСдСлСния Π΄Π°Π½Π½Ρ‹Ρ… Π½Π° Π±ΠΎΠ»Π΅Π΅ Ρ‡Π΅ΠΌ Π΄Π²Π° класса β€” это Ρ‚ΠΎ, Ρ‡Ρ‚ΠΎ ΠΏΡ€ΠΈ Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹Ρ… Π½Π°Ρ‡Π°Π»ΡŒΠ½Ρ‹Ρ… условиях обучСния ΠΈΠΌ Π»Π΅Π³Ρ‡Π΅ даСтся распрСдСлСниС ΠΏΠΎ ΠΎΠ΄Π½ΠΈΠΌ классам, Π² Ρ‚ΠΎ врСмя ΠΊΠ°ΠΊ Π΄Ρ€ΡƒΠ³ΠΈΠ΅ приводят Π² Π·Π°ΠΌΠ΅ΡˆΠ°Ρ‚Π΅Π»ΡŒΡΡ‚Π²ΠΎ. На ΠΏΡ€ΠΈΠΌΠ΅Ρ€Π΅ MNIST ΠΌΠΎΠΆΠ½ΠΎ ΠΎΠ±Π½Π°Ρ€ΡƒΠΆΠΈΡ‚ΡŒ, Ρ‡Ρ‚ΠΎ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½ΠΎ взятая нСйронная ΡΠ΅Ρ‚ΡŒ прСкрасно ΡƒΠΌΠ΅Π΅Ρ‚ ΠΎΡ‚Π»ΠΈΡ‡Π°Ρ‚ΡŒ Ρ‚Ρ€ΠΎΠΉΠΊΠΈ ΠΎΡ‚ пятСрок, Π½ΠΎ Π½Π΅ учится ΠΏΡ€Π°Π²ΠΈΠ»ΡŒΠ½ΠΎ ΠΎΡ‚Π΄Π΅Π»ΡΡ‚ΡŒ Π΅Π΄ΠΈΠ½ΠΈΡ†Ρ‹ ΠΎΡ‚ сСмСрок, Π² Ρ‚ΠΎ врСмя ΠΊΠ°ΠΊ с дСля с Π΄Ρ€ΡƒΠ³ΠΎΠΉ ΡΠ΅Ρ‚ΡŒΡŽ обстоят Π½Π°ΠΎΠ±ΠΎΡ€ΠΎΡ‚.

Π‘ этим нСсоотвСтствиСм ΠΌΠΎΠΆΠ½ΠΎ Π±ΠΎΡ€ΠΎΡ‚ΡŒΡΡ с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΌΠ΅Ρ‚ΠΎΠ΄Π° статистичСских ансамблСй β€” мСсто ΠΎΠ΄Π½ΠΎΠΉ сСти постройтС нСсколько Π΅Π΅ ΠΊΠΎΠΏΠΈΠΉ с Ρ€Π°Π·Π½Ρ‹ΠΌΠΈ Π½Π°Ρ‡Π°Π»ΡŒΠ½Ρ‹ΠΌΠΈ значСниями ΠΈ вычислитС ΠΈΡ… срСдний Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚ Π½Π° ΠΎΠ΄Π½ΠΈΡ… ΠΈ Ρ‚Π΅Ρ… ΠΆΠ΅ Π²Ρ…ΠΎΠ΄Π½Ρ‹Ρ… Π΄Π°Π½Π½Ρ‹Ρ…. Π—Π΄Π΅ΡΡŒ ΠΌΡ‹ Π±ΡƒΠ΄Π΅ΠΌ ΡΡ‚Ρ€ΠΎΠΈΡ‚ΡŒ Ρ‚Ρ€ΠΈ ΠΎΡ‚Π΄Π΅Π»ΡŒΠ½Ρ‹Ρ… ΠΌΠΎΠ΄Π΅Π»ΠΈ. Различия ΠΌΠ΅ΠΆΠ΄Ρƒ Π½ΠΈΠΌΠΈ ΠΌΠΎΠΆΠ½ΠΎ Π»Π΅Π³ΠΊΠΎ ΠΏΡ€Π΅Π΄ΡΡ‚Π°Π²ΠΈΡ‚ΡŒ Π² Π²ΠΈΠ΄Π΅ Π΄ΠΈΠ°Π³Ρ€Π°ΠΌΠΌΡ‹, построСнной Ρ‚Π°ΠΊΠΆΠ΅ Π² Keras.

ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅

Ранняя остановка (early stopping)

ΠžΠΏΠΈΡˆΡƒ здСсь Π΅Ρ‰Π΅ ΠΎΠ΄ΠΈΠ½ ΠΌΠ΅Ρ‚ΠΎΠ΄ Π² качСствС ввСдСния Π² Π±ΠΎΠ»Π΅Π΅ ΡˆΠΈΡ€ΠΎΠΊΡƒΡŽ ΠΎΠ±Π»Π°ΡΡ‚ΡŒ ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ Π³ΠΈΠΏΠ΅Ρ€ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ². Пока Ρ‡Ρ‚ΠΎ ΠΌΡ‹ использовали Π²Π°Π»ΠΈΠ΄Π°Ρ†ΠΈΠΎΠ½Π½ΠΎΠ΅ мноТСство Π΄Π°Π½Π½Ρ‹Ρ… ΠΈΡΠΊΠ»ΡŽΡ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ для контроля Π·Π° Ρ…ΠΎΠ΄ΠΎΠΌ обучСния, Ρ‡Ρ‚ΠΎ, Π±Π΅Π· сомнСния, Π½Π΅ Ρ€Π°Ρ†ΠΈΠΎΠ½Π°Π»ΡŒΠ½ΠΎ (Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ эти Π΄Π°Π½Π½Ρ‹Π΅ Π½Π΅ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΡƒΡŽΡ‚ΡΡ Π² конструктивных цСлях). На самом ΠΆΠ΅ Π΄Π΅Π»Π΅ Π²Π°Π»ΠΈΠ΄Π°Ρ†ΠΈΠΎΠ½Π½ΠΎΠ΅ мноТСство ΠΌΠΎΠΆΠ΅Ρ‚ ΡΠ»ΡƒΠΆΠΈΡ‚ΡŒ Π±Π°Π·ΠΎΠΉ для ΠΎΡ†Π΅Π½ΠΊΠΈ Π³ΠΈΠΏΠ΅Ρ€ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ² сСти (Ρ‚Π°ΠΊΠΈΡ…, ΠΊΠ°ΠΊ Π³Π»ΡƒΠ±ΠΈΠ½Π°, количСство Π½Π΅ΠΉΡ€ΠΎΠ½ΠΎΠ²/ядСр, ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Ρ‹ рСгуляризации ΠΈ Ρ‚.Π΄.). ΠŸΡ€Π΅Π΄ΡΡ‚Π°Π²ΡŒΡ‚Π΅, Ρ‡Ρ‚ΠΎ ΡΠ΅Ρ‚ΡŒ прогоняСтся с Ρ€Π°Π·Π»ΠΈΡ‡Π½Ρ‹ΠΌΠΈ комбинациями Π³ΠΈΠΏΠ΅Ρ€ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ΠΎΠ², Π° Π·Π°Ρ‚Π΅ΠΌ Ρ€Π΅ΡˆΠ΅Π½ΠΈΠ΅ принимаСтся Π½Π° основС ΠΈΡ… ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΠΈ Π½Π° Π²Π°Π»ΠΈΠ΄Π°Ρ†ΠΈΠΎΠ½Π½ΠΎΠΌ мноТСствС. ΠžΠ±Ρ€Π°Ρ‚ΠΈΡ‚Π΅ Π²Π½ΠΈΠΌΠ°Π½ΠΈΠ΅, Ρ‡Ρ‚ΠΎ ΠΌΡ‹ Π½Π΅ Π΄ΠΎΠ»ΠΆΠ½Ρ‹ Π·Π½Π°Ρ‚ΡŒ Π½ΠΈΡ‡Π΅Π³ΠΎ ΠΎ тСстовом мноТСствС Π΄ΠΎ Ρ‚ΠΎΠ³ΠΎ ΠΊΠ°ΠΊ ΠΎΠΊΠΎΠ½Ρ‡Π°Ρ‚Π΅Π»ΡŒΠ½ΠΎ опрСдСлимся с Π³ΠΈΠΏΠ΅Ρ€ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€Π°ΠΌΠΈ, Ρ‚Π°ΠΊ ΠΊΠ°ΠΊ ΠΈΠ½Π°Ρ‡Π΅ ΠΏΡ€ΠΈΠ·Π½Π°ΠΊΠΈ тСстового мноТСства Π½Π΅ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ»ΡŒΠ½ΠΎ Π²ΠΎΠ»ΡŒΡŽΡ‚ΡΡ Π² процСсс обучСния. Π­Ρ‚ΠΎΡ‚ ΠΏΡ€ΠΈΠ½Ρ†ΠΈΠΏ Ρ‚Π°ΠΊΠΆΠ΅ извСстСн ΠΊΠ°ΠΊ Π·ΠΎΠ»ΠΎΡ‚ΠΎΠ΅ ΠΏΡ€Π°Π²ΠΈΠ»ΠΎ машинного обучСния, ΠΈ Π½Π°Ρ€ΡƒΡˆΠ°Π»ΠΎΡΡŒ Π²ΠΎ ΠΌΠ½ΠΎΠ³ΠΈΡ… Ρ€Π°Π½Π½ΠΈΡ… ΠΏΠΎΠ΄Ρ…ΠΎΠ΄Π°Ρ….

Π’ΠΎΠ·ΠΌΠΎΠΆΠ½ΠΎ, самый простой способ использования Π²Π°Π»ΠΈΠ΄Π°Ρ†ΠΈΠΎΠ½Π½ΠΎΠ³ΠΎ мноТСства β€” настройка количСства β€œΡΠΏΠΎΡ…β€ (Ρ†ΠΈΠΊΠ»ΠΎΠ²) с ΠΏΠΎΠΌΠΎΡ‰ΡŒΡŽ ΠΏΡ€ΠΎΡ†Π΅Π΄ΡƒΡ€Ρ‹, извСстной ΠΊΠ°ΠΊ ранняя остановка β€” просто остановитС процСсс обучСния, Ссли Π·Π° Π·Π°Π΄Π°Π½Π½ΠΎΠ΅ количСство эпох (ΠΏΠ°Ρ€Π°ΠΌΠ΅Ρ‚Ρ€ patience) ΠΏΠΎΡ‚Π΅Ρ€ΠΈ Π½Π΅ Π½Π°Ρ‡ΠΈΠ½Π°ΡŽΡ‚ ΡƒΠΌΠ΅Π½ΡŒΡˆΠ°Ρ‚ΡŒΡΡ. Π’Π°ΠΊ ΠΊΠ°ΠΊ наш Π½Π°Π±ΠΎΡ€ Π΄Π°Π½Π½Ρ‹Ρ… ΠΎΡ‚Π½ΠΎΡΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ Π½Π΅Π²Π΅Π»ΠΈΠΊ ΠΈ насыщаСтся быстро, ΠΌΡ‹ установим patience Ρ€Π°Π²Π½Ρ‹ΠΌ пяти эпохам, Π° максимальноС количСство эпох ΡƒΠ²Π΅Π»ΠΈΡ‡ΠΈΠΌ Π΄ΠΎ 50 (вряд Π»ΠΈ это число ΠΊΠΎΠ³Π΄Π°-Π»ΠΈΠ±ΠΎ Π±ΡƒΠ΄Π΅Ρ‚ достигнуто).

ΠŸΡ€ΠΎΡΡ‚ΠΎ ΠΏΠΎΠΊΠ°ΠΆΠΈΡ‚Π΅ ΠΌΠ½Π΅ ΠΊΠΎΠ΄

ПослС примСнСния ΡˆΠ΅ΡΡ‚ΠΈ Π²Ρ‹ΡˆΠ΅ΠΎΠΏΠΈΡΠ°Π½Π½Ρ‹Ρ… ΠΏΡ€ΠΈΠ΅ΠΌΠΎΠ² ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ, ΠΊΠΎΠ΄ нашСй Π½Π΅ΠΉΡ€ΠΎΠ½Π½ΠΎΠΉ сСти Π±ΡƒΠ΄Π΅Ρ‚ Π²Ρ‹Π³Π»ΡΠ΄Π΅Ρ‚ΡŒ ΡΠ»Π΅Π΄ΡƒΡŽΡ‰ΠΈΠΌ ΠΎΠ±Ρ€Π°Π·ΠΎΠΌ.

Наша модСль послС обновлСния достигаСт точности 99.47% Π½Π° тСстовом Π½Π°Π±ΠΎΡ€Π΅ Π΄Π°Π½Π½Ρ‹Ρ…, Π° это Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½Ρ‹ΠΉ прирост ΠΏΠΎ ΡΡ€Π°Π²Π½Π΅Π½ΠΈΡŽ с Π½Π°Ρ‡Π°Π»ΡŒΠ½ΠΎΠΉ ΠΏΡ€ΠΎΠΈΠ·Π²ΠΎΠ΄ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΡΡ‚ΡŒΡŽ 99.12%. ΠšΠΎΠ½Π΅Ρ‡Π½ΠΎ, для Ρ‚Π°ΠΊΠΎΠ³ΠΎ малСнького ΠΈ ΠΎΡ‚Π½ΠΎΡΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎ простого Π½Π°Π±ΠΎΡ€Π° Π΄Π°Π½Π½Ρ‹Ρ…, ΠΊΠ°ΠΊ MNIST, Π²Ρ‹Π³ΠΎΠ΄Π° Π½Π΅ каТСтся ΡΡ‚ΠΎΠ»ΡŒ Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠΉ. ΠŸΡ€ΠΈΠΌΠ΅Π½ΠΈΠ² Ρ‚Π΅ ΠΆΠ΅ ΠΏΡ€ΠΈΠ΅ΠΌΡ‹ ΠΊ Π·Π°Π΄Π°Ρ‡Π΅ распознавания CIFAR-10, ΠΏΡ€ΠΈ Π½Π°Π»ΠΈΡ‡ΠΈΠΈ Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹Ρ… рСсурсов, Π²Ρ‹ смоТСтС ΠΏΠΎΠ»ΡƒΡ‡ΠΈΡ‚ΡŒ Π±ΠΎΠ»Π΅Π΅ ΠΎΡ‰ΡƒΡ‚ΠΈΠΌΠΎΠ΅ прСимущСство.

ΠŸΡ€Π΅Π΄Π»Π°Π³Π°ΡŽ Π²Π°ΠΌ дальшС ΠΏΠΎΡ€Π°Π±ΠΎΡ‚Π°Ρ‚ΡŒ с этой модСлью: Π² частности, ΠΏΠΎΠΏΡ‹Ρ‚Π°ΠΉΡ‚Π΅ΡΡŒ ΠΈΡΠΏΠΎΠ»ΡŒΠ·ΠΎΠ²Π°Ρ‚ΡŒ Π²Π°Π»ΠΈΠ΄Π°Ρ†ΠΈΠΎΠ½Π½Ρ‹Π΅ Π΄Π°Π½Π½Ρ‹Π΅ Π½Π΅ Ρ‚ΠΎΠ»ΡŒΠΊΠΎ для ΠΏΡ€ΠΈΠ΅ΠΌΠ° Ρ€Π°Π½Π½Π΅ΠΉ остановки, Π½ΠΎ Π΅Ρ‰Π΅ ΠΈ для ΠΎΡ†Π΅Π½ΠΊΠΈ размСрности ΠΈ количСства ядСр, Ρ€Π°Π·ΠΌΠ΅Ρ€ΠΎΠ² скрытых слоСв, стратСгий ΠΎΠΏΡ‚ΠΈΠΌΠΈΠ·Π°Ρ†ΠΈΠΈ, Ρ„ΡƒΠ½ΠΊΡ†ΠΈΠΉ Π°ΠΊΡ‚ΠΈΠ²Π°Ρ†ΠΈΠΈ, количСства сСтСй Π² ансамблС, ΠΈ сравнитС Ρ€Π΅Π·ΡƒΠ»ΡŒΡ‚Π°Ρ‚Ρ‹ с Π»ΡƒΡ‡ΡˆΠΈΠΌΠΈ ΠΈΠ· Π»ΡƒΡ‡ΡˆΠΈΡ… (Π² ΠΌΠΎΠΌΠ΅Π½Ρ‚ написания этого поста Π»ΡƒΡ‡ΡˆΠ°Ρ модСль достигала точности 99.79% Π½Π° MNIST).

Π—Π°ΠΊΠ»ΡŽΡ‡Π΅Π½ΠΈΠ΅

Π’ Π΄Π°Π½Π½ΠΎΠΉ ΡΡ‚Π°Ρ‚ΡŒΠ΅ ΠΌΡ‹ рассмотрСли ΡˆΠ΅ΡΡ‚ΡŒ ΠΏΡ€ΠΈΠ΅ΠΌΠΎΠ² для Ρ‚ΠΎΠ½ΠΊΠΎΠΉ настройки Π½Π΅ΠΉΡ€ΠΎΠ½Π½Ρ‹Ρ… сСтСй, описанных Π² ΠΏΡ€Π΅Π΄Ρ‹Π΄ΡƒΡ‰ΠΈΡ… постах:

ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ Ρ„ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π‘ΠΌΠΎΡ‚Ρ€Π΅Ρ‚ΡŒ ΠΊΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΡƒ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. ΠšΠ°Ρ€Ρ‚ΠΈΠ½ΠΊΠ° ΠΏΡ€ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅. Π€ΠΎΡ‚ΠΎ ground truth машинноС ΠΎΠ±ΡƒΡ‡Π΅Π½ΠΈΠ΅-рСгуляриация
Π˜Π½ΠΈΡ†ΠΈΠ°Π»ΠΈΠ·Π°Ρ†ΠΈΡ
Π‘Π°Ρ‚Ρ‡-нормализация
Π Π°ΡΡˆΠΈΡ€Π΅Π½ΠΈΠ΅ ΠΎΠ±ΡƒΡ‡Π°ΡŽΡ‰Π΅Π³ΠΎ мноТСства
ΠœΠ΅Ρ‚ΠΎΠ΄ ансамблСй
Ранняя остановка

И ΡƒΡΠΏΠ΅ΡˆΠ½ΠΎ ΠΏΡ€ΠΈΠΌΠ΅Π½ΠΈΠ»ΠΈ ΠΈΡ… ΠΊ Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠΉ свСрточной сСти, построСнной Π² Keras, Ρ‡Ρ‚ΠΎ ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΠ»ΠΎ Π΄ΠΎΡΡ‚ΠΈΠ³Π½ΡƒΡ‚ΡŒ Π·Π½Π°Ρ‡ΠΈΡ‚Π΅Π»ΡŒΠ½ΠΎΠ³ΠΎ увСличСния точности Π½Π° MNIST ΠΈ заняло ΠΌΠ΅Π½Π΅Π΅ 90 строк ΠΊΠΎΠ΄Π°.

Π­Ρ‚ΠΎ Π±Ρ‹Π»Π° Π·Π°Π²Π΅Ρ€ΡˆΠ°ΡŽΡ‰Π°Ρ ΡΡ‚Π°Ρ‚ΡŒΡ Ρ†ΠΈΠΊΠ»Π°. ΠŸΡ€ΠΎΡ‡Π΅ΡΡ‚ΡŒ ΠΏΡ€Π΅Π΄Ρ‹Π΄ΡƒΡ‰ΠΈΠ΅ Π΄Π²Π΅ части ΠΌΠΎΠΆΠ½ΠΎ здСсь ΠΈ здСсь.

НадСюсь, ΠΏΠΎΠ»ΡƒΡ‡Π΅Π½Π½Ρ‹Π΅ Π²Π°ΠΌΠΈ знания станут Ρ‚Π΅ΠΌ стимулом, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ Π² сочСтании с Π½Π΅ΠΎΠ±Ρ…ΠΎΠ΄ΠΈΠΌΡ‹ΠΌΠΈ рСсурсами ΠΏΠΎΠ·Π²ΠΎΠ»ΠΈΡ‚ Π²Π°ΠΌ ΡΡ‚Π°Ρ‚ΡŒ Π½Π°ΠΈΠΊΡ€ΡƒΡ‚Π΅ΠΉΡˆΠΈΠΌΠΈ ΠΈΠ½ΠΆΠ΅Π½Π΅Ρ€Π°ΠΌΠΈ сСтСй Π³Π»ΡƒΠ±ΠΎΠΊΠΎΠ³ΠΎ обучСния.

wunderfund.io β€” ΠΌΠΎΠ»ΠΎΠ΄ΠΎΠΉ Ρ„ΠΎΠ½Π΄, ΠΊΠΎΡ‚ΠΎΡ€Ρ‹ΠΉ занимаСтся высокочастотной Π°Π»Π³ΠΎΡ‚ΠΎΡ€Π³ΠΎΠ²Π»Π΅ΠΉ. Высокочастотная торговля β€” это Π½Π΅ΠΏΡ€Π΅Ρ€Ρ‹Π²Π½ΠΎΠ΅ сорСвнованиС Π»ΡƒΡ‡ΡˆΠΈΡ… программистов ΠΈ ΠΌΠ°Ρ‚Π΅ΠΌΠ°Ρ‚ΠΈΠΊΠΎΠ² всСго ΠΌΠΈΡ€Π°. ΠŸΡ€ΠΈΡΠΎΠ΅Π΄ΠΈΠ½ΠΈΠ²ΡˆΠΈΡΡŒ ΠΊ Π½Π°ΠΌ, Π²Ρ‹ станСтС Ρ‡Π°ΡΡ‚ΡŒΡŽ этой ΡƒΠ²Π»Π΅ΠΊΠ°Ρ‚Π΅Π»ΡŒΠ½ΠΎΠΉ схватки.

ΠœΡ‹ ΠΏΡ€Π΅Π΄Π»Π°Π³Π°Π΅ΠΌ интСрСсныС ΠΈ слоТныС Π·Π°Π΄Π°Ρ‡ΠΈ ΠΏΠΎ Π°Π½Π°Π»ΠΈΠ·Ρƒ Π΄Π°Π½Π½Ρ‹Ρ… ΠΈ low latency Ρ€Π°Π·Ρ€Π°Π±ΠΎΡ‚ΠΊΠ΅ для ΡƒΠ²Π»Π΅Ρ‡Π΅Π½Π½Ρ‹Ρ… исслСдоватСлСй ΠΈ программистов. Π“ΠΈΠ±ΠΊΠΈΠΉ Π³Ρ€Π°Ρ„ΠΈΠΊ ΠΈ Π½ΠΈΠΊΠ°ΠΊΠΎΠΉ Π±ΡŽΡ€ΠΎΠΊΡ€Π°Ρ‚ΠΈΠΈ, Ρ€Π΅ΡˆΠ΅Π½ΠΈΡ быстро ΠΏΡ€ΠΈΠ½ΠΈΠΌΠ°ΡŽΡ‚ΡΡ ΠΈ Π²ΠΎΠΏΠ»ΠΎΡ‰Π°ΡŽΡ‚ΡΡ Π² Тизнь.

Π˜ΡΡ‚ΠΎΡ‡Π½ΠΈΠΊ

Π”ΠΎΠ±Π°Π²ΠΈΡ‚ΡŒ ΠΊΠΎΠΌΠΌΠ΅Π½Ρ‚Π°Ρ€ΠΈΠΉ

Π’Π°Ρˆ адрСс email Π½Π΅ Π±ΡƒΠ΄Π΅Ρ‚ ΠΎΠΏΡƒΠ±Π»ΠΈΠΊΠΎΠ²Π°Π½. ΠžΠ±ΡΠ·Π°Ρ‚Π΅Π»ΡŒΠ½Ρ‹Π΅ поля ΠΏΠΎΠΌΠ΅Ρ‡Π΅Π½Ρ‹ *