Apprendimento profondo

L'apprendimento profondo (in inglese deep learning) è quel campo di ricerca dell'apprendimento automatico (in inglese machine learning) e dell'intelligenza artificiale che si basa su diversi livelli di rappresentazione, corrispondenti a gerarchie di caratteristiche di fattori o concetti, dove i concetti di alto livello sono definiti sulla base di quelli di basso.

Tra le architetture di apprendimento profondo si annoverano le reti neurali profonde, la convoluzione di reti neurali profonde, le Deep belief network, e reti neurali ricorrenti, che sono state applicate nella computer vision, nel riconoscimento automatico del discorso, nell'elaborazione del linguaggio naturale, nel riconoscimento audio e nella bioinformatica. "Deep learning" è un'espressione oggi famosa che ridà lustro al concetto di rete neurale.

Introduzione

Definizioni

L'apprendimento profondo è definito come una classe di algoritmi di apprendimento automatico che:

• usano vari livelli di unità non lineari a cascata per svolgere compiti di estrazione di caratteristiche e di trasformazione. Ciascun livello successivo utilizza l'uscita del livello precedente come input. Gli algoritmi possono essere sia di tipo supervisionato sia non supervisionato e le applicazioni includono l'analisi di pattern (apprendimento non supervisionato) e classificazione (apprendimento supervisionato).
• sono basati sull'apprendimento non supervisionato di livelli gerarchici multipli di caratteristiche (e di rappresentazioni) dei dati. Le caratteristiche di più alto livello vengono derivate da quelle di livello più basso per creare una rappresentazione gerarchica.
• fanno parte della più ampia classe di algoritmi di apprendimento della rappresentazione dei dati all'interno dell'apprendimento automatico.
• apprendono multipli livelli di rappresentazione che corrispondono a differenti livelli di astrazione; questi livelli formano una gerarchia di concetti.

Ciò che queste definizioni hanno in comune sono (1) i livelli multipli di unità non lineari e (2) l'apprendimento (supervisionato o non supervisionato) in ogni livello della rappresentazione di caratteristiche, in cui i livelli formano una gerarchia delle caratteristiche stesse. La composizione di ciascun livello di unità non lineari usata in un algoritmo di apprendimento profondo dipende dal problema che deve essere risolto. Nell'apprendimento profondo possono venire usati livelli nascosti di una rete neurale artificiale e insiemi di formule proposizionali.

Architetture

Reti neurali convoluzionali

La Rete neurale convoluzionale (Convolution Neural Network CNN) è un metodo di scelta per elaborare dati visuali e dati di tipo 2D. Una CNN è composta da uno più strati convoluzionali con strati completamente connessi verso l'alto. Usa anche pesi e strati comuni (pooling layers). In particolare il "max-pooling" è spesso usato nell'architettura convoluzionale di Fukushima. Quest'architettura permette alle CNN di avere dei vantaggi dalle strutture 2D di ingresso. Sono particolarmente efficaci nell'area delle immagini e di riconoscimento del discorso. Possono essere allenate anche con la backpropagation standard. Sono inoltre facili da allenare rispetto ad altre reti neurali profonde o feed-forward ed hanno molti meno parametri da stimare. Un programma di CNN è il DeepDream di Google.

Reti neurali ricorsive

una rete neurale ricorsiva è una rete neurale in cui alcuni elementi ricorsive ossia si basano su loro stessi

Reti deep-q

Questa è una classe di modelli d'apprendimento profondi usando il Q-learning, una forma di apprendimento con rinforzo, del Google DeepMind. Risultati preliminari presentati nel 2014 con un articolo pubblicato su Nature nel febbraio 2015. L'applicazione di cui si fa riferimento è un gioco dell'Atari 2600.

Applicazione

• Riconoscimento automatico del discorso
• Riconoscimento di immagini
• Elaborazione del linguaggio naturale
• Scoperta di farmaci e tossicologia
• Customer relationship management
• Sistema di raccomandazione
• Bioinformatica

Librerie software

• Torch — Libreria software open source di machine learning in Lua
• Theano — Libreria open source di machine learning in Python.
• Deeplearning4j — Libreria open source di deep learning in Java. Fornisce parallelizzazione di CPU e GPU.
• OpenNN — Libreria open source in C++ che impementa reti neurali profonde e fornisce parallelizazioni con CPU.
• Gensim — Libreria di elaborazione del linguaggio naturale in Python.
• Apache Singa — A deep learning platform developed for scalability, usability and extensibility.
• TensorFlow — Libreria open source di machine learning in C++ e Python con API per entrambe le versioni di Google. Fornisce parallelizzazione con CPU e GPU.
• Microsoft Cognitive Toolkit — Framework per il deep learning sviluppato da Microsoft.

Collegamenti esterni

• (EN) Deep learning, su deeplearning.net.
• (EN) Video on Recent Developments in Deep Learning, di Geoff Hinton