JetBrains - Python du point de vue du réseau neuronal

Le plug-in de saisie semi-automatique complète de lignes de code pour Python est maintenant disponible en version bêta publique. Dans cet article, nous présentons une partie des technologies et des algorithmes utilisés pour la création de ce plug-in et partageons des statistiques sur la programmation en Python que nous avons collectées au cours de ce processus.

Vous connaissez déjà sans doute la saisie semi-automatique ou complétion de code, qui suggère le mot suivant celui que l’utilisateur saisit. Si ce n’est pas le cas, nous lui avons consacré une série d’articles que vous pouvez consulter (un, deux, trois, quatre).

La saisie semi-automatique complète de ligne de code va plus loin en suggérant de plus grands fragments de code. Entre autres, elle complète les paramètres d’appel de méthodes pour vous ou écrit le texte du message d’erreur. Sur le plan de l’expérience utilisateur, elle est proche de la saisie semi-automatique standard et utilise la même fenêtre contextuelle pour présenter les résultats :

Toutefois, la technologie utilisée pour cette forme étendue de saisie semi-automatique est fondamentalement différente.

La saisie semi-automatique standard utilise l’analyse statique pour déterminer les classes, méthodes, variables de champ et mots-clefs visibles depuis l’emplacement actuel, et s’appuie sur le machine learning pour sélectionner les meilleures recommandations. La sélection du meilleur élément à partir d’un ensemble prédéfini est un exemple de modélisation discriminative. La saisie semi-automatique complète de lignes de code fournit quant à elle un nouveau bloc de code comprenant plusieurs « mots ». L’écriture de code s’assimile à un processus créatif et fait un usage plus intensif des calculs. On parle alors de modélisation générative. Les réseaux neuronaux constituent un outil de modélisation générative typique, que nous utilisons également.

Voyons plus en détails ce qu’est la saisie semi-automatique complète de lignes de code et quelles sont les principales caractéristiques de son fonctionnement. La question sur laquelle nous nous penchons plus particulièrement aujourd’hui est : comment un réseau neuronal perçoit-il votre programme ?

Les algorithmes fonctionnant avec des langages de programmation utilisent un ensemble de techniques provenant du traitement du langage naturel. Au lieu d’utiliser les mots du langage d’origine, le réseau neuronal a recours à une séquence de jetons appartenant à un vocabulaire spécial. L’algorithme construit le vocabulaire en utilisant le processus d’encodage par paire d’octets. Nous allons tout d’abord voir un exemple en anglais simple, puis examiner comment cela fonctionne en Python.

L’algorithme construit le vocabulaire au début de la phase d’apprentissage et rassemble les statistiques à partir des textes utilisés pour l’apprentissage. L’ensemble de jetons ne change pas après cela et reste identique tout au long du traitement pendant la phase d’exploitation.

Imaginons que le seul texte en anglais disponible pour l’apprentissage soit le dicton suivant :

Ce dicton peut se vérifier ou pas. Quoi qu’il en soit, il contient plusieurs mots qui se répètent, ce qui aide à comprendre l’algorithme. Quels types de jetons pourrons-nous en retirer pour une utilisation ultérieure ? Nous initialisons la liste de jetons avec chacune des lettres (symboles) de notre phrase d’apprentissage :

[i, f, y, o, u, a, l, w, s, d, h, t, g, e]

Notez qu’Unicode code chacune de ces lettres comme un octet unique, de sorte que les symboles et les octets sont ici équivalents.

Nous n’incluons pas d’espace, mais nous pouvons l’utiliser comme séparateur naturel de jetons. Ce détail aura son importance par la suite.

Après l’initialisation, nous développons le vocabulaire de façon itérative. Nous recherchons la concaténation la plus fréquente pour les deux entrées existantes et la désignons comme un nouveau jeton. Dans notre exemple, « you » et « always » sont répétés quatre fois, mais nous ne pouvons pas encore les ajouter, car aucun d’eux n’est une concaténation de deux entrées. Nous devons procéder étape par étape, et le premier candidat est « yo ». Une fois le premier jeton défini, il devient insécable, et nous ne pouvons plus utiliser ses éléments séparément. Ainsi, « ou » ne pourra jamais devenir un jeton, car cela demanderait de fractionner « yo ».

Nous répétons cette étape pour trouver d’autres concaténations de jetons fréquentes et les ajouter au vocabulaire. L’algorithme arrivera à « you » et « always » avant de traiter d’autres paires de symboles, telles que « wh » et « at », qui n’apparaissent que deux fois. Un vocabulaire de taille 32 (puissance de deux) peut se présenter comme suit :

[i, f, y, o, u, a, l, w, s, d, h, t, g, e, yo, ys, al, ays, ways, you, always, at, wh, what, if, il, id, ot, wil, do, did, ge]

Tout nouveau jeton ajouté est une concaténation de deux autres jetons, ce qui s’appelle un encodage de paire.

À ce stade, pour éviter toute confusion, il est utile de clarifier les choses concernant le concept de jeton : nous appellerons « mot » un élément lexical de langage, tandis que nous appellerons « jeton » une entrée de vocabulaire obtenue par encodage de paire d’octets. Certains jetons ne sont pas des mots (par exemple ays). Il peut également y avoir des mots qui ne sont pas des jetons (par exemple : will et get. Nous avons arrêté la génération du vocabulaire avant de les inclure.)

Le réseau neuronal prend une entrée et génère une sortie constituée de jetons et non de mots. Les ressources de calcul requises dépendent de l’étendue du vocabulaire. Cette astuce nous permet de limiter la taille de la valeur voulue au lieu d’utiliser tous les mots du langage.

La quantité de jetons dans l’entrée est également essentielle pour la qualité et les performances. L’algorithme peut ne prendre en considération qu’un seul fragment du texte (appelé « contexte ») pour lequel il doit générer la suite. En utilisant des jetons étendus, il devient possible de prendre de plus gros morceaux de texte en tant qu’entrée. Heureusement, les langages de programmation offrent des options supplémentaires pour y parvenir.

Les auteurs de systèmes de traitement du langage naturel utilisent généralement les limites des mots en tant que limites absolues entre les jetons. La séquence « John Smith » est plus fréquente en anglais que « Trantor », surtout lorsqu’il ne s’agit pas de fiction. Cependant, « Trantor » peut théoriquement devenir un jeton dans le cadre d’un vocabulaire beaucoup plus large, car il s’agit d’un seul mot. Cela n’est pas possible pour « John Smith », qui est en deux mots. Les jetons du langage naturel ne dépassent généralement pas les limites des mots.

Avec les langages de programmation, la séparation naturelle des jetons se fait au niveau de l’analyseur lexical : le mot se termine là où il est possible d’insérer un espace. Une variable, une constante et un mot-clef de langage n’ont pas de liens entre eux.

Nous pensions pouvoir faire mieux pour les langages de programmation. Prenons l’expression Python classique suivante :

for i in range(

Elle inclut de nombreux éléments lexicaux différents, dont deux mots-clefs de langage, une variable et une fonction. Pourtant, le programmeur Python (encore débutant) en moi pense que for i in range( devrait être une seule entrée dans le vocabulaire. Le réseau neuronal devrait utiliser une seule itération d’inférence au lieu de quatre ou cinq pour faire une prédiction, afin de préserver la capacité de calcul de votre ordinateur portable pour le contenu entre parenthèses.

L’idée générale consiste à délimiter les jetons par des sauts de ligne au lieu d’éléments lexicaux. Notre objectif étant la saisie semi-automatique d’une ligne de code, l’utilisation de la ligne comme unité de jeton est naturelle.

La taille de notre vocabulaire est limitée à 16 384, une autre puissance de 2 très pratique. Nous avons initialisé le processus avec des caractères Unicode couvrant 99,99 % du texte et commencé à traiter les référentiels Python avec des licences permissives.

Dans les sections suivantes, vous allez découvrir les 16 384 constructions Python les plus populaires.

L’inspection visuelle du vocabulaire a permis d’identifier quelques problèmes systémiques. Statistiquement, certaines entrées sont prévisibles, mais leur inclusion présente des inconvénients.

V-1. La première surprise : le chinois▲

V-2. La deuxième surprise : l’indentation▲

return
        return
    return
                return
return

return self.
return True
return False
return 0
return None

L’un des autres problèmes que nous avons rencontrés concernait les instructions d’importation impliquant des frameworks populaires tels que TensorFlow, PyTorch et Django, par exemple :

from tensorflow.python.framework import ops
from django.conf import settings

De telles instructions apparaissent généralement une fois par fichier et sont généralement proches du début. De plus, les mécanismes de complétion de code et d’importation automatique classiques peuvent s’en charger. D’un autre côté, encore une fois, cela permet de prendre en compte de plus grands morceaux de code lors de la génération des suggestions de saisie semi-automatique. La question de savoir si ces longues instructions d’importation sont requises en tant que jetons reste ouverte.

VI-1. Examiner les données▲

En faisant défiler la fenêtre vers le bas, nous arrivons aux combinaisons à deux symboles. Il s’agit de comprendre pourquoi elles arrivent en haut de la liste. Certaines proviennent des mots-clefs les plus communs du langage, tandis que d’autres résultent de conventions de nommage et d’habitudes de programmation.

Savez-vous quelle est la combinaison de deux symboles la plus fréquente en Python (après le double espace blanc, bien sûr) ? C’est virgule+espace blanc, comme ceci : , . Cela fait sens ! Voyons la suite.

se vient principalement de self. En fait, self. est la combinaison à cinq symboles la plus fréquente et l’un des jetons les plus utilisés. « se » est plus fréquent que la plupart des séquences à deux et trois symboles, sauf celles qu’il contient.

in Youpi ! for i in range(

re vient principalement de return.

on est un cas intéressant. La plupart de nos noms de variables, de champs, et même de classes, se terminent par « tion », « cion » ou « sion ». « None » et « json » sont deux autres contributeurs importants.

te semble mystérieux au premier abord, mais une étude plus approfondie du vocabulaire révèle l’abondance du mot « test » sous différentes formes. Des mots tels que « date », « text », « state », « write » et l’omniprésent « items » contribuent également à la fréquence de ce jeton.

= doit être vraiment très populaire. Si l’on change l’ordre, = n’est pas si fréquent. La différence ne peut pas être inférieure au nombre d’opérateurs !=.

or vient généralement de mots-clefs très utilisés dans le langage, tels que or, for et import.

VIII-1. Jetons ignorant les limites▲

VIII-2. Range▲

VIII-3. Instructions Return▲

return False
return True
return None

return []
return super(
return data
return value
return not
return len(self.

VIII-4. Classes▲

class Meta:
class Base

classifier
classification
issubclass(
@classmethod
Base class for

Le réseau neuronal utilise le vocabulaire pour représenter le programme d’entrée et construire les suggestions. La représentation du programme est disponible dès maintenant et les algorithmes de génération de code feront l’objet de prochains articles.

Si nous prenons un fragment simple de code Python et exécutons le générateur de jetons (tokenizer), nous pouvons le voir de la même façon que le réseau neuronal le voit :

Le générateur de jetons transforme ces 3 lignes en 15 jetons. Les modèles basés sur GPT-2 peuvent avoir jusqu’à 1 024 éléments ; notre limite d’utilisation est de 384. Dans notre ensemble de données d’apprentissage, la longueur médiane d’une ligne est de 10 jetons, ce qui est un peu plus long que dans l’exemple ci-dessus. Nous pouvons estimer que le modèle utilise un peu moins de 40 lignes de contexte pour générer les prédictions.

Cet exemple montre également à quel point le « mode de pensée » du réseau neuronal et celui de l’humain sont différents. Nous comprenons que args représente la même chose dans les deux premières lignes. Cependant, l’algorithme les voit différemment, il fractionne même la deuxième ligne.

Parcourir et développer le vocabulaire ont fait partie des étapes pour atteindre nos objectifs concernant l’offre produit. Nous prévoyons de proposer davantage d’articles techniques sur la façon dont le réseau neuronal génère du code et comment adapter ses performances aux capacités des ordinateurs portables des utilisateurs.

En attendant, nous vous invitons à essayer le fruit de notre travail, le plug-in de saisie semi-automatique complète de lignes de code pour Python : https://plugins.jetbrains.com/plugin/14823-full-line-code-completion

Nous tenons à remercier Malick pour la mise au gabarit et escartefigue pour la relecture orthographique.