Déployer une application Web Flask de Python dans l'environnement flexible App Engine

Résumé

Dans cet atelier de programmation, vous allez apprendre à déployer une application Web Flask de Python dans l'environnement flexible App Engine. L'exemple d'application permet à un utilisateur d'importer la photo du visage d'une personne et de mesurer la probabilité que cette personne soit contente. L'application utilise les API Google Cloud pour Vision, Storage et Datastore.

À propos d'App Engine

Les applications Google App Engine sont faciles à créer et à gérer. Grâce à leur caractère évolutif, elles s'adaptent en fonction de vos besoins en termes de trafic et de stockage des données. Avec App Engine, vous n'avez aucun serveur à gérer. Il vous suffit d'importer votre application : vous êtes alors prêt à démarrer.

Les applications App Engine s'adaptent automatiquement au volume de trafic entrant. Elles sont nativement compatibles avec l'équilibrage de charge, les microservices, les autorisations, les bases de données SQL et NoSQL, la répartition du trafic, la journalisation, la recherche, la gestion des versions, l'exécution de déploiements et de rollbacks et les analyses de sécurité. Toutes ces fonctionnalités sont également hautement personnalisables.

L'environnement flexible d'App Engine est compatible avec tous les langages de programmation suivants : C#, Go, Java, Node.js, PHP, Python et Ruby. L'environnement flexible App Engine exécute votre application dans des conteneurs Docker sur des machines virtuelles Google Compute Engine. L'environnement standard d'App Engine est une option alternative pour certains langages, dont Python. App Engine standard exécute votre application dans un environnement bac à sable plus restrictif. Pour plus d'informations, consultez Choisir un environnement App Engine.

Points abordés

• Déployer une application Web simple dans l'environnement flexible App Engine
• Accéder aux bibliothèques clientes Google Cloud pour Vision, Storage et Datastore
• Utiliser la console Google Cloud et le SDK Google Cloud pour gérer différentes ressources cloud
• Utiliser Cloud Shell

Prérequis

• Connaissance de Python
• Bonne connaissance des éditeurs de texte Linux standards tels que Vim, Emacs ou Nano

Création de projets

Si vous ne possédez pas encore de compte Google (Gmail ou Google Apps), vous devez en créer un. Connectez-vous à la console Google Cloud Platform (console.cloud.google.com) et créez un projet :

Mémorisez l'ID du projet. Il s'agit d'un nom unique permettant de différencier chaque projet Google Cloud (le nom ci-dessus est déjà pris ; vous devez en trouver un autre). Il sera désigné par le nom PROJECT_ID tout au long de cet atelier de programmation.

Facturation

Vous devez ensuite activer la facturation dans la console Cloud pour pouvoir utiliser les ressources Google Cloud.

Suivre cet atelier de programmation ne devrait pas vous coûter plus d'un euro. Cependant, cela peut s'avérer plus coûteux si vous décidez d'utiliser davantage de ressources ou si vous ne les interrompez pas.

Les nouveaux utilisateurs de Google Cloud Platform peuvent bénéficier d'un essai sans frais avec 300$de crédits.

Bien que Google Cloud puisse être utilisé à distance depuis votre ordinateur portable, nous allons nous servir de Google Cloud Shell pour cet atelier de programmation, un environnement de ligne de commande exécuté dans le cloud. Cette machine virtuelle basée sur Debian contient tous les outils de développement dont vous aurez besoin (gcloud, python, virtualenv, pip, etc.). Elle offre un répertoire de base persistant de 5 Go et s'exécute sur Google Cloud, ce qui améliore considérablement les performances du réseau et l'authentification. Cela signifie que tout ce dont vous avez besoin pour cet atelier de programmation est un navigateur (oui, tout fonctionne sur un Chromebook).

Pour activer Google Cloud Shell, cliquez simplement sur le bouton en haut à droite de la console de développement (le provisionnement de l'environnement et la connexion ne devraient prendre que quelques minutes) :

Une fois connecté à Cloud Shell, vous êtes en principe authentifié, et le projet est déjà défini sur votre PROJECT_ID :

gcloud auth list
Credentialed accounts:
- <myaccount>@<mydomain>.com (active)

Remarque  : gcloud est le nouvel outil de ligne de commande unifié et performant pour Google Cloud Platform. Pour consulter la documentation complète, accédez à https://cloud.google.com/sdk/gcloud. Il est préinstallé sur Cloud Shell, et vous allez certainement apprécier sa compatibilité avec la saisie semi-automatique via la touche de tabulation.

gcloud config list project
[core]
Project = <PROJECT_ID>

Si, pour une raison quelconque, le projet n'est pas défini, exécutez simplement la commande suivante :

gcloud config set project <PROJECT_ID>

Vous ne connaissez pas votre ID de projet (ID_PROJET) ? Vérifiez l'ID de projet que vous avez utilisé pendant les étapes de configuration ou recherchez-le dans le tableau de bord de la console :

Dans Cloud Shell, exécutez la commande suivante pour cloner le dépôt GitHub :

git clone https://github.com/GoogleCloudPlatform/python-docs-samples.git

Accédez au répertoire python-docs-samples/codelabs/flex_and_vision :

cd python-docs-samples/codelabs/flex_and_vision

Avant de pouvoir commencer à utiliser les API Vision, Storage et Datastore, vous devez les activer à l'aide des commandes suivantes :

gcloud services enable vision.googleapis.com

gcloud services enable storage-component.googleapis.com

gcloud services enable datastore.googleapis.com

Vous aurez besoin des identifiants du compte de service pour envoyer des requêtes aux API Vision, Storage et Datastore. Vous pouvez générer des identifiants de compte de service à partir de votre projet à l'aide de l'outil gcloud.

Remarque  : Si vous avez oublié l'ID de votre projet, exécutez gcloud config list project.

Définissez une variable d'environnement pour PROJECT_ID et remplacez [YOUR_PROJECT_ID] par votre ID de projet :

export PROJECT_ID=[YOUR_PROJECT_ID]

Créez un compte de service pour accéder aux API Google Cloud lors de vos tests en local :

gcloud iam service-accounts create codelab \
  --display-name "My Codelab Service Account"

Attribuez-lui les autorisations nécessaires :

gcloud projects add-iam-policy-binding ${PROJECT_ID} \
--member serviceAccount:codelab@${PROJECT_ID}.iam.gserviceaccount.com \
--role roles/owner

Ensuite, créez une clé de compte de service :

gcloud iam service-accounts keys create ~/key.json \
--iam-account codelab@${PROJECT_ID}.iam.gserviceaccount.com

Cette commande génère une clé de compte de service dans le fichier JSON key.json de votre répertoire d'accueil.

Définissez une variable d'environnement pour votre clé de compte de service à l'aide du chemin absolu de la clé générée dans Cloud Shell :

export GOOGLE_APPLICATION_CREDENTIALS="/home/${USER}/key.json"

Pour en savoir plus, consultez S'authentifier dans l'API Vision.

Démarrer votre environnement virtuel et installer des dépendances

Créez un environnement Python 3 isolé nommé env à l'aide de virtualenv :

virtualenv -p python3 env

Saisissez votre virtualenv env nouvellement créé :

source env/bin/activate

Remarque  : Lorsque vous êtes prêt à quitter votre environnement virtuel à la fin de l'atelier de programmation, saisissez simplement deactivate dans Cloud Shell.

À l'aide de pip, installez des dépendances pour votre projet à partir du fichier requirements.txt :

pip install -r requirements.txt

Le fichier requirements.txt est une liste des dépendances de package dont vous avez besoin pour votre projet. La commande ci-dessus a téléchargé toutes les dépendances de package répertoriées dans virtualenv.

Créer une application App Engine

Créez ensuite une instance App Engine à l'aide de la commande suivante :

gcloud app create

Une invite s'affiche avec une liste de régions. Sélectionnez une région compatible avec l'environnement flexible App Engine pour Python. Pour en savoir plus sur les régions et les zones, cliquez ici.

Créer un bucket Storage

Tout d'abord, indiquez comme variable d'environnement CLOUD_STORAGE_BUCKET le nom de votre PROJECT_ID. (Il est généralement recommandé que le nom de votre bucket soit identique à celui de votre PROJECT_ID pour plus de commodité).

export CLOUD_STORAGE_BUCKET=${PROJECT_ID}

Notre application utilise un bucket Cloud Storage que vous devrez créer à partir de Cloud Shell avec un outil appelé gsutil. Exécutez la commande suivante, qui crée un bucket portant le même nom que votre PROJECT_ID.

gsutil mb gs://${PROJECT_ID}

Exécuter l'application

python main.py

Une fois l'application démarrée, cliquez sur l'icône Aperçu sur le Web  dans la barre d'outils Cloud Shell, puis choisissez "Preview on port 8080" (Prévisualiser sur le port 8080).

Un onglet s'ouvre dans votre navigateur et se connecte au serveur que vous venez de démarrer. L'écran qui s'affiche devrait ressembler à ce qui suit :

Essayez d'importer une photo contenant un visage humain. Cliquez sur le bouton Sélectionner un fichier, choisissez une image sur votre ordinateur, puis cliquez sur Envoyer.

Une fois la photo importée, un résultat semblable à ce qui suit va s'afficher :

Remarque  : Lorsque le test en local de votre application est terminé, appuyez sur Ctrl+C sur la ligne de commande Cloud Shell pour arrêter le serveur Web local.

Exemple de mise en page du code

L'exemple se présente de la façon suivante :

templates/
  homepage.html   /* HTML template that uses Jinja2 */
app.yaml          /* App Engine application configuration file */
main.py           /* Python Flask web application */
requirements.txt  /* List of dependencies for the project */

main.py

Ce fichier Python est une application Web Flask. L'application permet aux utilisateurs d'envoyer des photos (de préférence des visages), qui sont stockées dans Cloud Storage et analysées à l'aide de la fonctionnalité de reconnaissance faciale de l'API Cloud Vision. Les informations clés sur chaque photo sont stockées dans Datastore, la base de données NoSQL de Google Cloud Platform. Un utilisateur peut y accéder chaque fois qu'il visite le site Web.

Cette application utilise les bibliothèques clientes de Google Cloud Platform pour Storage, Datastore et Vision. Ces bibliothèques clientes facilitent l'accès aux API Cloud dans votre langage de programmation favori.

Jetons un coup d'œil à quelques extraits clés du code.

La section des importations en haut est l'endroit où nous importons les différents packages dont nous avons besoin pour notre code. Voici comment les bibliothèques clientes Google Cloud sont importées pour Datastore, Storage et Vision :

from google.cloud import datastore
from google.cloud import storage
from google.cloud import vision

Il s'agit du code qui décrit ce qui se passe lorsqu'un utilisateur visite l'URL racine du site Web. Nous créons un objet client Datastore, qui est utilisé pour accéder à la bibliothèque cliente Datastore. Nous exécutons ensuite une requête sur Datastore pour les entités de genre Faces. Enfin, nous affichons notre modèle HTML, en passant dans image_entities qui est extrait de Datastore en tant que variable.

@app.route('/')
def homepage():
    # Create a Cloud Datastore client.
    datastore_client = datastore.Client()

    # Use the Cloud Datastore client to fetch information from Datastore about
    # each photo.
    query = datastore_client.query(kind='Faces')
    image_entities = list(query.fetch())

    # Return a Jinja2 HTML template and pass in image_entities as a parameter.
    return render_template('homepage.html', image_entities=image_entities)

Examinons comment les entités sont enregistrées dans Datastore. Datastore est la solution de base de données NoSQL de Google Cloud. Les informations sont stockées dans des objets appelés entités. Chaque entité se voit attribuer une clé d'identification unique, qui peut être créée à l'aide d'un genre et d'une chaîne de nom de clé. Un genre est un bucket qui permet d'organiser les entités selon leur nature. Par exemple, vous pouvez définir des genres pour Photos, Contacts et Animaux.

Chaque entité peut avoir plusieurs propriétés définies par un développeur. Ces propriétés peuvent avoir des valeurs d'un certain nombre de types comme les nombres entiers, les nombres à virgule flottante, les chaînes, les dates ou les données binaires.

    # Create a Cloud Datastore client.
    datastore_client = datastore.Client()

    # Fetch the current date / time.
    current_datetime = datetime.now()

    # The kind for the new entity.
    kind = 'Faces'

    # The name/ID for the new entity.
    name = blob.name

    # Create the Cloud Datastore key for the new entity.
    key = datastore_client.key(kind, name)

    # Construct the new entity using the key. Set dictionary values for entity
    # keys blob_name, storage_public_url, timestamp, and joy.
    entity = datastore.Entity(key)
    entity['blob_name'] = blob.name
    entity['image_public_url'] = blob.public_url
    entity['timestamp'] = current_datetime
    entity['joy'] = face_joy

    # Save the new entity to Datastore.
    datastore_client.put(entity)

Les bibliothèques clientes Storage et Vision sont accessibles de manière automatisée, comme pour Datastore. Vous pouvez ouvrir le fichier main.py à l'aide de Vim, Emacs, ou nano pour découvrir tous les exemples de codes.

En savoir plus sur Flask à l'adresse http://flask.pocoo.org/

Pour en savoir plus sur les bibliothèques clientes, consultez https://googlecloudplatform.github.io/google-cloud-python/.

homepage.html

Le framework Web Flask utilise Jinja2 comme moteur de création de modèles. Cela permet de passer des variables et des expressions de main.py dans homepage.html, qui sont remplacées par des valeurs une fois la page affichée.

Apprenez-en plus sur Jinja2 à l'adresse http://jinja.pocoo.org/docs/2.9/templates/.

Ce modèle HTML Jinja2 affiche un formulaire permettant aux utilisateurs d'envoyer des photos à la base de données. Il affiche également chaque image envoyée avec le nom du fichier, la date ou l'heure de téléchargement et la probabilité que le visage détecté par l'API Vision soit content.

homepage.html

<h1>Google Cloud Platform - Face Detection Sample</h1>

<p>This Python Flask application demonstrates App Engine Flexible, Google Cloud
Storage, Datastore, and the Cloud Vision API.</p>

<br>

<html>
  <body>
    <form action="upload_photo" method="POST" enctype="multipart/form-data">
      Upload File: <input type="file" name="file"><br>
      <input type="submit" name="submit" value="Submit">
    </form>
    
  </body>
</html>

L'environnement flexible App Engine décrit la configuration de déploiement d'une application à l'aide du fichier app.yaml. Si ce fichier est absent, App Engine tente de déterminer la configuration de déploiement. Toutefois, nous vous recommandons de fournir ce fichier.

Vous allez ensuite modifier app.yaml à l'aide de l'éditeur de votre choix, vim, nano ou emacs. Nous allons utiliser l'éditeur nano :

nano app.yaml

app.yaml

runtime: python
env: flex
entrypoint: gunicorn -b :$PORT main:app

runtime_config:
    python_version: 3

env_variables:
    CLOUD_STORAGE_BUCKET: <your-cloud-storage-bucket>

Ce contenu indique la configuration de base nécessaire au déploiement d'une application Python 3 dans l'environnement flexible App Engine. Pour en savoir plus sur la configuration d'App Engine, cliquez ici.

Une fois le fichier app.yaml ouvert, remplacez < your-cloud-storage-bucket > par le nom de votre bucket Cloud Storage. (Si vous avez oublié le nom de votre bucket Cloud Storage, copiez l'ID de projet GCP depuis Qwiklabs, qui est le même.) La section env_variables définit des variables d'environnement qui seront utilisées dans le fichier main.py une fois l'application déployée.

Vous pouvez désormais enregistrer et fermer le fichier dans nano, en appuyant sur Ctrl + X. L'invite suivante s'affichera :

Lorsque l'invite suivante s'affiche, saisissez la lettre y, puis appuyez une nouvelle fois sur la touche ENTRÉE pour confirmer le nom du fichier :

Déployez votre application sur App Engine à l'aide de gcloud :

gcloud app deploy

Le premier déploiement peut prendre plusieurs minutes. En effet, l'environnement flexible App Engine provisionne automatiquement une machine virtuelle Google Compute Engine en arrière-plan, avant d'installer et de démarrer l'application. Si votre déploiement dépasse le délai, signalez-le au formateur.

Une fois l'application déployée, vous pouvez y accéder dans votre navigateur Web via l'URL https://< PROJECT_ID >.appspot.com.

Si vous avez oublié votre PROJECT_ID, exécutez gcloud config list project dans la ligne de commande Cloud Shell.

Résumé

Dans cette étape, vous allez configurer une application Web Python et la déployer dans l'environnement flexible App Engine.

Vous avez appris à créer et à déployer votre première application Web App Engine flexible.

Effectuer un nettoyage

Afin d'éviter que des frais ne soient facturés sur votre compte Google Cloud Platform pour les ressources utilisées dans ce démarrage rapide, procédez comme suit :

• Accédez à la console Cloud Platform.
• Sélectionnez le projet que vous souhaitez arrêter, puis cliquez sur "Supprimer" en haut de la page. Le projet est alors programmé pour suppression.

En savoir plus

• Python sur Google Cloud Platform : https://cloud.google.com/python/
• Documentation sur l'environnement flexible App Engine pour Python : https://cloud.google.com/appengine/docs/flexible/python/
• Documentation sur les bibliothèques clientes Python : Datastore, Storage et Vision
• Autres exemples de code Python : https://cloud.google.com/python/samples

Licence

Ce document est publié sous une licence Creative Commons Attribution 2.0 Generic.