|
ValidationTest |
|
ValidationTest |
Questions courantes ...
COMPATIBILITE
Peut-on migrer facilement vers une suite commerciale comme Test Director / Quality center, par exemple ?
TECHNIQUE DES MOTS-CLE (Keywords)
La technique par mots-clés est elle possible avec les outils ValidationTest.org ?
POSITIONNEMENT
Positionnement de ValidationTest vs produits commerciaux ?
ROBUSTESSE
Est-ce bien robuste ?
GAIN DE TEMPS
Gagne t-on vraiment du temps ?
COMPLEXITE
Est-ce complexe ?
ACCESSOIRES d'AUTOMATISATION
Ai-je les mêmes fonctions avec les fonctions d’Automatisation du Package ValidationTest qu’avec (par exemple) WinRunner© ?
ETAPES d'AUTOMATISATION
Quel est le principe général d'automatisation proposé ici ?
VIRUS
N'y a-t-il pas un virus dans l'un des outils ?
CONTENU
ValidationTest propose-t-il un service ? un logiciel ? ...
PROSELYTISME
Pourquoi les noms des entreprises utilisatrices ne sont-ils pas cités ?
LES TESTS LOGICIELS
ValidationTest.org est-il un site francophone sur les tests logiciels ?
LE NOM "ValidationTest"
ValidationTest est-il un nom exclusif ? (j'ai trouvé une classe java qui porte ce nom)
La gestion des EXIGENCES -
Réponses
Oui et non ...
Oui. C'est un peu son objet, mais pas seulement ! Le Package ValidationTest peut même se révéler supérieur dans certains aspects, comme la portabilité des scripts d'automatisation des tests.
Non ! Restons modestes ! C’est une solution opérationnelle pour tous ceux qui n’ont pas de système installé et c’est une solution évolutive. Si vous n’y connaissez rien ValidationTest est peut-être une solution idéale pour vous car il est simple, intuitif et gratuit … vous obtiendrez des résultats immédiats et peut-être migrerez vous vers une suite commerciale dans six mois ou quatre ans ?
Enfin, l'approche de type "Business Center" que propose le géant Mercury Interactive©® offre un service de très haut niveau très supérieur (principe des conceptions d'automatisations par mots-clé et système de gestion des exigences/besoins très puissant).
La migration se fera sans douleur vers tous les grands outils du marché. En effet, vos fiches de tests existantes s’intégreront facilement grâce aux utilitaires de migration (Office migration toolset). Quant à vos automatisations vous aurez deux stratégies possibles et tous les scripts s’importeront très aisément soit dans leur format natif (interprétés) soit sous forme d’exécutables, soit les deux.
Toutes les automatisations de tests que vous créerez avec les composants de ValidationTest seront pérennes, exploitables et maintenables !
Mieux ... dans certains cas vous préfèrerez automatiser avec notre outillage.
Comme les langages de script utilisés par les grands acteurs du marché depuis des années sont trop complexes pour être utilisés par des non-experts, les technico-commerciaux ont cherché de bonnes idées pour simplifier.
L'idée qui marche ... très à la mode en 2004 / 2005 c'est le "mot-clé".
On imagine une couche d'abstraction entre la vue de l'expert fonctionnel et celle du spécialiste de l'automatisation. Ce niveau d'abstraction fonctionne grâce à un langage commun entre les deux. Ce langage est basé sur des "keywords".
L'organisation ressemble alors à ceci : ...
Les flèches horizontales symbolisent les échanges sur les mots clés. De cette façon, les testeurs et experts fnctionnels peuvent intervenir sur les scripts d'automatisation des tests sans apprendre le langage et la technique requise.
L'outillage fourni par ValidationTest.org est bien entendu parfaitement compatible avec cette approche, MAIS ...
... mais ... ValidationTest.org propose autre chose en plus ...
Grâce à un ScriptWriter simple à utiliser et le LANGUAGE DE SCRIPTS D'AUTOMATISATION DES TESTS LE PLUS SIMPLE (AutoIt 2.64) les testeurs et experts fonctionnels peuvent se mêler de scripting et fabriquer eux mêmes leurs propres bouts d'automatisation. Il suffit d'un peu de goût pour la technique et d'un peu de patience pour apprendre.
Illusoire ?
Réfléchissez ... les promoteurs du système de keywords n'ont pas tort : les scripts, ce n'est pas tout simple ... mais quand même ! ... creusons un peu : ces promoteurs que vendent-ils ? de l'expertise ! C'est même ça leur produit phare et leur source de revenus. Le système des Keywords permet de vendre à coup sur de l'expertise ET d'impliquer directement leurs Clients dans la réalisation des automatisations. C'est du gagnant-gagnant : excellent modèle commercial.
Dans le monde du testware Empirix©® et Compuware©® (QA-Center©®) sont parmi les plus connus. Et pour automatiser les tests, les références sont Rational Robot©® et Mercury Interactive ©® (avec notamment Test Director©® et WinRunner©® / Quick Test Pro©® )
Le Package ValidationTest recouvre au moins deux catégories techniques d'outils selon le classement TestingFaq : 1° GUI-Test Tools et 2° Test Management tools.
Bien entendu, Le Package ValidationTest ne remplace pas "tout !" mais dans son domaine il permet de faire un travail d'excellente qualité. Si vos budgets ne sont pas illimités pourquoi les dépenser dans des licences payantes et des formations dispendieuses alors que vous pouvez faire aussi bien gratuitement ?
Questions sur les performances
Oui. Les deux pivots du Package ValidationTest : AutoIt et TCM ne sont pas récents.
• AutoIt existe depuis plus de cinq ans et a fait la preuve de sa solidité au sein d'une communauté très active.
• Quant à TCM, sa solidité est celle de MS-Access qui, au fil des versions 97, 2000, 2002 et XP est devenu pratiquement irréprochable en matière de stabilité.
Enfin, ces deux outils sont OPEN SOURCE. Non seulement c'est un gage décisif de fiabilité, mais vous pouvez donc les modifier vous-même et corriger ce qui vous déplaît.
Enfin, last but not least, nous exploitons cet outillage depuis plusieurs années dans des contextes d'entreprise très variés, au cours de missions en assistance, où le droit à l'erreur n'existe pas.
Enfin, notons que JPG, contributeur du site déclare : « Quand je démarre une mission d'assistance à Maîtrise d'Ouvrage et que je constate au bout d'une semaine de contact que 500 fiches de tests sont à créer rapidement, je ne peux pas me permettre d'orienter mon Client vers un outil de management des tests qui va planter à la fiche n° 450 ; si c'était le cas, ma mission s'arrèterait. Ni plus, nin moins.»
Mark Haring, contributeur canadien intervenant comme consultant/tests sur six compagnies québecoises voit la réutilisation comme premier critère de gains : « En d’autres termes, nous avons choisi des outils qui nous permettent de stocker les tests pratiqués pour les réutiliser plus tard. Grâce à cette réutilisation autorisée par ValidationTest, nous gagnons considérablement en réactivité et en souplesse. Aujourd’hui, le nombre de nouveaux tests créés est en diminution constante tandis que la réutilisation de ceux qui existent déjà ne cesse d’augmenter. En d’autres termes, nous capitalisons vraiment sur nos acquis ».
Au-delà de la réutilisation, tout le monde s’accorde pour penser que l’automatisation constitue le second pôle d’économies : on robotise progressivement tout ce qui se répète de façon récurrente. La structuration des tests est le troisième axe d’économies : gérer ses tests, c’est s’y retrouver facilement, y compris pendant la recette fonctionnelle prprement dite … il n’y a plus ni tests oubliés, ni tests redondants (c’était là le double défaut traditionnel des Maîtrises d’Ouvrage qui se lancaient dans leurs tests au dernier moment).
Seulement si vous improvisez la découverte et prise en mains. Non, si vous suivez la démarche de prise en main. Il suffit d'avancer progessivement en suivant les indications du site et (mieux) des manuels du CD-Rom full-edition.
Non, certaines fonctions n’existent pas mais il s’agit bien de fonctions périphériques. Par contre le noyau fonctionnel est bel et bien assuré dans ValidationTest. On dispose bien d’un langage de script simple, robuste et efficace. Par contre pas de fonction “Screen Shot Capture” ou “Email Notifications” en standard. C’est faisable et facile à mettre en place … mais avant tout réfléchissez : avez-vous vraiment besoin de recevoir des mails quand un test échoue ?
Mais ce qui fait la force de l'offre ValidationTest.org c'est justement son extrème simplicité. Grâce notamment à AutoIt 2.64 vous pouvez créer des scripts efficaces, rejouables, maintenables, évolutifs sans avoir besoin de maîtriser le langage "C++".
En outre si vous voulez des fonctions complexes, la version full du Package ValidationTest inclut un script/module de capture écran et l’outillage « sendmail » ... ce sont là des options.
L'automatisation se fait en plusieurs étapes très simples. Vous pouvez ensuite sophistiquer votre automatisation si vous estimez que c'est nécessaire.
• ETAPE 1 : CREATION ... J'enregistre mes actions de tests (saisies, validations, etc ...). Pour cela, je me sers d'un petit logiciel appelé "ScriptWriter". Il va traduire tout ce que je vais en instructions simples que je vais ensuite pouvoir lire et modifier si besoin. Quand j'ai fini, j'enregistre.
• ETAPE 2 : CONSOLIDATION ... Je vérifie, je corrige, j'adapte. Comme mon script est lisible, je l'essaie et je l'améliore si besoin. Quand j'ai fini, j'enregistre la version définitive. Pour réussir des consolidations rapidement je dispose de "templates" : des modèles faciles à exploiter qui font gagner du temps, par exemple pour automatiser les "OK - KO" ou la création de traces.
• ETAPE 3 : EXECUTION ... Quand j'ai besoin de tester, au-lieu de faire mes actions de tests à la main, il me suffit de lancer mon script. Tout se passe comme si un robot exécutait les saisies à ma place.
... Voilà pour le principe. Bien entendu, il faut un peu de métier à chacune de ces trois étapes pour garantir que cela va être vraiment très productif.
Pour mesurer vos gains de productivité, comptez le temps passé et dites vous qu'en moyenne l'étape 1 coûte 10 fois le temps d'exécution manuel et l'étape 2 coûte 3 à 5 fois plus.
Par exemple, si un écran réclame 1 minute de saisies, la création du script coûtera 10 minutes et la consolidation (passage à un script industriel) vous amènera à une dépense de 30 à 50 minutes.
Si vous y passez plus de temps, il y a un problème :
- soit vous essayez des automatisations trop complexes
- soit vous investissez trop dans le "joli"
- soit l'offre de ValidationTest n'est pas adaptée pour vous
EN RESUME
Test manuel ---> Automatisation ---> Automatisation ---> Test automatisé
ETAPE 1 ETAPE 2 ETAPE 3
CREATION CONSOLIDATION EXECUTION
Temps dépensé :
1 minute ---> 10 minutes ---> 30 à 50 minutes ---> 0 min. à 0,1 minute
Oui et non.
• OUI : Vous allez bien entendu pouvoir créer facilement des automatisations efficaces en respectant quelques règles simples et en faisant preuve d'un peu de méthode. Vous devrez vous investir un peu au début dans la manipulation des outils. Vous ne devrez pas placer la barre trop haut : par exemple, vouloir automatiser une procédure métier qui comporte quinze minutes de saisies écran.
• NON : Le métier voulu pour atteindre une haute productivité est bien plus méthodologique que technico-informatique. En clair, l'atteinte d'une bonne productivité doit beaucoup plus à l'expérience, à la formation et à la méthodologie qu'au choix de tel outil d'automatisation plutôt que tel autre. Mais "Test Engeener" est en soi un métier, lui même compartimenté en plusieurs spécialités pointues ; il s'agit en l'occurrence d'automatisation des tests fonctionnels. Une bonne culture informatique sert à consolider les scripts et s'avère indispensable pour en manager l'exécution. La connaissance fonctionnelle, bien que nécessaire, n'est pas suffisante.
En conclusion, vous allez très vite créer vous-même une myriade de petits srcipts très efficaces et immédiatement opérationnels qui vous feront gargner beaucoup de temps. Mais pour gagner énormément de temps et de façon très systématique, vous aurez besoin d'un bon spécialiste en automatisation des tests fonctionnels.
Pour créer un script d'automatisation on enregistre les actions clavier et souris. Le programme qui fait cela s'appelle un keylogger. Il y en a un appelé "Thehook.dll" qui se trouve dans SriptWriter_II.
Ce composant, tel qu'il est dans le Scriptwriter est absolument innocent et sans danger, mais certains éditeurs d'antivirus s'entêtent à le repérer comme suspect malgré tous nos efforts.
Par exemple chez Symanytec ... http://securityresponse.symantec.com/avcenter/venc/data/spyware.ikiteckl.html
Vous lirez sur cette page, grâce aux instructions de désinstallation, comment quand il s'agit vraiment d'un virus cela se loge sur l'ordinateur. Vous pourrez donc vérifier grâce aux instructions de désinfection que le trojan suspecté ne s'installe en fait pas du tout. Bref ! IL N'Y A PAS DE VIRUS ... VOTRE ANTIVIRUS EST UN PEU TROP PARANOIAQUE il en fait un peu trop.
Pourquoi ???
A la décharge des éditeurs d'antivirus, retenons qu'il existe bien un "cousin" keylogger malicieux qui peut espionner ce qui se fait sur votre ordinateur à votre insu. En effet, le code de TheHook.dll est libre. Des petits malins ont intégré ce code dans un logiciel espion. Nous, dans un générateur de code d'automatisation des tests. Chacun son truc !
ValidationTest ne propose pas un développement logiciel particulier mais un assemblage "qui marche", c'est à dire utilisé et vérifié sur de nombreuses configurations et environnements. Cet assemblage est dédié à une activité bien précise : la recette fonctionnelle applicative (ou tests de recette). Ce qu'on trouve sur ValidationTest ne se limite toutefois pas à une simple liste de logiciels. Outre une sélection très ciblée de logiciels ValidationTest propose :
- le paramètrage de ces logiciels adapté à l'utilisation spécifique prévue ici
- des templates ou modèles (code vide de fonctionnalités, structures)
- les modes d'emploi, how-to, guides, manuels
- des patchs correctifs ou adaptatifs (pour TCM97 et 2000 toutes versions)
- du code source réutilisable (des scripts originaux : code source *.aut) et des exemples
- une adhésion à la communauté ValidationTest.org (donne droit à l'obtention du CD "full edition")
Enfin, ValidationTest se veut pleinement francophone. Cela signifie que beaucoup d'éléments sont traduits (tout ce qui à nos yeux en valait la peine a été traduit).
Pour des raisons de confidentialité les noms des entreprises ne sont pas cités. Si nous étions une entreprise commerciale, nous le ferions. Cela justifierait un effort de correspondance et un travail juridique afin de faire cette forme de promotion. Mais nous ne sommes qu'une petite association de passionnés et le prosélytisme n'est vraiment pas notre but principal.
Le sujet "test logiciel" est vaste.
ValidationTest.org "cible" uniquement l'industrialisation des tests de validation fonctionnelle. C'est donc bien un site sur les tests, mais une partie bien précise seulement. Toutefois, la page des liens permet d'en savoir plus sur d'autres sujets comme les tests unitaires, les tests en environnement unix/linux, les tests de stress et les tests de charge, etc ...
ValidationTest est un nom donné à une classe java, à un composant J Unit et à bien d'autres choses encore ... Il suffit de faire une recherche sur le web avec juste "validationtest" pour constater qu'il y a beaucoup de résultats.
Nous pensons qu'IL Y A DE LA PLACE POUR TOUT LE MONDE.
Consultez la page "We are NOT ..." pour retrouver une sélection des résultats les plus intéressants sur tout ce qui parle de validationtest, mais SANS RAPPORT AVEC NOUS : ValidationTest.org
Il y a Extended Test Plan.(ou XTP) ... Excellent outil qu'il faut mettre en oeuvre en lieu et place de TCM. Vous pourrez alors avec un même outil gérer 1° les exigences - 2° les tests - 3° les anomalies (et en plus, ça a été créé par un Toulousain).
Gérer les exigences permet de concevoir vos tests en partant des besoins ou des exigences, telles qu'on les exprime en Maîtrise d'Ouvrage.
Classiquement, les exigences sont :
Davantage d'informations sur Extended Test Plan ...
Autres questions ...
