2. EPMO Open Source Coordination Office Redaction File Detail Report

Produced by Araxis Merge on 3/31/2017 1:06:27 PM Central Daylight Time. See www.araxis.com for information about Merge. This report uses XHTML and CSS2, and is best viewed with a modern standards-compliant browser. For optimum results when printing this report, use landscape orientation and enable printing of background images and colours in your browser.

2.1 Files compared

# Location File Last Modified
1 EPIP_submissions.zip\EPIP_submissions\docs\GMRC_3.0_89 EPIP_Test_Evaluation_(GMRC_3.0_89).docx Fri Mar 31 16:50:12 2017 UTC
2 EPIP_submissions.zip\EPIP_submissions\docs\GMRC_3.0_89 EPIP_Test_Evaluation_(GMRC_3.0_89).docx Fri Mar 31 17:47:48 2017 UTC

2.2 Comparison summary

Description Between
Files 1 and 2
Text Blocks Lines
Unchanged 4 574
Changed 0 0
Inserted 0 0
Removed 3 3

2.3 Comparison options

Whitespace
Character case Differences in character case are significant
Line endings Differences in line endings (CR and LF characters) are ignored
CR/LF characters Not shown in the comparison detail

2.4 Active regular expressions

No regular expressions were active.

2.5 Comparison detail

  1   Existing P roduct Int ake Progra m (EPIP)
  2   Patch GMRC *3.0*89
  3   Test Evalu ation
  4  
  5  
  6  
  7   Department  of Vetera ns Affairs
  8   March 2017
  9   Version 1. 0
  10  
  11  
  12  
  13   Revision H istory
  14   Note: The  revision h istory cyc le begins  once chang es or enha ncements a re request ed after t he Communi cations Pl an has bee n baseline d.
  15   Date
  16   Version
  17   Descriptio n
  18   Author
  19   03/21/2017
  20   1.0
  21   Initial do cument.
  22   EPIP Proje ct Team
  23  
  24   Artifact R ationale
  25   The test e valuation  document i s the prim ary output  of the te st and eva luation pr ocess, an  integral p art of the  systems e ngineering  process,  which iden tifies lev els of per formance a nd assists  the devel oper in co rrecting d eficiencie s. 
  26   Table of C ontents
  27   1.Test Eva luation In troduction 1
  28   1.1.Test E valuation  Scope1
  29   1.2.Test A rchitectur e1
  30   1.3.Test E nvironment /Configura tion1
  31   1.4.Instal lation Pro cess2
  32   2.Test Dat a2
  33   3.Issues2
  34   4.Test Exe cution Log 2
  35   5.Test Def ect Log3
  36   6.Test Res ults Summa ry3
  37   6.1.Defect  Severity  and Priori ty Levels3
  38   6.2.Total  Defects by  Severity  Level4
  39   6.3.Breakd own of Tes t Results4
  40   6.4.Perfor mance Test ing4
  41   7.Test Cov erage4
  42   7.1.Requir ements Cov ered4
  43   7.2.Sectio n 508 Comp liance Cov erage4
  44   8.Suggeste d Actions5
  45   9.Defect S everity an d Priority  Definitio ns5
  46   9.1.Defect  Severity  Level5
  47   9.1.1.Seve rity Level  1 – Criti cal5
  48   9.1.2.Seve rity Level  2 - High5
  49   9.1.3.Seve rity Level  3 - Mediu m6
  50   9.1.4.Seve rity Level  4 - Low6
  51   9.2.Priori ty Classif ications6
  52   9.2.1.Prio rity 1 - R esolve Imm ediately6
  53   9.2.2.Prio rity 2 - G ive High A ttention7
  54   9.2.3.Prio rity 3 - N ormal Queu e7
  55   9.2.4.Prio rity 4 - L ow Priorit y7
  56   10.Optiona l Tables,  Charts, an d Graphs7
  57   11.Documen t Approval  Signature s8
  58   Appendix A  - Test Ex ecution Lo g9
  59   Appendix B  – Defect  Log10
  60  
  61   Test Evalu ation Intr oduction
  62   The purpos e of this  Test Evalu ation is t o:
  63   Identify t he testing  approach  used.
  64   Present a  summary an alysis of  the key te st results  from the  remediatio n of this  intake for  review an d assessme nt by desi gnated sta keholders.
  65   Provide a  general st atement of  the quali ty of the  system und er test.
  66   Make recom mendations  for futur e testing  efforts.
  67   Test Evalu ation Scop e
  68   The scope  of this Te st Evaluat ion is to  verify the  functiona lity of th e Patch GM RC*3.0*89  code modif ication, a s determin ed by Func tional, Co mponent In tegration/ System, an d Regressi on testing . Testing  activities  followed  the specif ications o utlined in  the follo wing Maste r Test Pla n: GMRC*3. 0*89 Maste r Test Pla n (include d in Appen dix A).
  69   Test Archi tecture
  70   Following  are the EP IP test ac counts use d by the L eidos Deve lopment an d SQA Test ing teams  to test GM RC*3.0*89.
  71   Developmen t Test Acc ounts 
  72   (For Unit  Testing)
  73   SQA Test A ccounts 
  74   (For Funct ional, Reg ression, a nd Compone nt Integra tion and S ystem Test ing)
  75   VistAS1 (  alternate  name: D1S1 )
  76   VistAG1 (a lternate n ame: D1G1)  
  77   VistAS2 (a lternate n ame: D1S2)  –for CPRS  GUI testi ng only
  78   VistAG2 (a lternate n ame: D1G2)  –for CPRS  GUI testi ng only
  79   Test Envir onment/Con figuration
  80   The EPIP t est accoun ts are mai ntained by  the EPIP  System Adm inistrator , who inst alls all V A-released  patches a s soon as  they are n ationally  released.  All EPIP t est accoun ts are clo ned from e xisting VA  Enterpris e Testing  Services ( ETS) test  accounts.  The Comput erized Pat ient Recor d System ( CPRS) Grap hical User  Interface  (GUI) exe cutable is  configure d for each  VistA ins tance util izing a un ique Inter net Protoc ol (IP) ad dress to c onnect to  the VistA  applicatio ns. Any up dates to t he CPRS GU I executab le are han dled by th e EPIP Sys tem Admini strator.
  81   All EPIP T est Engine ers and De velopers w ho have th e proper c redentials  can acces s the test  accounts.  The VA Au stin Infor mation Tec hnology Ce nter (AITC ) support  team reset s password s and sets  up new ac cess crede ntials on  an as-need ed basis.
  82   Installati on Process
  83   As soon as  the remed iation pro cess is co mplete and  the patch  is availa ble for te sting, a K IDS build  is created  in the De velopment  account an d then sen t to FORUM  for final  packaging . The patc h is then  submitted  to the VA  SQA Lead’s  Mailman a ccount for  installat ion. 
  84   An EPIP De veloper or  Test Engi neer utili zes the KI DS Install ation proc ess to ext ract the b uild from  the patch  and instal l the buil d into a t est accoun t. The ind ividual wh o installs  the patch  verifies  the routin e checksum s and also  checks fo r errors d uring the  installati on process . If the p atch is su ccessfully  installed  without a ny errors,  then the  EPIP Test  team proce eds with F unctional,  Regressio n, and Com ponent Int egration a nd System  testing. I f defects  are found,  then the  Developmen t team wor ks to find  a resolut ion and cr eates new  versions o f the patc h until al l defects  are resolv ed.
  85   Test Data
  86   The SQA Te sting team  utilizes  the test d ata in the  designate d test acc ounts (D1G 1, D1G2).
  87   The test d ata is enc rypted fol lowing the  standards  set forth  by the VA  Office of  Informati on & Techn ology (OI& T). All Pe rsonally I dentifiabl e Informat ion (PII)  and Protec ted Health  Informati on (PHI) i s scrubbed  and is no t availabl e to the T est Engine ers.
  88   All testin g is execu ted using  encrypted  test patie nts availa ble from a ny of the  EPIP test  accounts.  Examples o f encrypte d test pat ients:
  89   AAAHURMMX,  XPHY
  90   BADHB, HAA DXS
  91   FDHUX, YHI  J
  92   All tests  were execu ted manual ly by EPIP  Test Engi neers.
  93   Issues
  94   No issues  were encou ntered dur ing testin g of GMRC* 3.0*89.
  95   Title
  96   Issue Desc ription
  97   Type
  98   Severity
  99   N/A
  100   N/A
  101   N/A
  102   N/A
  103   Test Execu tion Log
  104   The Test E xecution L og records  the execu tion of te st scripts  and docum ents the t est result s for each  test scri pt. 
  105   The SQA Te sting team  utilizes  the Ration al Quality  Manager ( RQM) tool  for all te sting acti vities. Al l test doc uments are  stored in  the EPIP  repository , includin g the Mast er Test Pl an, Test S uites, Tes t Cases, a nd Test Sc ripts. Tes t executio n is perfo rmed, and  test resul ts recorde d, in RQM.  The Test  Engineer a dds the te st results  to the Te st Executi on records  to indica te whether  testing a chieved Pa ss or Fail  status.
  106   The Test E xecution r ecords for  GMRC*3.0* 89 are inc luded in t he EPIP Pa tch GMRC*3 .0*89 Mast er Test Pl an. The Ma ster Test  Plan is av ailable in  Appendix  A. 
  107   Test Defec t Log
  108   The Test D efect Log  is a tool  for record ing, analy zing, trac king, and  documentin g the clos ure of def ects. It s pecifies t he screen,  field, be havior or  result tha t occurred , and the  IEEE-defin ed Severit y Level. I t includes  enough in formation  for the de veloper to  find and  re-create  the defect . The Defe ct Log is  available  in Appendi x B.
  109   Test Resul ts Summary
  110   SQA testin g for this  intake st arted in t he Dev1 Go ld1 test e nvironment  on Februa ry 16, 201 7 and ende d on March  17, 2017.  Test vers ion 1 was  presented  during the  EPIP inte rnal demon stration a nd one (1)  defect wa s noted at  that time . The defe ct was det ermined to  be relate d to the F ileMan app lication,  to be reso lved with  a FileMan  patch. Thi s version  was not fo rmally tes ted due to  the defec t identifi ed during  the demons tration an d was retu rned to De velopment  for code m odificatio ns.
  111   Test versi on 2 was s ubmitted t o SQA on F ebruary 16 , 2017. Th is version  corrected  the confi guration c heck logic . Test ver sion 2 was  not forma lly tested , as Test  version 3  was receiv ed soon af ter. 
  112   Test versi on 3 was i nstalled i n the Dev1 Gold1 test  environme nt on Febr uary 20, 2 017 after  Unit testi ng was com pleted in  Dev1 Silve r1. This v ersion pro vided addi tional mod ifications  to the co nfiguratio n check lo gic. Upon  completion  of Integr ation test ing (Compo nent Integ ration and  System Te sting, Fun ctional Te sting, and  Regressio n Testing) , one (1)  defect was  found and  reported.  
  113   Test versi on 4 was i nstalled i n the Dev1  Gold1 tes t environm ent on Feb ruary 28,  2017 after  Unit test ing was co mpleted in  Dev1 Silv er1. This  version in cluded upd ates to ad dress the  Integratio n Registry  Control n eeded for  this patch . Upon com pletion of  Integrati on testing  (Componen t Integrat ion and Sy stem Testi ng, Functi onal Testi ng, and Re gression T esting), z ero (0) de fects were  found and  reported.
  114   Test versi on 5 was i nstalled i n the Dev1  Gold1 tes t environm ent on Mar ch 8, 2017  after Uni t testing  was comple ted in Dev 1 Silver1.  The EPIP  Developmen t team cre ated Test  version 5  to add the  FileMan p atches req uired to r esolve the  defect fo und during  the inter nal demo ( Test versi on 1). Upo n completi on of Inte gration te sting (Com ponent Int egration a nd System  Testing, F unctional  Testing, a nd Regress ion Testin g), zero ( 0) defects  were foun d and repo rted. 
  115   Defect Sev erity and  Priority L evels
  116   A defect i s defined  as a flaw  in a compo nent or sy stem that  can cause  the compon ent or sys tem to fai l to perfo rm its req uired func tion, e.g. , an incor rect state ment or da ta definit ion. A def ect, if en countered  during exe cution, ma y cause a  failure of  the compo nent or sy stem. 
  117   Defects ar e categori zed accord ing to sev erity and  priority l evels. The  test anal yst assign s the seve rity, whil e the deve lopment ma nager assi gns the pr iority for  repair. F or more in formation,  see Defec t Severity  and Prior ity Defini tion in th is Test Ev aluation.
  118   Total Defe cts by Sev erity Leve l
  119   The Defect  Log in Ap pendix B d isplays th e defects  encountere d while te sting this  patch, an d the seve rity level  of each.
  120   Breakdown  of Test Re sults
  121   Testing wa s complete d on March  17, 2017.  All test  results we re recorde d in RQM.  Detailed r esults are  available  in the EP IP Patch G MRC*3.0*89  Master Te st Plan (s ee Appendi x A).
  122   Performanc e Testing
  123   Performanc e testing  was not co nducted.
  124   Test Cover age
  125   The EPIP P atch GMRC* 3.0*89 Mas ter Test P lan contai ns details  on test c overage (s ee Appendi x A).
  126   Requiremen ts Covered
  127   The requir ements for  GMRC*3.0* 89 are sto red in the  Rational  Dynamic Ob ject Orien ted Requir ements Sys tem (DOORS ). The tes t cases us ed to vali date that  the requir ements hav e been add ressed are  stored in  RQM and a re linked  to the req uirements,  providing  full trac eability.  The user s tories sto red in the  Rational  Change and  Configura tion Manag ement (CCM ) applicat ion (a.k.a . Rational  Team Conc ert (RTC))  are linke d to the r equirement s and test  cases. 
  128   The follow ing links  provide ac cess to th e various  EPIP repos itories in  the Ratio nal toolki t.
  129   EPIP (RM)  – Go to Ar tifacts, t hen Browse  Artifacts , and then  search fo r the desi red patch  number. Th e patch fo lder conta ins the re quirements  for that  patch.
       
  130   EPIP (QM)  – Go to Pl anning, th en Browse  Test Plans , and then  search fo r the desi red Master  Test Plan . The Mast er Test Pl an and tes t cases ar e linked t o requirem ents.
       
  131   EPIP (CM)  – Go to Pl ans, then  All Plans,  and then  search for  the desir ed sprint  Plan. The  user stori es in each  Plan are  linked to  requiremen ts and tes t cases.
       
  132   Section 50 8 Complian ce Coverag e
  133   Section 50 8 testing  was not re quired for  this patc h.
  134   Suggested  Actions
  135   Leidos rec ommends mo ving this  patch to I OC testing .
  136   Defect Sev erity and  Priority D efinitions
  137   The classi fication o f defects  within a s ystem exam ines both  the severi ty and pri ority of t he defect.  
  138   Severity i s a measur e of how g reat the i mpact is o n the user ’s ability  to comple te the doc umented ac tions with in the sys tem. 
  139   Priority d etermines  the speed  with which  a given d efect must  be repair ed. 
  140   Defect cla ssificatio n may be d etermined  either bec ause testi ng is dela yed by a f ailure in  the system  or becaus e a cumber some worka round prev ents a use r from com pleting th e assigned  tasks. Bo th severit y and prio rity measu res must b e recorded  when sche duling def ect resolu tion tasks .
  141   Defect Sev erity Leve l
  142   The follow ing subsec tions iden tify the d efect seve rity level s.
  143   Severity L evel 1 – C ritical
  144   Institute  of Electri cal and El ectronics  Engineers  (IEEE) def inition: T he defect  results in  the failu re of the  complete s oftware sy stem, of a  subsystem , or of a  software u nit (progr am or modu le) within  the syste m.
  145   Any defect  that comp romises pa tient safe ty or syst em securit y. Example s of syste m security  defects i nclude bre ach of con fidentiali ty require ments of t he Privacy  Act, the  Health Ins urance Por tability a nd Account ability Ac t (HIPAA),  or Federa l Tax Info rmation gu idelines.
  146   Loss of sy stem funct ionality c ritical to  user oper ations wit h no suita ble workar ound, i.e. , there is  no way to  achieve t he expecte d results  using the  applicatio n.
  147   System cra sh or hang  that prev ents furth er testing  or operat ion of the  complete  applicatio n or a sec tion of th e applicat ion.
  148   Any defect  that caus es corrupt ion of dat a from a r esult of t he system  (as oppose d to user  error).
  149   Any defect  in which  inappropri ate transm issions ar e consiste ntly gener ated or ap propriate  transmissi ons of HL7  messages  fail to be  generated .
  150   Loss of fu nctionalit y resultin g in erron eous eligi bility/enr ollment de terminatio ns or comm unications  not being  sent.
  151   Severity L evel 2 - H igh 
  152   IEEE defin ition: The  defect re sults in t he failure  of the co mplete sof tware syst em, of a s ubsystem,  or of a so ftware uni t (program  or module ) within t he system.  There is  no way to  make the f ailed comp onent(s) f unction. H owever, th ere are ac ceptable p rocessing  alternativ es which w ill yield  the desire d result.
  153   A major de fect in th e function ality that  does not  result in  corruption  of data.
  154   A major de fect in th e function ality resu lting in a  failure o f all or p art of the  applicati on, where:  
  155   The expect ed results  can tempo rarily be  achieved b y alternat e means. T he custome r indicate s the work  around is  acceptabl e for the  short term .
  156   Any defect  that does  not confo rm to Sect ion 508 st andards.
  157   Any defect  that resu lts in ina ccurate or  missing r equirement s.
  158   Any defect  that resu lts in inv alid authe ntication  or authent ication of  an invali d end user .
  159   Severity L evel 3 - M edium 
  160   IEEE defin ition: The  defect do es not res ult in a f ailure, bu t causes t he system  to produce  incorrect , incomple te, or inc onsistent  results, o r the defe ct impairs  the syste ms usabili ty.
  161   Minor func tionality  is not wor king as in tended and  a workaro und exists  but is no t suitable  for long  term use
  162   The inabil ity of a v alid user  to access  the system  consisten t with gra nted privi leges
  163   Typographi cal or gra mmatical e rrors in t he applica tion, incl uding inst allation g uides, use r guides,  training m anuals, an d design d ocuments
  164   Any defect  producing  cryptic,  incorrect,  or inappr opriate er ror messag es
  165   Any defect  that resu lts from t he use of  non-standa rd data te rminology  in the app lication o r document ation, as  defined by  the Depar tment of V eterans Af fairs 
  166   Cosmetic i ssues that  are impor tant to th e integrit y of the p roduct, bu t do not r esult in d ata entry  and or dat a quality  problems.
  167   Severity L evel 4 - L ow 
  168   IEEE defin ition: The  defect do es not cau se a failu re, does n ot impair  usability,  and the d esired pro cessing re sults are  easily obt ained by w orking aro und the de fect.
  169   Minor loss  of, or de fect in th e function ality wher e a long t erm use ex ists
  170   Low-level  cosmetic i ssues.
  171   Priority C lassificat ions
  172   The follow ing subsec tions iden tify the a ppropriate  actions f or defects  at each p riority le vel, per d efinitions  of IEEE.
  173   Priority 1  - Resolve  Immediate ly
  174   Further de velopment  and/or tes ting canno t occur un til the de fect has b een repair ed. The sy stem canno t be used  until the  repair has  been affe cted.
  175   Priority 2  - Give Hi gh Attenti on
  176   The defect  must be r esolved as  soon as p ossible be cause it i s impairin g developm ent and/or  testing a ctivities.  System us e will be  severely a ffected un til the de fect is fi xed. 
  177   Priority 3  - Normal  Queue
  178   The defect  should be  resolved  in the nor mal course  of develo pment acti vities. It  can wait  until a ne w build or  version i s created.  
  179   Priority 4  - Low Pri ority
  180   The defect  is an irr itant that  should be  repaired,  but can b e repaired  after mor e serious  defects ha ve been fi xed. 
  181   Optional T ables, Cha rts, and G raphs
  182   None.
  183   Document A pproval Si gnatures
  184  
  185   Signed: __ __________ __________ __________ __________ __________ __________ _________ 
  186   Program/Pr oject Mana gerDate
  187  
  188   Signed: __ __________ __________ __________ __________ __________ __________ _________ 
  189   Business S ponsor Rep resentativ eDate
  190  
  191   Signed: __ __________ __________ __________ __________ __________ __________ _________ 
  192   Test LeadD ate
  193  
  194   Appendix A  - Test Ex ecution Lo g
  195   The Test E xecution R ecords for  GMRC*3.0* 89 are inc luded in t he EPIP Pa tch GMRC*3 .0*89 Mast er Test Pl an.
  196  
  197  
  198   Appendix B  – Defect  Log
  199   Two (2) de fects were  found dur ing testin g of GMRC* 3.0*89. Al l defects  have been  resolved.
  200   Note: Test  version 2  is not in cluded in  this table  since it  was not te sted.
  201   Defect ID
  202   Affected S creen
  203   Affected F ield
  204   Observed B ehavior
  205   Severity
  206   Descriptio n
  207   480615
  208   Consult Cl osure for  Patient In fo is disp laying on  a separate  page
  209   Consult Cl osure Scre en in Vist A
  210   Potential  Patient Sa fety issue
  211   High
  212   One (1) de fect was i dentified  during the  EPIP inte rnal demon stration f or patch G MRC*3.0*89 .
  213   *This was  identified  in Test v ersion 1.0 .
  214   N/A
  215   N/A
  216   N/A
  217   N/A
  218   N/A
  219   No defects  were foun d during U nit Testin g of versi on 3.0.
  220   N/A
  221   N/A
  222   N/A
  223   N/A
  224   N/A
  225   No defects  were foun d during C omponent I ntegration /Systems T esting of  version 3. 0.
  226   N/A
  227   N/A
  228   N/A
  229   N/A
  230   N/A
  231   No defects  were foun d during R egression  Testing of  version 3 .0.
  232   477206
  233   Consult Cl osure Brow ser area s hortened b y 2 lines  in Screen  display
  234   Consult Cl osure Scre en in Vist A
  235   N/A
  236   Medium
  237   One (1) de fect was f ound durin g Function al Testing  of versio n 3.0.
  238   N/A
  239   N/A
  240   N/A
  241   N/A
  242   N/A
  243   No defects  were foun d during U nit Testin g of versi on 4.0.
  244   *Test vers ion 4 was  created to  address t he updates  to the IC Rs require d for this  patch.
  245   N/A
  246   N/A
  247   N/A
  248   N/A
  249   N/A
  250   No defects  were foun d during C omponent I ntegration /Systems T esting of  version 4. 0.
  251   N/A
  252   N/A
  253   N/A
  254   N/A
  255   N/A
  256   No defects  were foun d during R egression  Testing of  version 4 .0.
  257   N/A
  258   N/A
  259   N/A
  260   N/A
  261   N/A
  262   No defects  were foun d during F unctional  Testing of  version 4 .0.
  263   N/A
  264   N/A
  265   N/A
  266   N/A
  267   N/A
  268   No defects  were foun d during U nit Testin g of versi on 5.0.
  269   *Test Vers ion 5.0 wa s created  to include  the code  needed for  the FileM an patch u pdates.
  270   N/A
  271   N/A
  272   N/A
  273   N/A
  274   N/A
  275   No defects  were foun d during C omponent I ntegration /Systems T esting of  version 5. 0.
  276   N/A
  277   N/A
  278   N/A
  279   N/A
  280   N/A
  281   No defects  were foun d during R egression  Testing of  version 5 .0.
  282   N/A
  283   N/A
  284   N/A
  285   N/A
  286   N/A
  287   No defects  were foun d during F unctional  Testing of  version 5 .0.