7. EPMO Open Source Coordination Office Redaction File Detail Report

Produced by Araxis Merge on 10/9/2018 3:32:26 PM Central Daylight Time. See www.araxis.com for information about Merge. This report uses XHTML and CSS2, and is best viewed with a modern standards-compliant browser. For optimum results when printing this report, use landscape orientation and enable printing of background images and colours in your browser.

7.1 Files compared

# Location File Last Modified
1 XU_8.0_703_Oct_2018.zip\Unredacted EPIP_Test_Evaluation_(XU_8.0_703).docx Tue Oct 9 14:49:07 2018 UTC
2 XU_8.0_703_Oct_2018.zip\Unredacted EPIP_Test_Evaluation_(XU_8.0_703).docx Tue Oct 9 18:59:41 2018 UTC

7.2 Comparison summary

Description Between
Files 1 and 2
Text Blocks Lines
Unchanged 6 446
Changed 5 16
Inserted 0 0
Removed 0 0

7.3 Comparison options

Whitespace
Character case Differences in character case are significant
Line endings Differences in line endings (CR and LF characters) are ignored
CR/LF characters Not shown in the comparison detail

7.4 Active regular expressions

No regular expressions were active.

7.5 Comparison detail

  1   Existing P roduct Int ake Progra m (EPIP)
  2   Patch XU*8 .0*703
  3   Test Evalu ation
  4  
  5  
  6  
  7   Department  of Vetera ns Affairs
  8   October 20 18
  9   Version 1. 0
  10  
  11  
  12  
  13   Revision H istory
  14   Note: The  revision h istory cyc le begins  once chang es or enha ncements a re request ed after t he Communi cations Pl an has bee n baseline d.
  15   Date
  16   Version
  17   Descriptio n
  18   Author
  19   10/03/2018
  20   1.0
  21   Initial do cument.
  22   EPIP Proje ct Team
  23  
  24   Artifact R ationale
  25   The test e valuation  document i s the prim ary output  of the te st and eva luation pr ocess, an  integral p art of the  systems e ngineering  process,  which iden tifies lev els of per formance a nd assists  the devel oper in co rrecting d eficiencie s.
  26  
  27   Table of C ontents
  28   1.Test Eva luation In troduction 1
  29   1.1.Test E valuation  Scope1
  30   1.2.Test A rchitectur e1
  31   1.3.Test E nvironment /Configura tion1
  32   1.4.Instal lation Pro cess2
  33   2.Test Dat a2
  34   3.Issues2
  35   4.Test Exe cution Log 2
  36   5.Test Def ect Log3
  37   6.Test Res ults Summa ry3
  38   6.1.Defect  Severity  and Priori ty Levels3
  39   6.2.Total  Defects by  Severity  Level3
  40   6.3.Breakd own of Tes t Results3
  41   6.4.Perfor mance Test ing3
  42   7.Test Cov erage3
  43   7.1.Requir ements Cov ered3
  44   7.2.Sectio n 508 Comp liance Cov erage4
  45   8.Suggeste d Actions4
  46   9.Defect S everity an d Priority  Definitio ns4
  47   9.1.Defect  Severity  Level5
  48   9.1.1.Seve rity Level  1 – Criti cal5
  49   9.1.2.Seve rity Level  2 - High5
  50   9.1.3.Seve rity Level  3 - Mediu m5
  51   9.1.4.Seve rity Level  4 - Low6
  52   9.2.Priori ty Classif ications6
  53   9.2.1.Prio rity 1 - R esolve Imm ediately6
  54   9.2.2.Prio rity 2 - G ive High A ttention6
  55   9.2.3.Prio rity 3 - N ormal Queu e6
  56   9.2.4.Prio rity 4 - L ow Priorit y6
  57   10.Optiona l Tables,  Charts, an d Graphs6
  58   11.Documen t Approval  Signature s7
  59   Appendix A  - Test Ex ecution Lo g8
  60   Appendix B  – Defect  Log9
  61  
  62   Test Evalu ation Intr oduction
  63   The purpos e of this  Test Evalu ation is t o:
  64   Identify t he testing  approach  used.
  65   Present a  summary an alysis of  the key te st results  from the  remediatio n of this  intake for  review an d assessme nt by desi gnated sta keholders.
  66   Provide a  general st atement of  the quali ty of the  system und er test.
  67   Make recom mendations  for futur e testing  efforts.
  68   Test Evalu ation Scop e
  69   The scope  of this Te st Evaluat ion is to  verify the  functiona lity of th e Patch XU *8.0*703 c ode modifi cation, as  determine d by Funct ional, Com ponent Int egration/S ystem, and  Regressio n testing.  Testing a ctivities  followed t he specifi cations ou tlined in  the follow ing Master  Test Plan : XU*8.0*7 03 Master  Test Plan  (included  in Appendi x A).
  70   Test Archi tecture
  71   Following  are the EP IP test ac counts use d by the L eidos Deve lopment an d SQA Test ing teams  to test XU *8.0*703.
  72   Developmen t Test Acc ounts 
  73   (For Unit  Testing)
  74   SQA Test A ccounts 
  75   (For Funct ional, Reg ression, a nd Compone nt Integra tion and S ystem Test ing)
  76  
A I  (alternat e name:  AI )
  77  
A I  (alternat e name:  AI
  78  
A I  (alternat e name:  AI ) –for CPR S GUI test ing only
  79  
A I  (alternat e name:  AI ) –for CPR S GUI test ing only
  80   Test Envir onment/Con figuration
  81   The EPIP t est accoun ts are mai ntained by  the EPIP  System Adm inistrator , who inst alls all V A-released  patches a s soon as  they are n ationally  released.  All EPIP t est accoun ts are clo ned from e xisting VA  Enterpris e Testing  Services ( ETS) test  accounts.  The Comput erized Pat ient Recor d System ( CPRS) Grap hical User  Interface  (GUI) exe cutable is  configure d for each  VistA ins tance util izing a un ique Inter net Protoc ol (IP) ad dress to c onnect to  the VistA  applicatio ns. Any up dates to t he CPRS GU I executab le are han dled by th e EPIP Sys tem Admini strator.
  82   All EPIP T est Engine ers and De velopers w ho have th e proper c redentials  can acces s the test  accounts.  The VA Au stin Infor mation Tec hnology Ce nter (AITC ) support  team reset s password s and sets  up new ac cess crede ntials on  an as-need ed basis.
  83   Installati on Process
  84   As soon as  the remed iation pro cess is co mplete and  the patch  is availa ble for te sting, a K IDS build  is created  in the De velopment  account an d then sen t to FORUM  for final  packaging . The patc h is then  submitted  to the VA  SQA Lead’s  Mailman a ccount for  installat ion. 
  85   An EPIP De veloper or  Test Engi neer utili zes the KI DS Install ation proc ess to ext ract the b uild from  the patch  and instal l the buil d into a t est accoun t. The ind ividual wh o installs  the patch  verifies  the routin e checksum s and also  checks fo r errors d uring the  installati on process . If the p atch is su ccessfully  installed  without a ny errors,  then the  EPIP Test  team proce eds with F unctional,  Regressio n, and Com ponent Int egration a nd System  testing. I f defects  are found,  then the  Developmen t team wor ks to find  a resolut ion and cr eates new  versions o f the patc h until al l defects  are resolv ed.
  86   Test Data
  87   The SQA Te sting team  utilizes  the test d ata in the  designate d test acc ounts ( AI ).
  88   The test d ata is enc rypted fol lowing the  standards  set forth  by the VA  Office of  Informati on & Techn ology (OIT ). All Per sonally Id entifiable  Informati on (PII) a nd Protect ed Health  Informatio n (PHI) is  scrubbed  and is not  available  to the Te st Enginee rs.
  89   All testin g is execu ted using  encrypted  test patie nts availa ble from a ny of the  EPIP test  accounts.  Examples o f encrypte d test pat ients:
  90   AAAHURMMX,  XPHY
  91   BADHB, HAA DXS
  92   FDHUX, YHI  J
  93   All tests  were execu ted manual ly by EPIP  Test Engi neers.
  94   Issues
  95   No issues  were encou ntered dur ing testin g of XU*8. 0*703.
  96   Title
  97   Issue Desc ription
  98   Type
  99   Severity
  100   N/A
  101   N/A
  102   N/A
  103   N/A
  104   Test Execu tion Log
  105   The Test E xecution L og records  the execu tion of te st scripts  and docum ents the t est result s for each  test scri pt. 
  106   The SQA Te sting team  utilizes  the Ration al Quality  Managemen t (QM) too l for all  testing ac tivities.  All test d ocuments a re stored  in the EPI P reposito ry, includ ing the Ma ster Test  Plan, Test  Suites, T est Cases,  and Test  Scripts. T est execut ion is per formed, an d test res ults recor ded, in Ra tional QM.  The Test  Engineer a dds the te st results  to the Te st Executi on records  to indica te whether  testing a chieved Pa ss or Fail  status.
  107   The Test E xecution r ecords for  XU*8.0*70 3 are incl uded in th e EPIP Pat ch XU*8.0* 703 Master  Test Plan . The Mast er Test Pl an is avai lable in A ppendix A.  
  108   Test Defec t Log
  109   The Test D efect Log  is a tool  for record ing, analy zing, trac king, and  documentin g the clos ure of def ects. It s pecifies t he screen,  field, be havior or  result tha t occurred , and the  IEEE-defin ed Severit y Level. I t includes  enough in formation  for the de veloper to  find and  re-create  the defect . The Defe ct Log is  available  in Appendi x B.
  110   Test Resul ts Summary
  111   SQA testin g for this  intake st arted in t he Dev1 Go ld1 test e nvironment  on Octobe r 1, 2018  and ended  on October  3, 2018.
  112   Test versi on 1 was i nstalled i n the test  environme nt after U nit testin g in Dev1  Silver1 wa s complete d. Upon co mpletion o f Integrat ion testin g (Compone nt Integra tion and S ystem Test ing, Funct ional Test ing, and R egression  Testing),  zero (0) d efects wer e found an d reported
  113   Defect Sev erity and  Priority L evels
  114   A defect i s defined  as a flaw  in a compo nent or sy stem that  can cause  the compon ent or sys tem to fai l to perfo rm its req uired func tion, e.g. , an incor rect state ment or da ta definit ion. A def ect, if en countered  during exe cution, ma y cause a  failure of  the compo nent or sy stem. 
  115   Defects ar e categori zed accord ing to sev erity and  priority l evels. The  test anal yst assign s the seve rity, whil e the deve lopment ma nager assi gns the pr iority for  repair. F or more in formation,  see Defec t Severity  and Prior ity Defini tion in th is Test Ev aluation.
  116   Total Defe cts by Sev erity Leve l
  117   The Defect  Log in Ap pendix B d isplays th e defects  encountere d while te sting this  patch, an d the seve rity level  of each.
  118   Breakdown  of Test Re sults
  119   Testing wa s complete d on Octob er 3, 2018 . All test  results w ere record ed in Rati onal QM. D etailed re sults are  available  in the EPI P Patch XU *8.0*703 M aster Test  Plan (see  Appendix  A).
  120   Performanc e Testing
  121   Performanc e testing  was not co nducted.
  122   Test Cover age
  123   The EPIP P atch XU*8. 0*703 Mast er Test Pl an contain s details  on test co verage (se e Appendix  A).
  124   Requiremen ts Covered
  125   The requir ements for  XU*8.0*70 3 are stor ed in the  Rational R equirement s Manageme nt (RM) ap plication.  The test  cases stor ed in Rati onal Quali ty Managem ent (QM) a re used to  validate  that the r equirement s have bee n addresse d, providi ng full tr aceability . The user  stories s tored in R ational Co nfiguratio n Manageme nt (CM) ar e linked t o the requ irements i n RM and t est cases  in QM. 
  126   The follow ing links  provide ac cess to th e various  EPIP repos itories in  the Ratio nal toolki t. If link  translati on issues  prevent di rect acces s, copy an d paste th e URLs int o your bro wser.
  127   EPIP (RM)  – Go to Ar tifacts. L ocate the  EPIP folde r on the l eft side o f the page  and expan d it to di splay patc h folders.  Each patc h folder c ontains th e requirem ents for t he patch n umber show n in the f older name
  128   https:// URL /rm/web#ac tion=com.i bm.rdm.web .pages.sho wFoundatio nProjectDa shboard&co mponentURI =https://c lm.rationa l.oit.va.g ov/rm/rm-p rojects/_Z ZeMgl7AEeS E8-zV-rLMo g/componen ts/_1iq1IN KDEeWADNdR zgPDKQ
  129   EPIP (QM)  – Go to Pl anning, th en Browse  Test Plans , and then  search fo r the Mast er Test Pl an you nee d. The Mas ter Test P lan and te st cases a re linked  to require ments.
  130   https:// URL /qm/web/co nsole/EPIP %20(QM)#ac tion=com.i bm.rqm.pla nning.home .actionDis patcher&su bAction=vi ewUserHome
  131   EPIP (CM)  – Go to Pl ans, then  All Plans,  and then  search for  the Sprin t Plan you  need. The  user stor ies in eac h Plan are  linked to  requireme nts and te st cases.
  132   https:// URL /ccm/web/p rojects/EP IP%20(CM)# action=com .ibm.team. dashboard. viewDashbo ard
  133   Section 50 8 Complian ce Coverag e
  134   Section 50 8 testing  was not re quired for  this patc h. This wi ll be repo rted to VA  by submit tal of the  following  document:
  135   EPIP_VASec tion508_In take_Docum ent_(XU_8. 0_703)
  136   Suggested  Actions
  137   Leidos rec ommends mo ving this  patch to I OC testing .
  138   Defect Sev erity and  Priority D efinitions
  139   The classi fication o f defects  within a s ystem exam ines both  the severi ty and pri ority of t he defect.  
  140   Severity i s a measur e of how g reat the i mpact is o n the user ’s ability  to comple te the doc umented ac tions with in the sys tem. 
  141   Priority d etermines  the speed  with which  a given d efect must  be repair ed. 
  142   Defect cla ssificatio n may be d etermined  either bec ause testi ng is dela yed by a f ailure in  the system  or becaus e a cumber some worka round prev ents a use r from com pleting th e assigned  tasks. Bo th severit y and prio rity measu res must b e recorded  when sche duling def ect resolu tion tasks .
  143   Defect Sev erity Leve l
  144   The follow ing subsec tions iden tify the d efect seve rity level s.
  145   Severity L evel 1 – C ritical
  146   Institute  of Electri cal and El ectronics  Engineers  (IEEE) def inition: T he defect  results in  the failu re of the  complete s oftware sy stem, of a  subsystem , or of a  software u nit (progr am or modu le) within  the syste m.
  147   Any defect  that comp romises pa tient safe ty or syst em securit y. Example s of syste m security  defects i nclude bre ach of con fidentiali ty require ments of t he Privacy  Act, the  Health Ins urance Por tability a nd Account ability Ac t (HIPAA),  or Federa l Tax Info rmation gu idelines.
  148   Loss of sy stem funct ionality c ritical to  user oper ations wit h no suita ble workar ound, i.e. , there is  no way to  achieve t he expecte d results  using the  applicatio n.
  149   System cra sh or hang  that prev ents furth er testing  or operat ion of the  complete  applicatio n or a sec tion of th e applicat ion.
  150   Any defect  that caus es corrupt ion of dat a from a r esult of t he system  (as oppose d to user  error).
  151   Any defect  in which  inappropri ate transm issions ar e consiste ntly gener ated or ap propriate  transmissi ons of HL7  messages  fail to be  generated .
  152   Loss of fu nctionalit y resultin g in erron eous eligi bility/enr ollment de terminatio ns or comm unications  not being  sent.
  153   Severity L evel 2 - H igh 
  154   IEEE defin ition: The  defect re sults in t he failure  of the co mplete sof tware syst em, of a s ubsystem,  or of a so ftware uni t (program  or module ) within t he system.  There is  no way to  make the f ailed comp onent(s) f unction. H owever, th ere are ac ceptable p rocessing  alternativ es which w ill yield  the desire d result.
  155   A major de fect in th e function ality that  does not  result in  corruption  of data.
  156   A major de fect in th e function ality resu lting in a  failure o f all or p art of the  applicati on, where:  
  157   The expect ed results  can tempo rarily be  achieved b y alternat e means. T he custome r indicate s the work  around is  acceptabl e for the  short term .
  158   Any defect  that does  not confo rm to Sect ion 508 st andards.
  159   Any defect  that resu lts in ina ccurate or  missing r equirement s.
  160   Any defect  that resu lts in inv alid authe ntication  or authent ication of  an invali d end user .
  161   Severity L evel 3 - M edium 
  162   IEEE defin ition: The  defect do es not res ult in a f ailure, bu t causes t he system  to produce  incorrect , incomple te, or inc onsistent  results, o r the defe ct impairs  the syste ms usabili ty.
  163   Minor func tionality  is not wor king as in tended and  a workaro und exists  but is no t suitable  for long  term use
  164   The inabil ity of a v alid user  to access  the system  consisten t with gra nted privi leges
  165   Typographi cal or gra mmatical e rrors in t he applica tion, incl uding inst allation g uides, use r guides,  training m anuals, an d design d ocuments
  166   Any defect  producing  cryptic,  incorrect,  or inappr opriate er ror messag es
  167   Any defect  that resu lts from t he use of  non-standa rd data te rminology  in the app lication o r document ation, as  defined by  the Depar tment of V eterans Af fairs 
  168   Cosmetic i ssues that  are impor tant to th e integrit y of the p roduct, bu t do not r esult in d ata entry  and or dat a quality  problems.
  169   Severity L evel 4 - L ow 
  170   IEEE defin ition: The  defect do es not cau se a failu re, does n ot impair  usability,  and the d esired pro cessing re sults are  easily obt ained by w orking aro und the de fect.
  171   Minor loss  of, or de fect in th e function ality wher e a long t erm use ex ists
  172   Low-level  cosmetic i ssues.
  173   Priority C lassificat ions
  174   The follow ing subsec tions iden tify the a ppropriate  actions f or defects  at each p riority le vel, per d efinitions  of IEEE.
  175   Priority 1  - Resolve  Immediate ly
  176   Further de velopment  and/or tes ting canno t occur un til the de fect has b een repair ed. The sy stem canno t be used  until the  repair has  been affe cted.
  177   Priority 2  - Give Hi gh Attenti on
  178   The defect  must be r esolved as  soon as p ossible be cause it i s impairin g developm ent and/or  testing a ctivities.  System us e will be  severely a ffected un til the de fect is fi xed. 
  179   Priority 3  - Normal  Queue
  180   The defect  should be  resolved  in the nor mal course  of develo pment acti vities. It  can wait  until a ne w build or  version i s created.  
  181   Priority 4  - Low Pri ority
  182   The defect  is an irr itant that  should be  repaired,  but can b e repaired  after mor e serious  defects ha ve been fi xed. 
  183   Optional T ables, Cha rts, and G raphs
  184   None.
  185   Document A pproval Si gnatures
  186  
  187   Signed: __ __________ __________ __________ __________ __________ __________ _________ 
  188   Program/Pr oject Mana gerDate
  189  
  190   Signed: __ __________ __________ __________ __________ __________ __________ _________ 
  191   Business S ponsor Rep resentativ eDate
  192  
  193   Signed: __ __________ __________ __________ __________ __________ __________ _________ 
  194   Test LeadD ate
  195  
  196   Appendix A  - Test Ex ecution Lo g
  197   The Test E xecution R ecords for  XU*8.0*70 3 are incl uded in th e EPIP Pat ch XU*8.0* 703 Master  Test Plan .
  198  
  199  
  200   Appendix B  – Defect  Log
  201   No defects  were foun d during t esting of  XU*8.0*703 .
  202   SQA Defect  ID
  203   Affected S creen
  204   Affected F ield
  205   Observed B ehavior
  206   Severity
  207   Descriptio n
  208   N/A
  209   N/A
  210   N/A
  211   N/A
  212   N/A
  213   No defects  were foun d during U nit Testin g of versi on 1.0. 
  214   N/A
  215   N/A
  216   N/A
  217   N/A
  218   N/A
  219   No defects  were foun d during C omponent I ntegration /System Te sting of v ersion 1.0 .
  220   N/A
  221   N/A
  222   N/A
  223   N/A
  224   N/A
  225   No defects  were foun d during R egression  testing of  version 1 .0.
  226   N/A
  227   N/A
  228   N/A
  229   N/A
  230   N/A
  231   No defects  were foun d during F unctional  Testing of  version 1 .0.