12. EPMO Open Source Coordination Office Redaction File Detail Report

Produced by Araxis Merge on 8/15/2018 12:48:24 PM Central Daylight Time. See www.araxis.com for information about Merge. This report uses XHTML and CSS2, and is best viewed with a modern standards-compliant browser. For optimum results when printing this report, use landscape orientation and enable printing of background images and colours in your browser.

12.1 Files compared

# Location File Last Modified
1 EPIP_Combined_CiF.zip\EPIP_Combined_CiF\multi EPIP_Test_Evaluation_(DGJ_1.0_05,_TIU_1.0_317,_SR_3.0_192).doc Tue Aug 14 14:46:14 2018 UTC
2 EPIP_Combined_CiF.zip\EPIP_Combined_CiF\multi EPIP_Test_Evaluation_(DGJ_1.0_05,_TIU_1.0_317,_SR_3.0_192).doc Tue Aug 14 14:51:32 2018 UTC

12.2 Comparison summary

Description Between
Files 1 and 2
Text Blocks Lines
Unchanged 10 576
Changed 9 18
Inserted 0 0
Removed 0 0

12.3 Comparison options

Whitespace
Character case Differences in character case are significant
Line endings Differences in line endings (CR and LF characters) are ignored
CR/LF characters Not shown in the comparison detail

12.4 Active regular expressions

No regular expressions were active.

12.5 Comparison detail

  1   Test Evalu ation Temp lateExisti ng Product  Intake Pr ogram (EPI P)
  2   Patches DG J*1.0*05,  TIU*1.0*31 7, SR*3.0* 192 
  3   Test Evalu ation
  4  
  5   Department  of Vetera ns Affairs
  6   July 2018
  7   Version 1. 0
  8   Revision H istory
  9   Note: The  revision h istory cyc le begins  once chang es or enha ncements a re request ed after t he Communi cations Pl an has bee n baseline d.
  10   DateVersio nDescripti onAuthor07 /25/20181. 0Initial d ocument.EP IP Project  TeamArtif act Ration ale
  11   The test e valuation  document i s the prim ary output  of the te st and eva luation pr ocess, an  integral p art of the  systems e ngineering  process,  which iden tifies lev els of per formance a nd assists  the devel oper in co rrecting d eficiencie s. 
  12   Table of C ontents
  13   11.
  14   Test Evalu ation Intr oduction
  15  
  16  
  17   11.1.
  18   Test Evalu ation Scop e
  19  
  20  
  21   11.2.
  22   Test Archi tecture
  23  
  24  
  25   11.3.
  26   Test Envir onment/Con figuration
  27  
  28  
  29   21.4.
  30   Installati on Process
  31  
  32  
  33   22.
  34   Test Data
  35  
  36  
  37   23.
  38   Issues
  39  
  40  
  41   24.
  42   Test Execu tion Log
  43  
  44  
  45   35.
  46   Test Defec t Log
  47  
  48  
  49   36.
  50   Test Resul ts Summary
  51  
  52  
  53   46.1.
  54   Defect Sev erity and  Priority L evels
  55  
  56  
  57   46.2.
  58   Total Defe cts by Sev erity Leve l
  59  
  60  
  61   56.3.
  62   Breakdown  of Test Re sults
  63  
  64  
  65   56.4.
  66   Performanc e Testing
  67  
  68  
  69   57.
  70   Test Cover age
  71  
  72  
  73   57.1.
  74   Requiremen ts Covered
  75  
  76  
  77   67.2.
  78   Section 50 8 Complian ce Coverag e
  79  
  80  
  81   68.
  82   Suggested  Actions
  83  
  84  
  85   79.
  86   Defect Sev erity and  Priority D efinitions
  87  
  88  
  89   79.1.
  90   Defect Sev erity Leve l
  91  
  92  
  93   79.1.1.
  94   Severity L evel 1 – C ritical
  95  
  96  
  97   79.1.2.
  98   Severity L evel 2 - H igh
  99  
  100  
  101   89.1.3.
  102   Severity L evel 3 - M edium
  103  
  104  
  105   89.1.4.
  106   Severity L evel 4 - L ow
  107  
  108  
  109   89.2.
  110   Priority C lassificat ions
  111  
  112  
  113   89.2.1.
  114   Priority 1  - Resolve  Immediate ly
  115  
  116  
  117   99.2.2.
  118   Priority 2  - Give Hi gh Attenti on
  119  
  120  
  121   99.2.3.
  122   Priority 3  - Normal  Queue
  123  
  124  
  125   99.2.4.
  126   Priority 4  - Low Pri ority
  127  
  128  
  129   910.
  130   Optional T ables, Cha rts, and G raphs
  131  
  132  
  133   1011.
  134   Document A pproval Si gnatures
  135  
  136  
  137   11Appendix  A - Test  Execution  Log
  138  
  139  
  140   12Appendix  B – Defec t Log
  141  
  142  
  143  
  144  
  145   Test Evalu ation Intr oduction
  146   The purpos e of this  Test Evalu ation is t o:
  147   Identify t he testing  approach  used.
  148   Present a  summary an alysis of  the key te st results  from the  remediatio n of this  intake for  review an d assessme nt by desi gnated sta keholders.
  149   Provide a  general st atement of  the quali ty of the  system und er test.
  150   Make recom mendations  for futur e testing  efforts.
  151   Test Evalu ation Scop e
  152   The scope  of this Te st Evaluat ion is to  verify the  functiona lity of th e code mod ification  for Patche s DGJ*1.0* 5, TIU*1.0 *317, and  SR*3.0*192 , as deter mined by F unctional,  Component  Integrati on/System,  and Regre ssion test ing. Testi ng activit ies follow ed the spe cification s outlined  in the fo llowing Ma ster Test  Plan: DGJ* 1.0*5 Mast er Test Pl an (includ ed in Appe ndix A).
  153   Test Archi tecture
  154   Following  are the EP IP test ac counts use d by the L eidos Deve lopment an d SQA Test ing teams  to test DG J*1.0*5, T IU*1.0*317 , and SR*3 .0*192.
  155   Developmen t Test Acc ounts 
  156   (For Unit  Testing)SQ A Test Acc ounts 
  157   (For Funct ional, Reg ression, a nd Compone nt Integra tion and S ystem Test ing)VistAS 1 ( altern ate name:  D1S1)VistA G1 (altern ate name:  D1G1) Vist AS2 (alter nate name:  D1S2) –
  158   for CPRS G UI testing  onlyVistA G2 (altern ate name:  D1G2) –
  159   for CPRS G UI testing  onlyTest  Environmen t/Configur ation
  160   The EPIP t est accoun ts are mai ntained by  the EPIP  System Adm inistrator , who inst alls all V A-released  patches a s soon as  they are n ationally  released.  All EPIP t est accoun ts are clo ned from e xisting VA  Enterpris e Testing  Services ( ETS) test  accounts.  The Comput erized Pat ient Recor d System ( CPRS) Grap hical User  Interface  (GUI) exe cutable is  configure d for each  VistA ins tance util izing a un ique Inter net Protoc ol (IP) ad dress to c onnect to  the VistA  applicatio ns. Any up dates to t he CPRS GU I executab le are han dled by th e EPIP Sys tem Admini strator.
  161   All EPIP T est Engine ers and De velopers w ho have th e proper c redentials  can acces s the test  accounts.  The VA Au stin Infor mation Tec hnology Ce nter (AITC ) support  team reset s password s and sets  up new ac cess crede ntials on  an as-need ed basis.
  162   Installati on Process
  163   As soon as  the remed iation pro cess is co mplete and  the patch  is availa ble for te sting, a K IDS build  is created  in the De velopment  account an d then sen t to FORUM  for final  packaging . The patc h is then  submitted  to the VA  SQA Lead’s  Mailman a ccount for  installat ion. 
  164   An EPIP De veloper or  Test Engi neer utili zes the KI DS Install ation proc ess to ext ract the b uild from  the patch  and instal l the buil d into a t est accoun t. The ind ividual wh o installs  the patch  verifies  the routin e checksum s and also  checks fo r errors d uring the  installati on process . If the p atch is su ccessfully  installed  without a ny errors,  then the  EPIP Test  team proce eds with F unctional,  Regressio n, and Com ponent Int egration a nd System  testing. I f defects  are found,  then the  Developmen t team wor ks to find  a resolut ion and cr eates new  versions o f the patc h until al l defects  are resolv ed.
  165   Test Data
  166   The SQA Te sting team  utilizes  the test d ata in the  designate d test acc ounts (D1G 1, D1G2).
  167   The test d ata is enc rypted fol lowing the  standards  set forth  by the VA  Office of  Informati on & Techn ology (OIT ). All Per sonally Id entifiable  Informati on (PII) a nd Protect ed Health  Informatio n (PHI) is  scrubbed  and is not  available  to the Te st Enginee rs.
  168   All testin g is execu ted using  encrypted  test patie nts availa ble from a ny of the  EPIP test  accounts.  Examples o f encrypte d test pat ients:
  169   AAAHURMMX,  XPHY
  170   BADHB, HAA DXS
  171   FDHUX, YHI  J
  172   All tests  were execu ted manual ly by EPIP  Test Engi neers.
  173   Issues
  174   The follow ing issues  were enco untered du ring testi ng of DGJ* 1.0*05, TI U*1.0*317,  and SR*3. 0*192.
  175   TitleIssue  Descripti onTypeSeve rityN/AN/A N/AN/ATest  Execution  Log
  176   The Test E xecution L og records  the execu tion of te st scripts  and docum ents the t est result s for each  test scri pt. 
  177   The SQA Te sting team  utilizes  the Ration al Quality  Managemen t (QM) too l for all  testing ac tivities.  All test d ocuments a re stored  in the EPI P reposito ry, includ ing the Ma ster Test  Plan, Test  Suites, T est Cases,  and Test  Scripts. T est execut ion is per formed, an d test res ults recor ded, in Ra tional QM.  The Test  Engineer a dds the te st results  to the Te st Executi on records  to indica te whether  testing a chieved Pa ss or Fail  status.
  178   The Test E xecution r ecords for  DGJ*1.0*0 5, TIU*1.0 *317, and  SR*3.0*192  are inclu ded in the  EPIP DGJ* 1.0*05 Mas ter Test P lan. The M aster Test  Plan is a vailable i n Appendix  A. 
  179   Test Defec t Log
  180   The Test D efect Log  is a tool  for record ing, analy zing, trac king, and  documentin g the clos ure of def ects. It s pecifies t he screen,  field, be havior or  result tha t occurred , and the  IEEE-defin ed Severit y Level. I t includes  enough in formation  for the de veloper to  find and  re-create  the defect . The Defe ct Log is  available  in Appendi x B.
  181   Test Resul ts Summary
  182   Test versi on 1 was i nstalled i n the Dev1  Gold1 tes t environm ent on Dec ember 19,  2017, afte r Unit tes ting in De v1 Silver1  was compl eted. This  version a ddressed D efect 7665 32, which  required c hanging to  a multi-p atch build  that incl udes Patch es DGJ*1.0 *05, TIU*1 .0*317, an d SR*3.0*1 92. Upon c ompletion  of Integra tion testi ng (Compon ent Integr ation and  System Tes ting, Func tional Tes ting, and  Regression  Testing),  one (1) d efect was  found and  reported,  resulting  in test ve rsion 2. 
  183   Test versi on 2 was i nstalled i n the Dev1  Gold1 tes t environm ent on Mar ch 23, 201 8, after U nit Testin g in Dev1  Silver1 wa s complete d. Upon co mpletion o f Function al Testing  and Regre ssion Test ing, one ( 1) defect  was found  and report ed, result ing in tes t version  3. Defect  652771 sta ted the IR T code is  always dis playing th e status “ reviewed”  for the OP  Report de ficiency.
  184   Test versi on 3 was i nstalled i n the Dev1  Gold1 tes t environm ent on Mar ch 23, 201 8, after U nit Testin g in Dev1  Silver1 wa s complete d. Upon co mpletion o f Function al Testing  and Regre ssion Test ing, one ( 1) defect  was found  and report ed, result ing in tes t version  4. Defect  723710 sta ted that l egacy clas s 3 code w as found e mbedded in  a menu.
  185   Test versi on 4 was i nstalled i n the Dev1  Gold1 tes t environm ent on Apr il 27, 201 8, after U nit Testin g in Dev1  Silver1 wa s complete d. Upon co mpletion o f Function al Testing  and Regre ssion Test ing, one ( 1) defect  was found  and report ed, result ing in tes t version  5. Defect  727045 sta ted the Pr int Incomp lete Recor ds by Disc harge (Hos p Wide) wa s printing  the full  Social Sec urity Numb er.
  186   Test versi on 5 was i nstalled i n the Dev1  Gold1 tes t environm ent on Apr il 30, 201 8, after U nit Testin g in Dev1  Silver1 wa s complete d. Upon co mpletion o f Function al Testing  and Regre ssion Test ing, one ( 1) defect  was found  and report ed resulti ng in test  version 6 . Defect 7 30428 stat ed the pri nt routine  was missi ng from th e KIDS bui ld.
  187   Test versi on 6 was i nstalled i n the Dev1  Gold1 tes t environm ent on May  3, 2018,  after Unit  Testing i n Dev1 Sil ver1 was c ompleted.  Upon compl etion of F unctional  Testing an d Regressi on Testing , one (1)  defect was  found and  reported,  resulting  in test v ersion 7.  Defect 735 565 stated  the Opera tion Repor t (OP Note ) was not  displaying  in the Pr int Incomp lete Recor ds (by Att ending) re port.
  188   Test versi on 7 was i nstalled i n the Dev1  Gold1 tes t environm ent on May  11, 2018,  after Uni t Testing  in Dev1 Si lver1 was  completed.  Upon comp letion of  Functional  Testing a nd Regress ion Testin g, one (1)  defect wa s found an d reported , resultin g in test  version 8.  Defect 73 7640 state d the H&P  Deficiency  is not sh owing up i n the Prin t Incomple te Records  (by Atten ding) repo rt.
  189   Test versi on 8 was i nstalled i n the Dev1  Gold1 tes t environm ent on May  14, 2018,  after Uni t Testing  in Dev1 Si lver1 was  completed.  Upon comp letion of  Functional  Testing a nd Regress ion Testin g, one (1)  defect wa s found an d reported , resultin g in test  version 9.  Defect 74 8902 state d the PIA  Report was  not assig ning the c orrect sta tus.
  190   Test versi on 9 was i nstalled i n the Dev1  Gold1 tes t environm ent on Jun e 12, 2018 , after Un it Testing  in Dev1 S ilver1 was  completed . Upon com pletion of  Functiona l Testing  and Regres sion Testi ng, one (1 ) defect w as found a nd reporte d, resulti ng in test  version 1 0. Defect  759114 sta ted that t he PIH Rep ort was no t assignin g correct  status.
  191   Test versi on 10 was  installed  in the Dev 1 Gold1 te st environ ment on Ju ne 15, 201 8, after U nit Testin g in Dev1  Silver1 wa s complete d. Upon co mpletion o f Function al Testing  and Regre ssion Test ing, one ( 1) defect  was found  and report ed, result ing in tes t version  11. Defect  762502 st ated that  the PIA Re port is no t reportin g all defi ciencies f or the OP  Note Defic iency.
  192   Test versi on 11 was  installed  in the Dev 1 Gold1 te st environ ment on Ju ne 21, 201 8, after U nit Testin g in Dev1  Silver1 wa s complete d. Upon co mpletion o f Function al Testing  and Regre ssion Test ing, one ( 1) defect  was found  and report ed, result ing in tes t version  12. Defect  774347 st ated that  some clean up of dist ributed co de was nee ded to rem ove unnece ssary tran scription  routines.
  193   Test versi on 12 was  installed  in the Dev 1 Gold1 te st environ ment on Ju ly 2, 2018 , after Un it Testing  in Dev1 S ilver1 was  completed . Upon com pletion of  Functiona l Testing  and Regres sion Testi ng, one (1 ) defect w as found a nd reporte d, resulti ng in test  version 1 3. Defect  774355 sta ted that t he PIA rep ort was gi ving a fal se positiv e on a def iciency th at is not  there.
  194   Test versi on 13 was  installed  in the Dev 1 Gold1 te st environ ment on Ju ly 5, 2018 , after Un it Testing  in Dev1 S ilver1 was  completed . Upon com pletion of  Integrati on testing  (Componen t Integrat ion and Sy stem Testi ng, Functi onal Testi ng, and Re gression T esting), z ero (0) de fects were  found.
  195   Defect Sev erity and  Priority L evels
  196   A defect i s defined  as a flaw  in a compo nent or sy stem that  can cause  the compon ent or sys tem to fai l to perfo rm its req uired func tion, e.g. , an incor rect state ment or da ta definit ion. A def ect, if en countered  during exe cution, ma y cause a  failure of  the compo nent or sy stem. 
  197   Defects ar e categori zed accord ing to sev erity and  priority l evels. The  test anal yst assign s the seve rity, whil e the deve lopment ma nager assi gns the pr iority for  repair. F or more in formation,  see Defec t Severity  and Prior ity Defini tion in th is Test Ev aluation.
  198   Total Defe cts by Sev erity Leve l
  199   The Defect  Log in Ap pendix B d isplays th e defects  encountere d while te sting this  patch, an d the seve rity level  of each.
  200   Breakdown  of Test Re sults
  201   Testing wa s complete d on July  13, 2018.  All test r esults wer e recorded  in Ration al QM. Det ailed resu lts are av ailable in  the EPIP  Patches DG J*1.0*05,  TIU*1.0*31 7, and SR* 3.0*192 Ma ster Test  Plan (see  Appendix A ).
  202   Performanc e Testing
  203   Performanc e testing  was not co nducted.
  204   Test Cover age
  205   The EPIP D GJ*1.0*05,  TIU*1.0*3 17, and SR *3.0*192 M aster Test  Plan cont ains detai ls on test  coverage  (see Appen dix A).
  206   Requiremen ts Covered
  207   The requir ements for  DGJ*1.0*0 5, TIU*1.0 *317, and  SR*3.0*192  are store d in the R ational Re quirements  Managemen t (RM) app lication.  The test c ases store d in Ratio nal Qualit y Manageme nt (QM) ar e used to  validate t hat the re quirements  have been  addressed , providin g full tra ceability.  The user  stories st ored in Ra tional Con figuration  Managemen t (CM) are  linked to  the requi rements in  RM and te st cases i n QM. 
  208   The follow ing links  provide ac cess to th e various  Incomplete  Records T racking, S urgery, an d Text Int egration U tility rep ositories  in the Rat ional tool kit. If li nk transla tion issue s prevent  direct acc ess, copy  and paste  the URLs i nto your b rowser.
  209   IRT (RM) –  Go to Art ifacts. Lo cate the E PIP folder  on the le ft side of  the page  and expand  it to dis play patch  folders.  Each patch  folder co ntains the  requireme nts for th e patch nu mber shown  in the fo lder name.
  210   https://cl m.rational .oit. DNS     /rm/web#ac tion=com.i bm.rdm.web .pages.sho wFoundatio nProjectDa shboard&co mponentURI =https://c lm.rationa l.oit. DNS     /rm/rm-pro jects/_YKF GcGrREeatQ 5JjHlNZ9Q/ components /_Y_uVAGrR EeatQ5JjHl NZ9Q
  211   IRT (QM) –  Go to Pla nning, the n Browse T est Plans,  and then  search for  the Maste r Test Pla n you need . The Mast er Test Pl an and tes t cases ar e linked t o requirem ents.
  212   https://cl m.rational .oit. DNS     /qm/web/co nsole/IRT% 20(QM)#act ion=com.ib m.rqm.plan ning.home. actionDisp atcher&sub Action=vie wUserHome
  213   IRT (CM) –  Go to Pla ns, then A ll Plans,  and then s earch for  the Sprint  Plan you  need. The  user stori es in each  Plan are  linked to  requiremen ts and tes t cases.
  214   https://cl m.rational .oit. DNS     /ccm/web/p rojects/IR T%20(CM)#a ction=com. ibm.team.d ashboard.v iewDashboa rd
  215   Surgery (R M) – Go to  Artifacts . Locate t he EPIP fo lder on th e left sid e of the p age and ex pand it to  display p atch folde rs. Each p atch folde r contains  the requi rements fo r the patc h number s hown in th e folder n ame.
  216   https://cl m.rational .oit. DNS     /rm/web#ac tion=com.i bm.rdm.web .pages.sho wFoundatio nProjectDa shboard&co mponentURI =https://c lm.rationa l.oit. DNS     /rm/rm-pro jects/_Lm5 b0a1CEeaZn qPc34Mkug/ components /_MZad4K1C EeaZnqPc34 Mkug
  217   Surgery (Q M) – Go to  Planning,  then Brow se Test Pl ans, and t hen search  for the M aster Test  Plan you  need. The  Master Tes t Plan and  test case s are link ed to requ irements.
  218   https://cl m.rational .oit. DNS     /qm/web/co nsole/Surg ery%20(QM) #action=co m.ibm.rqm. planning.h ome.action Dispatcher &subAction =viewUserH ome
  219   Surgery (C M) – Go to  Plans, th en All Pla ns, and th en search  for the Sp rint Plan  you need.  The user s tories in  each Plan  are linked  to requir ements and  test case s.
  220   https://cl m.rational .oit. DNS     /ccm/web/p rojects/Su rgery%20(C M)#action= com.ibm.te am.dashboa rd.viewDas hboard
  221   TIU (RM)–  Go to Arti facts. Loc ate the EP IP folder  on the lef t side of  the page a nd expand  it to disp lay patch  folders. E ach patch  folder con tains the  requiremen ts for the  patch num ber shown  in the fol der name.
  222   https://cl m.rational .oit. DNS     /rm/web#ac tion=com.i bm.rdm.web .pages.sho wFoundatio nProjectDa shboard&co mponentURI =https://c lm.rationa l.oit. DNS     /rm/rm-pro jects/_EGc coR6sEeafn 8RFT4tzpQ/ components /_EgO1oB6s Eeafn8RFT4 tzpQ
  223   TIU (QM) –  Go to Pla nning, the n Browse T est Plans,  and then  search for  the Maste r Test Pla n you need . The Mast er Test Pl an and tes t cases ar e linked t o requirem ents.
  224   https://cl m.rational .oit. DNS     /qm/web/co nsole/TIU% 20(QM)#act ion=com.ib m.rqm.plan ning.home. actionDisp atcher&sub Action=vie wUserHome
  225   TIU (CM) –  Go to Pla ns, then A ll Plans,  and then s earch for  the Sprint  Plan you  need. The  user stori es in each  Plan are  linked to  requiremen ts and tes t cases.
  226   https://cl m.rational .oit. DNS     /ccm/web/p rojects/TI U%20(CM)#a ction=com. ibm.team.d ashboard.v iewDashboa rd
  227   Section 50 8 Complian ce Coverag e
  228   Section 50 8 test res ults will  be reporte d to VA in  the follo wing docum ents:
  229   EPIP_VASec tion508_In take_Docum ent_(DGJ_1 .0_05,_ TI U_1.0_317, _SR_3.0_19 2)
  230   EPIP_VASec tion508_Co mpliance_T est_Result s_(DGJ_1.0 _05,_ TIU_ 1.0_317,_S R_3.0_192)
  231   EPIP_VASec tion508_Ve rifiable_O bjective_E vidence_(D GJ_1.0_05, _TIU_1.0_3 17,_SR_3.0 _192)
  232   Suggested  Actions
  233   Leidos rec ommends mo ving this  patch to I OC testing .
  234   Defect Sev erity and  Priority D efinitions
  235   The classi fication o f defects  within a s ystem exam ines both  the severi ty and pri ority of t he defect.  
  236   Severity i s a measur e of how g reat the i mpact is o n the user ’s ability  to comple te the doc umented ac tions with in the sys tem. 
  237   Priority d etermines  the speed  with which  a given d efect must  be repair ed. 
  238   Defect cla ssificatio n may be d etermined  either bec ause testi ng is dela yed by a f ailure in  the system  or becaus e a cumber some worka round prev ents a use r from com pleting th e assigned  tasks. Bo th severit y and prio rity measu res must b e recorded  when sche duling def ect resolu tion tasks .
  239   Defect Sev erity Leve l
  240   The follow ing subsec tions iden tify the d efect seve rity level s.
  241   Severity L evel 1 – C ritical
  242   Institute  of Electri cal and El ectronics  Engineers  (IEEE) def inition: T he defect  results in  the failu re of the  complete s oftware sy stem, of a  subsystem , or of a  software u nit (progr am or modu le) within  the syste m.
  243   Any defect  that comp romises pa tient safe ty or syst em securit y. Example s of syste m security  defects i nclude bre ach of con fidentiali ty require ments of t he Privacy  Act, the  Health Ins urance Por tability a nd Account ability Ac t (HIPAA),  or Federa l Tax Info rmation gu idelines.
  244   Loss of sy stem funct ionality c ritical to  user oper ations wit h no suita ble workar ound, i.e. , there is  no way to  achieve t he expecte d results  using the  applicatio n.
  245   System cra sh or hang  that prev ents furth er testing  or operat ion of the  complete  applicatio n or a sec tion of th e applicat ion.
  246   Any defect  that caus es corrupt ion of dat a from a r esult of t he system  (as oppose d to user  error).
  247   Any defect  in which  inappropri ate transm issions ar e consiste ntly gener ated or ap propriate  transmissi ons of HL7  messages  fail to be  generated .
  248   Loss of fu nctionalit y resultin g in erron eous eligi bility/enr ollment de terminatio ns or comm unications  not being  sent.
  249   Severity L evel 2 - H igh 
  250   IEEE defin ition: The  defect re sults in t he failure  of the co mplete sof tware syst em, of a s ubsystem,  or of a so ftware uni t (program  or module ) within t he system.  There is  no way to  make the f ailed comp onent(s) f unction. H owever, th ere are ac ceptable p rocessing  alternativ es which w ill yield  the desire d result.
  251   A major de fect in th e function ality that  does not  result in  corruption  of data.
  252   A major de fect in th e function ality resu lting in a  failure o f all or p art of the  applicati on, where:  
  253   The expect ed results  can tempo rarily be  achieved b y alternat e means. T he custome r indicate s the work  around is  acceptabl e for the  short term .
  254   Any defect  that does  not confo rm to Sect ion 508 st andards.
  255   Any defect  that resu lts in ina ccurate or  missing r equirement s.
  256   Any defect  that resu lts in inv alid authe ntication  or authent ication of  an invali d end user .
  257   Severity L evel 3 - M edium 
  258   IEEE defin ition: The  defect do es not res ult in a f ailure, bu t causes t he system  to produce  incorrect , incomple te, or inc onsistent  results, o r the defe ct impairs  the syste ms usabili ty.
  259   Minor func tionality  is not wor king as in tended and  a workaro und exists  but is no t suitable  for long  term use
  260   The inabil ity of a v alid user  to access  the system  consisten t with gra nted privi leges
  261   Typographi cal or gra mmatical e rrors in t he applica tion, incl uding inst allation g uides, use r guides,  training m anuals, an d design d ocuments
  262   Any defect  producing  cryptic,  incorrect,  or inappr opriate er ror messag es
  263   Any defect  that resu lts from t he use of  non-standa rd data te rminology  in the app lication o r document ation, as  defined by  the Depar tment of V eterans Af fairs 
  264   Cosmetic i ssues that  are impor tant to th e integrit y of the p roduct, bu t do not r esult in d ata entry  and or dat a quality  problems.
  265   Severity L evel 4 - L ow 
  266   IEEE defin ition: The  defect do es not cau se a failu re, does n ot impair  usability,  and the d esired pro cessing re sults are  easily obt ained by w orking aro und the de fect.
  267   Minor loss  of, or de fect in th e function ality wher e a long t erm use ex ists
  268   Low-level  cosmetic i ssues.
  269   Priority C lassificat ions
  270   The follow ing subsec tions iden tify the a ppropriate  actions f or defects  at each p riority le vel, per d efinitions  of IEEE.
  271   Priority 1  - Resolve  Immediate ly
  272   Further de velopment  and/or tes ting canno t occur un til the de fect has b een repair ed. The sy stem canno t be used  until the  repair has  been affe cted.
  273   Priority 2  - Give Hi gh Attenti on
  274   The defect  must be r esolved as  soon as p ossible be cause it i s impairin g developm ent and/or  testing a ctivities.  System us e will be  severely a ffected un til the de fect is fi xed. 
  275   Priority 3  - Normal  Queue
  276   The defect  should be  resolved  in the nor mal course  of develo pment acti vities. It  can wait  until a ne w build or  version i s created.  
  277   Priority 4  - Low Pri ority
  278   The defect  is an irr itant that  should be  repaired,  but can b e repaired  after mor e serious  defects ha ve been fi xed. 
  279   Optional T ables, Cha rts, and G raphs
  280   None.
  281   Document A pproval Si gnatures
  282   Signed: __ __________ __________ __________ __________ __________ __________ _________ 
  283   Program/Pr oject Mana ger
  284   Date
  285   Signed: __ __________ __________ __________ __________ __________ __________ _________ 
  286   Business S ponsor Rep resentativ e
  287   Date
  288   Signed: __ __________ __________ __________ __________ __________ __________ _________ 
  289   Test Lead
  290   Date
  291   Appendix A  - Test Ex ecution Lo g
  292   The Test E xecution R ecords for  DGJ*1.0*5 , TIU*1.0* 317, and S R*3.0*192  are includ ed in the  EPIP DGJ*1 .0*5 Maste r Test Pla n.
  293  
  294   Appendix B  – Defect  Log
  295   Twelve (12 ) defects  were found  during te sting of D GJ*1.0*5,  TIU*1.0*31 7, and SR* 3.0*192. A ll defects  have been  resolved.
  296   SQA Defect  IDAffecte d ScreenAf fected Fie ldObserved  BehaviorS everityDes criptionN/ AN/AN/AN/A N/ANo defe cts were f ound durin g Unit Tes ting of ve rsion 1.0. N/AN/AN/AN /AN/ANo de fects were  found dur ing Compon ent Integr ation/Syst ems Testin g of versi on 1.0.N/A N/AN/AN/AN /ANo defec ts were fo und during  Regressio n testing  of version  1.0.76653 2N/AN/ADat a Dictiona ry Changes  require a  multi-pat ch build t hat includ es SR and  TIU.Medium One (1) de fect was f ound durin g Function al Testing  of versio n 1.0.
  297   This patch  is now a  multi buil d which in cludes pat ches DGJ*1 .0*5, TIU* 1.0*317, a nd SR*3.0* 192.N/AN/A N/AN/AN/AN o defects  were found  during Un it Testing  of versio n 2.0.N/AN /AN/AN/AN/ ANo defect s were fou nd during  Regression  testing o f version  2.0.652771 N/AN/AThe  IRT code i s displayi ng the sta tus of the  Surgery d eficiency  always as  "reviewed. "HighOne ( 1) defect  was found  during Fun ctional Te sting of v ersion 2.0 .N/AN/AN/A N/AN/ANo d efects wer e found du ring Unit  Testing of  version 3 .0.N/AN/AN /AN/AN/ANo  defects w ere found  during Reg ression te sting of v ersion 3.0 .723710N/A N/ALegacy  class 3 co de found e mbedded in  a menu.Cr iticalOne  (1) defect  was found  during Fu nctional T esting of  version 3. 0.N/AN/AN/ AN/AN/ANo  defects we re found d uring Unit  Testing o f version  4.0.N/AN/A N/AN/AN/AN o defects  were found  during Re gression t esting of  version 4. 0.727045N/ AN/APrint  Incomplete  Records b y Discharg e (Hosp Wi de) printi ng full SS N.Critical One (1) de fect was f ound durin g Function al Testing  of versio n 4.0.N/AN /AN/AN/AN/ ANo defect s were fou nd during  Unit Testi ng of vers ion 5.0.N/ AN/AN/AN/A N/ANo defe cts were f ound durin g Regressi on testing  of versio n 5.0.7304 28N/AN/APr int Routin e Missing  in KIDS Bu ild.Critic alOne (1)  defect was  found dur ing Functi onal Testi ng of vers ion 5.0.N/ AN/AN/AN/A N/ANo defe cts were f ound durin g Unit Tes ting of ve rsion 6.0. N/AN/AN/AN /AN/ANo de fects were  found dur ing Regres sion testi ng of vers ion 6.0.73 5565N/AN/A Operation  Report (OP  Note) not  showing u p in the P rint Incom plete Reco rds (by At tending) R eport.Crit icalOne (1 ) defect w as found d uring Func tional Tes ting of ve rsion 6.0. N/AN/AN/AN /AN/ANo de fects were  found dur ing Unit T esting of  version 7. 0.N/AN/AN/ AN/AN/ANo  defects we re found d uring Regr ession tes ting of ve rsion 7.0. 737640N/AN /AH&P Defi ciency is  not showin g up in th e Print In complete R ecords (by  Attending ) Report.C riticalOne  (1) defec t was foun d during F unctional  Testing of  version 7 .0.N/AN/AN /AN/AN/ANo  defects w ere found  during Uni t Testing  of version  8.0.N/AN/ AN/AN/AN/A No defects  were foun d during R egression  testing of  version 8 .0.748902N /AN/APIA R eport not  assigning  the correc t status.C riticalOne  (1) defec t was foun d during F unctional  Testing of  version 8 .0.N/AN/AN /AN/AN/ANo  defects w ere found  during Uni t Testing  of version  9.0.N/AN/ AN/AN/AN/A No defects  were foun d during R egression  testing of  version 9 .0.759114N /AN/APIH R eport not  assigning  the correc t status.C riticalOne  (1) defec t was foun d during F unctional  Testing of  version 9 .0.N/AN/AN /AN/AN/ANo  defects w ere found  during Uni t Testing  of version  10.0.N/AN /AN/AN/AN/ ANo defect s were fou nd during  Regression  testing o f version  10.0.76250 2N/AN/APIA  Report sk ipping a d eficiency  and not di splaying f or the OP  Note Defic iency.Crit icalOne (1 ) defect w as found d uring Func tional Tes ting of ve rsion 10.0 .N/AN/AN/A N/AN/ANo d efects wer e found du ring Unit  Testing of  version 1 1.0.N/AN/A N/AN/AN/AN o defects  were found  during Re gression t esting of  version 11 .0.774347N /AN/AClean  up distri buted code  to remove  unnecessa ry transcr iption rou tines.Medi umOne (1)  defect was  found dur ing Functi onal Testi ng of vers ion 11.0.N /AN/AN/AN/ AN/ANo def ects were  found duri ng Unit Te sting of v ersion 12. 0.N/AN/AN/ AN/AN/ANo  defects we re found d uring Regr ession tes ting of ve rsion 12.0 .774355N/A N/APIA Rep ort giving  a false p ositive on  a deficie ncy that i s not pres ent.Medium One (1) de fect was f ound durin g Function al Testing  of versio n 12.0.N/A N/AN/AN/AN /ANo defec ts were fo und during  Unit Test ing of ver sion 13.0. N/AN/AN/AN /AN/ANo de fects were  found dur ing Compon ent Integr ation/Syst ems Testin g of versi on 13.0.N/ AN/AN/AN/A N/ANo defe cts were f ound durin g Regressi on testing  of versio n 13.0.N/A N/AN/AN/AN /ANo defec ts were fo und during  Functiona l Testing  of version  13.0._159 5745116.pd f