정책평가의 설계

정책평가의 설계  자연실험 (natural experiment) 은 준실험에 가까운 실험설계 -인위적인 개입이 없이 자연스럽게 실험설계와 유사한 상황이 일어난 경우 (a naturally occurring event or situation) 를 연구자가 연구질문에 맞게 이용 -자연스러운 사건이나 정치적 , 경제적 , 사회적 , 자연적 충격 (shock) 또는 급격한 정책이나 제도변화에 의해서 자연실험의 여건 형성 . 비용 적고 , 윤리적 문제 없음 . -연구자들은 실험자료 (experimental data) 가 아닌 비실험자료 (non-experimental data) 를 사용하는 경우가 대부분 . -비실험자료는 혼란변수의 영향으로 이미 오염된 자료 (contaminated data) 일 가능성이 많음 . -혼란변수의 효과를 제거하기 위해 각종 실험을 사용하는데 , 일반적으로 인위적 실험인 사회실험과 비인위적 방식의 자연실험이 있음 . -진실험에 비해 다른 외부 혼란요인들을 완벽히 통제할 수는 없지만 , 주요 경쟁가설들의 영향을 배제 또는 통제하기 위해 자연실험이 유용함 . ex) 캘리포니아 지진이 재산가치에 미친 영향을 회고적으로 조사할 경우 , -동일한 장소의 지진 이전의 재산가치와 지진 이후의 재산가치를 비교 -동일한 장소의 지진 경험한 사례와 경험하지 않은 사례를 비교  * John Snow 의 콜레라와 수질의 관계 연구 . 1854년 당시 런던 시내 Broad Street 와 Golden Square, 그 주변 지역에서만 10일 동안 500여명이 콜레라로 사망 . . 특정지역에 국한되어 콜레라가 발병 한 것에 주목한 스노우 (Snow) 는 1848년 1차 유행기와 1854년 2차 유행기에 사망한 환자들을 지도에 점(dot) 으로 표시 , . 그 결과 사망자 대부분이 Broad Street 주변의 Southwark & Vauxhall 회사에서 공급하는 물을 마 시고 있었다는 것을 발견 , . 이로부터 “ Southwark & Vauxhall 회 사의 물을 마시면 Lambeth 회사의 물을 마시는 것보다 콜레라에 걸릴 가능성이 증가한다”는 가설 설정 .  . 위 가설을 검정하기 위해 스노우는 “Grand Experiment” 진행. . 콜레라 발병과 Southwark & Vauxhall 회사의 취수 펌프 사이의 연관관계를 입증하기 위해 환자의 빈도와 분포를 도표로 비교분석 . . Southwark & Vauxhall 과 Lambeth 두 회사의 파이프라인 ,공급가구의 규모 , 점유형태 등에서 유사 , 회사 선택은 집주인 마음대로 . . 특히 Southwark & Vauxhall 회사의 물 (지역 우물 펌프 및 Central London 의 템즈강에서 취수)을 사용한 주민들의 경우 1,000 가구당 315명이 사망 . . 반면, Lambeth 회사의 물 (런던으로부터 20마일 상류에서 취수 )을 사용한 주민은 1,000 가구당 37명만 사망하였다는 사실을 통계적으로 증명 지역 (물회사의 공급구역 ) 가구수 콜레라 사망자 1천 가구당 사망자수 Southwark & Vauxhall 40,046 1,263 315 Lambeth 26,107 98 37 나머지 런던 256,423 1,422 59  Ex. 1. 동경대학의 “ 마피아 프리미엄 ” 은 존재하는가 ? .동경대학 출신들과 타대학 출신들을 비교하는 것은 부적절 (동경대학 출신들이 처음부터 우수했을 가능성이 있음 ) .자연실험 : 일본의 동경대학은 1969 년 학내사태로 인해 신입생을 선발하지 않음 (즉, 동경대학 69학번은 없음 ) .69학번 “ 다른 좋은 대학 ” 출신들 -여기서 자연실험이란 학내사태라는 역사적 사건이 이들을 강제적으로 동경대학에 들어오지 못하게 한 현상을 말함 -이들을 동경대 68학번 내지 70학번들과 비교 : 공무원 사회에서의 승진율 및 승진 속도 차이 비교 민간부문에서의 승진율 및 승진 속도 차이 비교 Ex. 1. 동경대학의 “ 마피아 프리미엄 ” 은 존재하는가 ? .동경대학 출신들과 타대학 출신들을 비교하는 것은 부적절 (동경대학 출신들이 처음부터 우수했을 가능성이 있음 ) .자연실험 : 일본의 동경대학은 1969 년 학내사태로 인해 신입생을 선발하지 않음 (즉, 동경대학 69학번은 없음 ) .69학번 “ 다른 좋은 대학 ” 출신들 -여기서 자연실험이란 학내사태라는 역사적 사건이 이들을 강제적으로 동경대학에 들어오지 못하게 한 현상을 말함 -이들을 동경대 68학번 내지 70학번들과 비교 : 공무원 사회에서의 승진율 및 승진 속도 차이 비교 민간부문에서의 승진율 및 승진 속도 차이 비교  Ex. 2. 광고가가격에미치는효과Jeffrey Milyo, and Joel Waldfogel (1999), “The Effect of Price Advertising on Prices: Evidence in the Wake of 44 Liquormart,” American Economic Review, 89, 1081-1096. .미국연방대법원판결(44 Liquormart Decision) 에따라로드아일랜드주가더이상주류광고금지를못하게됨. 즉, 대법원판결이후주류광고가허용됨. .연방대법원판결전후로로드아일랜드주의주류가격변화추이와매사추세츠주의동기간주류가격변화추이를비교함으로써주류광고허용이주류가격에미치는효과분석가능. : 자연실험자료에이중차분법적용한사례.반면인근매사추세츠주는연방대법원판결과무관하게이전부터주류광고가허용되어있었음. Ex. 2. 광고가가격에미치는효과Jeffrey Milyo, and Joel Waldfogel (1999), “The Effect of Price Advertising on Prices: Evidence in the Wake of 44 Liquormart,” American Economic Review, 89, 1081-1096. .미국연방대법원판결(44 Liquormart Decision) 에따라로드아일랜드주가더이상주류광고금지를못하게됨. 즉, 대법원판결이후주류광고가허용됨. .연방대법원판결전후로로드아일랜드주의주류가격변화추이와매사추세츠주의동기간주류가격변화추이를비교함으로써주류광고허용이주류가격에미치는효과분석가능. : 자연실험자료에이중차분법적용한사례.반면인근매사추세츠주는연방대법원판결과무관하게이전부터주류광고가허용되어있었음.  Ex. 3. 유류납품가담합에의한피해액.1998-2000 의3년간당시국내5대정유사가군납유류입찰시담합함: 담합으로인한피해액산정의문제가대두.만약담합이없었으면성립했을가상의경쟁가격을구해야함: 생각해볼수있는분석방법으로는다음세가지가있음1. 표준시장방법담합기의군납유류낙찰단가를담합이없던민간및해외의단가와비교(원고인정부가사용. 싱가포르현물시장가격을비교기준으로삼음.) 2. 전후비교방법군납의담합기와비담합기의리터당낙찰가를비교(물가상승률은통제) 3. 이중차분법(이중비교방법) 군납의담합기, 비담합기가격차이로부터민간의담합기, 비담합기가격차이를차감하는방법(감정인단등이사용하고재판부가수용함) Ex. 3. 유류납품가담합에의한피해액.1998-2000 의3년간당시국내5대정유사가군납유류입찰시담합함: 담합으로인한피해액산정의문제가대두.만약담합이없었으면성립했을가상의경쟁가격을구해야함: 생각해볼수있는분석방법으로는다음세가지가있음1. 표준시장방법담합기의군납유류낙찰단가를담합이없던민간및해외의단가와비교(원고인정부가사용. 싱가포르현물시장가격을비교기준으로삼음.) 2. 전후비교방법군납의담합기와비담합기의리터당낙찰가를비교(물가상승률은통제) 3. 이중차분법(이중비교방법) 군납의담합기, 비담합기가격차이로부터민간의담합기, 비담합기가격차이를차감하는방법(감정인단등이사용하고재판부가수용함)  1. DID (Difference-in-difference) Ex) 쓰레기 소각장 건설이 지역의 집값에 미치는 영향 . 2개 지역 (Near, Far) 과 2개 시점 (1978, 1981), 동전 던져 앞면 나온 지역에 쓰레기소각장 설치 (무작위 배정방식 ), 1979 년 Near 지역 쓰레기소각장 설치 . 구분Near(1) Far(2) (1) (2) 1978년(A) 63,693$ 82,517$ -18,824$ 1981년(B) 70,620$ 101,308$ -30,688$ (A) .(B) 6,927$ 18,791$ -11,864$ . 쓰레기소각장 설치 후인 1981 년 두 지역의 집값의 차이는 -30,688 달러. . -30,688 달러는 쓰레기소각장 설치 전 집값의 차이와 설치 후 집값의 하락분이 포함되어 있어 순수한 쓰레기소각장의 영향이라고 할 수 없음 . . -30,688 달러에서 1978 년 두 지역 집값 차이 (-18,824 달러)를 빼준 값 . -11,864 달러가 쓰레기 소각장 설치에 따른 순수한 효과 .  2. 도구변수 (Instrumental Variables) . 도구변수 추정법은 평가대상인 성과변수와는 직접 관련성이 없지만 , 사업의 참가 여부와는 관련성이 높은 변수를 매개변수로 삼아 효과를 추정하는 방법 . -첫 단계에서 참가여부 D. 를 설명변수 X. 와 도구변수 I. 에 회귀분석하고 , -여기서 얻어진 예측치 값 (predicted values) 을 설명변수로 성과함수에 넣어서 추정 하는 2SLS 의 방법으로 사용 . Ex.1) Evans and Ringel(1999) 의 연구 : -산모의 흡연이 태아의 체중에 미치는 영향 추정 , -주(state) 정부 담배세율을 도구변수로 활용 Ex. 2) Hoxby(2000) 의 연구 : -유치원 학급규모가 학생들의 학업 성취도 (성적)에 미치는 영향 분석 , -무작위적으로 변동하는 지역 출생 아동 수를 도구변수로 활용하여 ‘부모의 관심 ’이라는 제 3변수의 영향 차단 .  3.회귀 불연속 (Regression-Discontinuity) -회귀불연속모형은 프로그램 참여 여부의 기준을 가까스로 만족하는 실험 집단의 구성원과 약간의 차이로 제외된 통제집단의 구성원 간의 차이는 매 우 작을 수 있다는 점에 착안하여 불연속점 근방의 두 집단 간의 프로그램 성과를 비교하는 방법 . Ex.1) Jacob & Lefgren(2004), 하계수업(summer school) 의 효과 분석 . . 시카고 공립학교는 일정 수준에 미달하는 학생을 대상으로 하계수업 의무 부과 . 하계수업 프로그램의 대상이 처음부터 학업성취도가 낮은 학생들로 구성되어 프로그램 참여에 따른 성적향상 효과를 제대로 기대할 수 없음 . . 프로그램 참여 여부를 결정하는 점수에 약간 미달한 학생 (실험집단)과 가까스로 초과한 학생 (통제집단)을 대상으로 분석한 결과 , 하계수업 프로그램이 부분적으로 긍정적인 효과를 보였음을 주장 .  Cf. “ 통계적통제”를위해회귀분석법을적용한사례1 .아파트의평수와아파트연령은아파트가격에어떤영향을주는가? 계수.1, .2 의값이얼마인가? 통계적으로유의미한가? 분석모형Ⅰ Cf. “ 통계적통제”를위해회귀분석법을적용한사례1 .아파트의평수와아파트연령은아파트가격에어떤영향을주는가? 계수.1, .2 의값이얼마인가? 통계적으로유의미한가? 분석모형Ⅰ (아파트가격) = .1 + .1 (평수) + .2 (연령) + . .오래된아파트일수록비싸다? →통제되지않는제3의요인이존재한다. (아파트가격) = -20,394 + 1,549ⅹ(평수) + 0.76ⅹ(연령)  모형의수정: 분석모형Ⅱ모형의수정: 분석모형Ⅱ <1970 년대후반> 개발초기단계<조사시점2000 년> 포화단계대규모개발사업추진대규모아파트단지조성소규모건축사업추진소규모아파트단지건설.조사지역의아파트단지는어떤과정을통해조성되었는가?  01000200030004000500060000102030연령단지규모최근으로올수록아파트단지규모가작아진다. 서울수서지구에대단지의아파트개발사업이추진됨. 일종의이탈값(outlier) 임. 01000200030004000500060000102030연령단지규모최근으로올수록아파트단지규모가작아진다. 서울수서지구에대단지의아파트개발사업이추진됨. 일종의이탈값(outlier) 임.  (아파트가격) = .1+ .1 ( 평수) + .2 ( 연령) + .3 ( 단지규모) + . .아파트의평수와연령, 단지규모는아파트가격에어떤영향을미치는가? .1, .2, .3 값이얼마인가? 유의한가? .평당1,500∼1,600만원선에서거래(2000 년시세임) .새로지어진아파트나혹은대규모단지로지어진아파트에약간의프리미엄존재(아파트가격) = -20,291 + 1,538ⅹ(평수) .137ⅹ(연령) + 2ⅹ(단지규모)  분석모형III .지하철역과브랜드가아파트가격에미치는영향은어떠한가? .1, .2, .3, .4 , .5 값이얼마인가? 통계적으로유의미한가? 분석모형III .지하철역과브랜드가아파트가격에미치는영향은어떠한가? .1, .2, .3, .4 , .5 값이얼마인가? 통계적으로유의미한가? (아파트가격) = .1 + .1(평수) + .2 (연령) + .3 (단지규모) + .4 (지하철더미) + .5 (브랜드더미) .지하철유무와기업의인지도는아파트가격결정에있어상당한영향을미치는것으로파악된다. (아파트가격) = -21,182 + 1,524ⅹ(평수) -118ⅹ(연령) + 2ⅹ(단지규모)+1,087ⅹ(지하철더미) +1,300ⅹ(브랜드더미)  결혼시장의통계분석.심리학, 사회학, 인류학등에서행하는설문조사를통한남녀배우자선호비교연구: 정직한진술(truth telling) 이보장되지않는맹점. ( 예: 인종관련진술) .실제선택한결과를관측한현시선호(revealed preference) 의데이터를연구할필요가있음. .국내모결혼정보회사의상세한개인프로필및선택에대한현시선호데이터를사용하여, 우리나라중매결혼시장에서남녀의배우자선호의차이를비교해봄: 사회경제적인조건과외모조건에대한선호에있어서남녀의차이가어떻게드러나는가? Cf. “ 통계적통제”를위해회귀분석법을적용한사례2 결혼시장의통계분석.심리학, 사회학, 인류학등에서행하는설문조사를통한남녀배우자선호비교연구: 정직한진술(truth telling) 이보장되지않는맹점. ( 예: 인종관련진술) .실제선택한결과를관측한현시선호(revealed preference) 의데이터를연구할필요가있음. .국내모결혼정보회사의상세한개인프로필및선택에대한현시선호데이터를사용하여, 우리나라중매결혼시장에서남녀의배우자선호의차이를비교해봄: 사회경제적인조건과외모조건에대한선호에있어서남녀의차이가어떻게드러나는가? Cf. “ 통계적통제”를위해회귀분석법을적용한사례2  사회경제적조건및신체적조건들사회경제적조건및신체적조건들 남여 특성 나이 신장(cm) 체중(kg) 인상등급 (0~5) 연봉(원) 중간값 32.2 173 68 3 3500 평균 33.4 173.7 69.3 3 4833 표준편차 3.4 4.3 6.8 1.2 2575 중간값 29.6 162 50 3 2200 평균 30.3 162.7 50.2 3 3504 표준편차 2.7 3.9 4.1 1.1 1860 학력 대학원 이상 (%) 대졸 이상 (%) 고졸(%) 남 22 89 11 여 28 83 17 결혼적령기의전체인구집단과비교할때, 결혼정보회사의회원들은나이는다소많고, 신장은다소크고연봉은많으며, 학력이높음.  ‘결혼정보회사’의배우자지수.사회경제적위세지수(SESI: Socio Economic Status Index): 학력, 학벌, 직업, 소득등을포괄하는지수(회사측에서작성). .신체적매력지수(PAI: Physical Attractiveness Index): 키, 체중, 인상등급등을포괄하는지수(회사측에서작성). .가정환경지수(FBI: Family Background Index): 부의학력, 부의직업, 부의재산, 양친생존여부, 부모이혼여부, 형제관계등을포괄하는지수로회사에서작성. ‘결혼정보회사’의배우자지수.사회경제적위세지수(SESI: Socio Economic Status Index): 학력, 학벌, 직업, 소득등을포괄하는지수(회사측에서작성). .신체적매력지수(PAI: Physical Attractiveness Index): 키, 체중, 인상등급등을포괄하는지수(회사측에서작성). .가정환경지수(FBI: Family Background Index): 부의학력, 부의직업, 부의재산, 양친생존여부, 부모이혼여부, 형제관계등을포괄하는지수로회사에서작성. 남 여 지수 SESI PAI FBI 최저값 중간값 최고값 평균 표준편차 최저값 중간값 최고값 평균 표준편차 34.1 73 100 72 11 33.2 71 99.7 70 13 21 8010076 12 14 8210079 10 7.6 54 99.3 54 19 7.6 62 98.1 61 19  결혼에이르는단계와만남후남녀의반응매칭(247,418 쌍) 만남(58,420 쌍) 교제(12,806 쌍) 결혼(810 쌍) 남:싫다여:좋다남:좋다여:좋다남:싫다여:싫다남:좋다여:싫다만남후남녀의반응(교제의사) 결혼에이르는단계와만남후남녀의반응매칭(247,418 쌍) 만남(58,420 쌍) 교제(12,806 쌍) 결혼(810 쌍) 남:싫다여:좋다남:좋다여:좋다남:싫다여:싫다남:좋다여:싫다만남후남녀의반응(교제의사)  (반응) = .+ .1(상대의SESI) + .2(상대의PAI) + .3 (상대의FBI) + . 반응: 좋다=1, 싫다=0 분석모형및추정결과남자의반응여자의반응추정치표준오차추정치표준오차SESI 0.0123 0.0130 0.0191* 0.0014 PAI 0.0319* 0.0034 0.0118* 0.0027 FBI 0.0139* 0.0053 0.0029 0.0087  해석과함의.결혼정보회사를통한중매결혼시장에서, “여자는남자의사회경제적조건을, 남자는여자의외모를중시한다” .사회경제적조건과외모의교환관계(Trade off between SESI & PAI) .남자가여자를평가할때는사회경제적조건(SESI) 에비해외모(PAI) 를중시하는반면, 여자가남자를평가할때는사회경제적조건에비해외모를중시한다. 해석과함의.결혼정보회사를통한중매결혼시장에서, “여자는남자의사회경제적조건을, 남자는여자의외모를중시한다” .사회경제적조건과외모의교환관계(Trade off between SESI & PAI) .남자가여자를평가할때는사회경제적조건(SESI) 에비해외모(PAI) 를중시하는반면, 여자가남자를평가할때는사회경제적조건에비해외모를중시한다.  1. 질적 설계 및 평가 1) 의의 및 특징 . 질적 평가는 프로그램 대상집단 등에 대한 심층면접 , 참여관찰, 현 지조사, 문서 등의 자료원을 가지고 평가자의 경험 , 지식 등에 기초 해 주관적으로 평가하는 것 . 질적 평가는 결과의 일반화보다는 하나의 이슈 , 문제 혹은 현상에 대해 깊은 이해를 얻는 것을 목적으로 함 . 질적 평가는 성과평가보다는 프로그램의 투입에서 산출에 이르는 과정이 어떠했는가를 중심으로 분석  2) 정책평가에서 질적 방법 [패튼(Patton, 2002) 은 정책평가와 관련해 질적 접근이 적용될 수 있는 경우] . 이해관계자의 생각을 받아드려 평가의 개성화와 인간화에 기여코자 할때 . 다양한 이해관계자가 가지고 있는 평가 가치를 조화시키고자 할 때 . 발생적, 참여적, 민주적 평가를 할 때 . 비강제적인 측정을 수행할 필요가 있을 때 . 이해가 부족한 이슈 . 신속하게 문제를 검토하고자 할 때 . 줄거리를 파악하거나 전달하기 위해 . 현장에서 어느 정도 발생하고 있는지를 조사하고 모니터링하기 위해 . 의도하지 않은 결과를 파악하기 위해 . 새로운 시각을 형성하기 위해  양적 평가방법론 질적 평가방법론 가치의 역할 객관적 주관적 유형 연역적 귀납적 응답자에게 부과된 구조의 정도 높음 낮음 (개입 또는 응답) 조정의 정도 높음 낮음 관찰을 위해 소모되는 시간 적음 많음 조사자와 주제 사이의 거리 높음(멀다.) 낮음(가깝다) 조사자의 역할 기술자 주제와 관련된 동반자 수집된 자료의 특징 강성자료(hard data; 주로 수량화되어 있 는 자료들, ex. 숫자, 퍼센티지, 비율 등) 연성자료(soft data; 수량화되어 있지 않은 자료들, ex. 문자, 단어, 사진, 상징 등) 평가의 강조 평가조사의 성과 또는 결과를 중시 평가조사의 과정을 중시 평가조사방법의 유형들 . 단일사례 또는 단일 집단조사(사후조사, 사전-사후조사) . 실험(experimental) 조사 . 준 실험 조사 . 민속학적 조사(ethnograpic study 또는 현장조사, field study) . 사례조사 자료수집방법 . 설문조사: 질문지(또는 구조화된 질문지 를 이용) . 구조화되지 않은 공식적 인터뷰, 심층인터 뷰, 열인 형태의 인터뷰 . 관찰  질적 방법의 특징 . 평가 이슈의 심층적 연구 . 정책 맥락의 이해 . 집행 과정에 대한 평가 . 효과성 평가의 보완 . 참여적 평가 3) 질적 연구와 양적 연구의 관계 . 양적연구와 질적 연구의 장단점 . 양자의 통합의 필요성  [사례] Case1: 사회적 취약계층의 사회적 배제에 대한 문화복지 프로그램의 기 능 : 문화복지실천가 대상 질적연구 . 문화복지프로그램을 통한 사회적 취약계층의 사회적 배제 해소가능성을 탐 색하기 위한 것이다 . 이를 위하여 본 연구에서는 문화복지실천가 대상 인터뷰 를 토대로 기노시다 (木下康仁)에 의해 창안된 수정근거이론 (Modified Grounded Theory Approach) 을 활용한 질적 분석을 시도 Case 2: 한국보건사회연구원 , 2007 년 국민기초생활보장제도 모니터링 및 평가 -수급자 및 사회복지전담공무원 대상 질적연구 수집한 녹음 자료를 텍스트로 필사하여 , 이를 원자료로 쓰는 방식을 채택하였 다. 특히 자료 분석은 지속적 비교분석 방법을 활용 , 이는 질적 연구 방법중 근 거 이론 )과 관련된 방법으로서 , 자료를 읽으면서 나타나는 중심 주제를 찾으면 이 주제를 견지하면서 자료들을 다시 검토하고 , 이렇게 재검토하면서 새롭게 나타나는 하위 주제들을 발견하며 자료에서 도출되는 중심 개념과 주제들을 정 리  4) 질적 평가의 절차 (1) 연구 대상의 선정 (2) 조사설계 (3) 자료 수집 (4) 자료의 분석 (5) 자료의 해석과 결과 활용 5) 질적 접근에서 고려할 사항 (1) 자료수집시 누락 주의 및 불분명하고 미완의 자료수집 하지 않아야 (2) 맥락을 고려하지 않고 자료해석 하지 않도록 주의 (3) 증거자료의 체계적 정리 , 즉시 정확하게 정리 (4) 자료 평가시 분석가의 경험에 비춰 문제 있는지 확인 (5) 자료수집시 다른 사람과의 의견교환 , 유사한 연구와 비교 (6) 최상의 사례를 활용 (7) 결론은 폭넓은 자료원으로부터 도출해야  5. 평가설계의 선택 . 어떠한 설계 방법을 선택하는 것이 바람직한가 ? . 가장좋은 설계는 평가 대상 , 평가의 목적 , 예산, 시간 및 자료의 한계 , 시 간적 범위 , 평가가 언제 실시되는가와 같은 것에 적합한 설계 . [바람직한 평가설계의 기준 ] . 유용성, . 실현가능성, . 타당성, . 정확성 [일본의 정책평가 지침 : 평가 방법 선택 기준 ] . 평가의 실시에서는 우선 정량적인 평가 기법을 개발해 가능한 한 구체적인 통계 수치에 의한 정량적인 평가 방법을 이용하도록 노력 . . 정량적인 평가 방법의 적용이 곤란하거나 객관성 확보에 문제가 없는 경우에는 질적평가 방법을 적용 . . 평가는 많은 비용과 업무 부담을 요하는 것으로 비용이 많이 들어가고 , 고급의 정 량평가 기법을 과도하게 사용하는 것은 효율적이지 않을 수도 있다는 것을 명심해 야함 . 평가에서 필요로 하는 정보 , 필요한 분석의 정밀도 및 평가의 시간과 비용을 사전에 검토해 적절한 평가 방법을 선택해야 . . 평가 방법을 선택할 때 사후적으로 평가결과가 확인 가능한가를 고려해야 .