증거 기반 관행

Evidence-based practice

증거 기반 관행은 직업 관행이 과학적 증거에 기초해야 한다는 생각입니다.겉보기에는 바람직하지만, 그 제안은 전통적인 [1]관행뿐만 아니라 결과가 개인에게 특화되지 않을 수도 있다는 주장과 함께 논란이 되어 왔습니다.1992년 증거 기반 의학이 공식적으로 도입된 이후 증거 기반 관행이 자리를 잡고 있으며 관련 보건 분야,[2] 교육, 관리, 법률, 공공 정책, 건축 및 기타 분야로 확산되고 있습니다.(복제 위기와 같은) 과학 연구의 문제점을 보여주는 연구들에 비추어 볼 때, 과학 연구 자체에 증거 기반 관행을 적용하려는 움직임도 있습니다.증거에 기초한 과학의 실천에 대한 연구를 메타사이언스라고 합니다.

증거 기반 관행을 향한 움직임은 전문가와 다른 의사 결정자들이 자신의 의사 결정을 알리기 위해 증거에 더 많은 관심을 기울이도록 장려하고, 경우에 따라 요구합니다.증거 기반 관행의 목표는 전통, 직관 및 비체계적 경험에서 확고하게 근거를 둔 과학적 [3]연구로 의사 결정의 기반을 전환함으로써 더 효과적인 관행을 선호하여 건전하지 않거나 구식인 관행을 제거하는 것입니다.

개인 또는 조직은 세 가지 조건이 충족되는 경우에만 특정 관행이 증거 기반이라고 주장하는 것이 정당화됩니다.첫째, 개인 또는 조직은 하나 이상의 대체 관행의 효과와 비교하여 특정 관행의 효과에 대한 비교 증거를 보유합니다.둘째, 특정 관행은 주어진 관행 영역에서 개인 또는 조직의 선호도 중 적어도 하나에 따라 이 증거에 의해 뒷받침됩니다.셋째, 개인 또는 조직은 [4]청구의 기초가 되는 증거와 선호도를 설명함으로써 이러한 지원에 대한 건전한 설명을 제공할 수 있습니다.

역사

대부분의 역사 동안, 전문가들은 전통의 형태로 전해진 경험에서 파생된 전문 지식에 기반을 두고 있습니다.이러한 관행 중 많은 것들이 증거에 의해 정당화되지 않았으며, 이는 때때로 돌팔매질과 저조한 [5]성과를 가능하게 했습니다.명백한 공격이 존재하지 않는 경우에도 전통적인 방식의 품질과 효율성은 최적이 아닐 수 있습니다.과학적 방법이 관행을 평가하기 위한 건전한 수단으로 점점 더 인식되면서 증거 기반 관행이 점점 더 채택되고 있습니다.

증거 기반 관행의 초기 지지자 중 한 명은 1972년에 효과와 효율: 의료 서비스에 대한 무작위 반사라는 책을 쓴 역학자 아치 코크레인이었습니다.Cochrane의 책은 건강 관리 전략을 적절하게 테스트하는 것의 중요성을 주장했고,[6] 의학의 증거 기반 관행의 기초가 되었습니다.Cochrane은 자원이 항상 제한적이기 때문에 효과적이기 위해 적절하게 설계된 평가에서 보여준 건강 관리 형태를 제공하는 데 사용되어야 한다고 제안했습니다.Cochrane은 가장 신뢰할 수 있는 증거는 무작위 대조 [7]실험에서 나온 것이라고 주장했습니다.

"증거 기반 의학"이라는 용어는 1990년 Gordon Guyatt에 의해 미발표 프로그램 설명에서 소개되었으며,[8][9][10] 이후 1992년에 처음으로 발표되었습니다.이것은 공식적으로 확립된 최초의 증거 기반 관행을 나타냅니다.증거 기반 의학의 일부 초기 실험은 혈소판 감소와 같은 원시적인 의학 기술을 시험하고 현대적이고 받아들여진 치료법의 효과를 연구하는 것을 포함했습니다.보험 제공자들은 의료 분야에서 증거 기반 관행을 추진해 왔으며, 때로는 체계적인 유용성 증거가 부족한 관행에 대한 적용을 거부했습니다.이제 대부분의 고객들은 의료 전문가들이 증거를 기반으로 의사 결정을 내리고 최신 정보에 대한 정보를 계속 제공해야 한다고 예상합니다.의학에서 증거 기반 관행이 널리 채택된 이후, 증거 기반 관행의 사용은 다른 [11]분야로 빠르게 확산되었습니다.

최근에는 증거에 기반한 교육이 추진되고 있습니다.간격 반복과 같은 증거 기반 학습 기술의 사용은 학생들의 학습 속도를 향상시킬 수 있습니다.일부 논평가들은[who?] 교육 분야에서 실질적인 진전이 없는 것은 수천 명의 개별 교사들의 연결되지 않고 누적되지 않은 경험에 휴식을 취하는 연습 때문이라고 제안했고, 각각의 교사들은 운전대를 다시 발명하고 '무엇이 효과가 있는지'에 대한 확고한 과학적 증거로부터 배우지 못했습니다.이 견해에 반대하는 사람들은 교사의 스타일, 성격, 신념, 그리고 특정한 [12]아이들의 요구와 관련된 많은 요소들에 의존하기 때문에 교수법을 평가하는 것이 어렵다고 주장합니다.다른 사람들은 교사 경험이 연구 증거와 결합될 수 있지만, 후자가 특권적인 [13]출처로 취급되지는 않는다고 주장합니다.이는 증거 기반 관행에 한계가 있으며 더 나은 대안은 증거 정보 관행(EIP)사용하는 것이라고 제안하는 학파와 일치합니다.이 과정에는 정량적 증거가 포함되며 비과학적 편견은 포함되지 않지만 임상 경험 및 실무자와 [14][15][16]고객의 분별력과 같은 질적 요인이 포함됩니다.

전통과 비교하여

증거에 기초한 실천은 전통과 반대되는 철학적 접근법입니다."항상 행해졌던 방식"에 대한 어느 정도의 의존도는 새롭고 더 [17]나은 정보에 의해 그러한 관행이 모순될 때에도 거의 모든 직업에서 발견될 수 있습니다.

일부 비평가들은 연구가 모집단 수준에서 수행되기 때문에 결과가 모집단 내의 각 개인에게 일반화되지 않을 수 있다고 주장합니다.따라서 증거 기반 관행은 각 개인에게 최상의 솔루션을 제공하지 못할 수 있으며, 전통적 관행은 개인의 차이를 더 잘 수용할 수 있습니다.이에 대응하여, 연구자들은 특정 관행이 다양한 하위 문화, 성격 유형 [18]등에 더 잘 적용되는지 테스트하기 위해 노력했습니다.일부 저자들은 증거 기반 관행을 재정의하여 [17]증거 기반 관행과 함께 일반적인 지혜, 전통 및 개인적 가치를 통합하는 관행을 포함합니다.

증거 평가

과학 연구를 평가하는 것은 매우 복잡합니다.과정은 증거의 계층이라고 불리는 과학적 연구에서 얻은 결과의 상대적인 강도를 순위를 매기는 휴리스틱의 사용으로 크게 단순화될 수 있습니다.연구의 설계와 측정된 최종 산물(예: 생존 또는 삶의 질)은 증거의 강도에 영향을 미칩니다.일반적으로 체계적인 검토와 메타 분석은 계층 구조의 상위에 랭크되는 반면 무작위로 통제된 시험은 관찰 연구보다 상위랭크되며 전문가 의견과 사례 보고서는 하위에 랭크됩니다.다양한 유형의 연구의 상대적 강도에 대한 광범위한 합의가 있지만, 보편적으로 수용되는 단일 증거 계층은 없습니다.의학적 [19]증거를 평가하기 위해 80개 이상의 다양한 계층 구조가 제안되었습니다.

적용들

증거 기반 의학은 잘 설계되고 잘 수행된 연구의 증거 사용을 강조함으로써 의사 결정을 최적화하기 위한 의료 행위에 대한 접근법입니다.과학에 기반을 둔 모든 의학이 어느 정도의 경험적 지지를 받고 있지만, 증거에 기반을 둔 의학은 더 나아가 인식론적 강도에 따라 증거를 분류하고 가장 강력한 유형(메타 분석, 체계적인 검토,그리고 무작위 대조 시험)은 강력한 권장 사항을 산출할 수 있으며, 약한 유형(예: 사례 제어 연구)은 약한 권장 사항만 산출할 수 있습니다.이 용어는 원래 개별 [20]환자에 대한 개별 의사의 의사 결정을 개선하고 의료 관행을 가르치는 접근 방식을 설명하기 위해 사용되었습니다.이 용어의 사용은 환자와 모집단의 그룹에 적용되는 지침 및 정책 설계에서 증거의 사용을 강조하는 이전에 설명된 접근법("증거 기반 실행 정책")[21]을 포함하도록 빠르게 확장되었습니다.

의료 교육에 적용하든, 개인에 대한 결정, 지침 및 정책을 인구에 적용하든, 일반적으로 보건 서비스의 관리에 적용하든, 증거 기반 의학은 의사, 전문가, 전문가, 의사의 신념뿐만 아니라 결정과 정책이 증거에 기초해야 한다고 주장합니다.또는 관리자.따라서 지식 격차나 편견에 의해 제한될 수 있는 임상의의 의견이 과학 문헌에서 사용 가능한 모든 지식으로 보완되어 모범 사례가 결정되고 적용될 수 있도록 노력합니다.증거 분석을 위한 공식적이고 명시적인 방법의 사용을 촉진하고 의사 결정자가 이를 이용할 수 있도록 합니다.그것은 의대생, 의사, 그리고 정책 입안자들에게 그 방법들을 가르치는 프로그램을 홍보합니다.

개입의 [22]효과에 대한 증거를 제시하고자 하는 사람들에게 표준화된 경로를 제공하는 프로세스가 지정되었습니다.원래 주택 부문에서 증거를 생산하기 위한 프로세스를 확립하기 위해 개발된 이 표준은 본질적으로 일반적이며 다양한 실무 영역과 잠재적 관심 결과에 적용할 수 있습니다.

정신건강

증거 기반 관행의 보급을 개선하기 위해, 행동인지 치료 협회(ABCT)와 임상 아동 및 청소년 심리학 협회(SCCAP,미국 심리학회 [23]53부)는 개업의와 일반 대중을 위한 심리학의 증거 기반 관행에 대한 최신 정보를 웹사이트에 유지합니다.2018년 정신 건강 관리에 대한 정상회담에서 증거 기반 관행 합의문이 개발되었습니다.2019년 6월 23일 현재, 이 성명은 36개 기관에 의해 승인되었습니다.

메타사이언스

이후 복제 위기와 [24]과학 연구에 영향을 미치는 다른 주요 문제들을 해결하기 위해 과학 연구를 수행하는 데 증거 기반 관행을 사용하려는 움직임이 있었습니다.연구 자체에 증거 기반 관행을 적용하는 것을 메타사이언스라고 하는데, 이는 낭비를 줄이면서 과학 연구의 질을 높이는 것을 추구합니다."연구에 관한 연구"와 "과학의 과학"으로도 알려져 있는데, 연구 방법을 사용하여 연구가 어떻게 이루어지고 어디서 개선이 이루어질 수 있는지를 연구하기 때문입니다.메타과학의 다섯 가지 주요 연구 분야는 방법론, 보고, 재현성, 평가[25]인센티브입니다.메타사이언스는 과학 연구 관행 [26]개선을 목표로 연구 사전 등록 사용 및 보고 지침 구현과 같은 과학 분야의 많은 개혁을 이루어냈습니다.

교육

증거 기반 교육(EBE)은 정책 입안자와 교육자가 경험적 증거를 사용하여 교육 개입(정책, 관행 및 프로그램)[27]에 대한 정보에 입각한 결정을 내리는 모델입니다.다시 말해서, 결정은 의견보다는 과학적인 증거에 근거합니다.

EBE는 영국 작가 데이비드 H. 하그리브스가 1996년에 의학과 마찬가지로 교육이 "연구 [28]기반 직업"이라면 교육이 더 효과적일 것이라고 제안한 이후로 주목을 받았습니다.

2000년 이래로, 호주, 영국, 스코틀랜드, 그리고 미국의 연구들은 [29][30][31]읽기를 가르치는 데 있어 교육 관행을 개선하기 위한 연구의 사용을 지지해 왔습니다.

1997년, 국립 아동 보건 인간 개발 연구소는 어린이들에게 독서를 가르치는 데 사용되는 다양한 접근법의 효과를 평가하기 위해 전국적인 패널을 소집했습니다.결과로 나온 국립 독서 위원회는 음성학과 전체 언어를 포함한 많은 읽기 교육 분야에 대한 양적 연구를 조사했습니다.2000년에 그것은 어린이들에게 읽는 것을 가르칩니다:라는 제목의 보고서를 출판했습니다. 미국[32][33][34]독서교육 모범사례에 대해 알려진 바를 종합적으로 검토한 독서에 관한 과학연구 문헌과 독서교육에 대한 시사점에 대한 증거기반 평가

이것은 2000년의 국제 학생 평가 프로그램과 2001년의 국제 독서 리터러시 연구의 진전과 같은 국제 연구와 거의 비슷한 시기에 발생했습니다.

그 후, 미국에서는 2001년에 남겨진 아이가 없고 2015년에 모든 학생 성공법으로 대체된 증거 기반 교육 관행(과학적 기반 연구라고도 함)이 두드러졌습니다.

2002년에 미국 교육부는 교육 관행과 정책을 안내하는 과학적 증거를 제공하기 위해 교육 과학 연구소를 설립했습니다.

영국 작가 Ben Goldacre는 2013년에 교육 [35]개입의 효과를 평가하기 위해 체계적인 변화와 더 무작위화된 통제된 시험을 옹호했습니다.2014년, 영국[36] 버크셔의 국립 교육 연구 재단 교실에서 증거를 사용하는 것:이라는 제목의 보고서를 발표했습니다. 작동 원리이유.[37]2014년 영국 교육 연구 협회와 왕립 예술 협회는 교사-연구자와 더 넓은 학술 연구 커뮤니티 [38][39]간의 더 긴밀한 협력 관계를 주장했습니다.

교육에 대한 기존 연구의 리뷰

다음 웹 사이트는 교육 연구에 대한 무료 분석 및 정보를 제공합니다.

  • 최고의 증거[40] 백과사전은 존스 홉킨스 대학 교육대학원의 데이터 중심 개혁 센터(2004년 설립)가 만든 무료 웹사이트이며 미국 교육부 교육과학연구소의 자금 지원을 받고 있습니다.그것은 교육자들과 연구원들에게 K-12학년 학생들이 이용할 수 있는 다양한 영어 프로그램을 뒷받침하는 증거의 강도에 대한 리뷰를 제공합니다.그 리뷰는 수학, 읽기, 쓰기, 과학, 포괄적인 학교 개혁, 유아 교육과 같은 분야의 프로그램을 포함하며, 기술의 효과와 독자들의 어려움과 같은 주제를 포함합니다.
  • 교육 기금 재단은 정부가 지정한 영국 [41]교육을 위한 What Works Centre for UK Education과 함께 Permit Trust와 협력하여 선도적인 자선 단체로서 서튼 트러스트에 의해 2011년에 설립되었습니다.
  • 모든 학생 성공법[42] 증거는 2017년에 시작되었고 존스 홉킨스 교육대학의 연구 개혁 센터에[43] 의해 생산됩니다.그것은 모든 학생 성공법([44]2015년 오바마 대통령이 서명한 미국 K-12 공교육 정책)의 기준을 충족하는 읽기, 쓰기, 수학, 과학 및 기타 분야의 현재 PK-12 프로그램에 대한 최신 정보를 무료로 제공합니다.또한 모든 학생 성공법 표준과 그렇지 않은 프로그램에 대한 정보도 제공합니다.
  • 2002년에 설립된 What Works Clearinghouse는 [45]증거의 질과 양, 그리고 효과에 따라 12개의 범주로 이루어진 다양한 교육 프로그램을 평가합니다.교육 과학[45] 연구소의 일부인 연방 교육 평가 및 지역 지원 센터에 의해 운영됩니다.
  • 작동하는 소셜 프로그램Arnold Ventures LLC의 증거 기반 정책 팀에 의해 관리됩니다.이 팀은 정책 [46]결정에 잘 수행된 무작위 제어 시험(RCT)의 사용을 옹호하는 비영리, 초당적 조직인 증거 기반 정책 연합의 전 지도부로 구성되어 있습니다.그것은 교육을 포함한 12가지 사회 프로그램에 대한 정보를 제공합니다.

다양한 다른 기관들은 연구와 교육에 대한 정보를 제공합니다.

참고 항목

레퍼런스

  1. ^ 예:Trinder, L. and Reynolds, S. (eds) (2000) 증거 기반 관행: 비판적 평가.옥스퍼드, 블랙웰 사이언스.
  2. ^ Li, Rita Yi Man; Chau, Kwong Wing; Zeng, Frankie Fanjie (2019). "Ranking of Risks for Existing and New Building Works". Sustainability. 11 (10): 2863. doi:10.3390/su11102863.
  3. ^ Leach, Matthew J. (2006). "Evidence-based practice: A framework for clinical practice and research design". International Journal of Nursing Practice. 12 (5): 248–251. doi:10.1111/j.1440-172X.2006.00587.x. ISSN 1440-172X. PMID 16942511. S2CID 37311515.
  4. ^ Gade, Christian (2023). "When is it justified to claim that a practice or policy is evidence-based? Reflections on evidence and preferences". Evidence & Policy. 이 문서에는 CC BY 4.0 라이센스로 사용할 수 있는 텍스트가 포함되어 있습니다.
  5. ^ Bourgault, Annette M.; Upvall, Michele J. (2019). "De‐implementation of tradition‐based practices in critical care: A qualitative study". International Journal of Nursing Practice. 25 (2): e12723. doi:10.1111/ijn.12723.
  6. ^ Cochrane, A.L. (1972). Effectiveness and Efficiency. Random Reflections on Health Services. London: Nuffield Provincial Hospitals Trust. ISBN 978-0900574177. OCLC 741462.
  7. ^ 코크레인 협업(2003) http://www.cochrane.org/about-us/history/archie-cochrane 웨이백 머신에서 2021-02-24 보관.
  8. ^ "Development of evidence-based medicine explored in oral history video". American Medical Association. Retrieved 2020-12-23.
  9. ^ Sackett, D L; Rosenberg, W M (November 1995). "The need for evidence-based medicine". Journal of the Royal Society of Medicine. 88 (11): 620–624. doi:10.1177/014107689508801105. ISSN 0141-0768. PMC 1295384. PMID 8544145.
  10. ^ Evidence-Based Medicine Working Group (1992-11-04). "Evidence-based medicine. A new approach to teaching the practice of medicine". JAMA. 268 (17): 2420–2425. doi:10.1001/jama.1992.03490170092032. ISSN 0098-7484. PMID 1404801.
  11. ^ "A Brief History of Evidence-based Practice". Evidence Based Practice in Optometry. University of New South Wales. Retrieved 24 June 2019.
  12. ^ Hammersley, M. (2013) 연구 기반 정책과 실천의 신화런던: 세이지.
  13. ^ Thomas, G. and Pring, R. (eds.) (2004).증거 기반 교육 실천.대학 출판부를 엽니다.
  14. ^ Nevo, Isaac; Slonim-Nevo, Vered (September 1, 2011). "The Myth of Evidence-Based Practice: Towards Evidence-Informed Practice". The British Journal of Social Work. 41 (6): 1176–1197. doi:10.1093/bjsw/bcq149 – via Silverchair.
  15. ^ "Working in Health Promoting Ways". Tasmanian Department of Health.
  16. ^ "(PDF) Evidence-based Practice vs. Evidence-informed Practice: What's the Difference?".
  17. ^ a b Buysse, V.; Wesley, P.W. (2006). "Evidence-based practice: How did it emerge and what does it really mean for the early childhood field?". Zero to Three. 27 (2): 50–55. ISSN 0736-8038.
  18. ^ de Groot, M.; van der Wouden, J. M.; van Hell, E. A.; Nieweg, M. B. (31 July 2013). "Evidence-based practice for individuals or groups: let's make a difference". Perspectives on Medical Education. 2 (4): 216–221. doi:10.1007/s40037-013-0071-2. PMC 3792230. PMID 24101580.
  19. ^ Siegfried T (2017-11-13). "Philosophical critique exposes flaws in medical evidence hierarchies". Science News. Retrieved 2018-05-16.
  20. ^ Evidence-Based Medicine Working Group (November 1992). "Evidence-based medicine. A new approach to teaching the practice of medicine". JAMA. 268 (17): 2420–25. CiteSeerX 10.1.1.684.3783. doi:10.1001/JAMA.1992.03490170092032. PMID 1404801.
  21. ^ Eddy DM (1990). "Practice Policies – Where Do They Come from?". Journal of the American Medical Association. 263 (9): 1265, 1269, 1272, 1275. doi:10.1001/jama.263.9.1265. PMID 2304243.
  22. ^ Vine, Jim (2016), Standard for Producing Evidence – Effectiveness of Interventions – Part 1: Specification (StEv2-1), HACT, Standards of Evidence, ISBN 978-1-911056-01-0
  23. ^ "SCCAP Division 53 – The Society for Child Clinical and Adolescent Psychology".
  24. ^ Rathi, Akshat (22 October 2015). "Most science research findings are false. Here's how we can change that". Quartz. Retrieved 13 June 2019.
  25. ^ Ioannidis, John P. A.; Fanelli, Daniele; Dunne, Debbie Drake; Goodman, Steven N. (2 October 2015). "Meta-research: Evaluation and Improvement of Research Methods and Practices". PLOS Biology. 13 (10): e1002264. doi:10.1371/journal.pbio.1002264. ISSN 1544-9173. PMC 4592065. PMID 26431313.
  26. ^ Ioannidis, John P. A.; Fanelli, Daniele; Dunne, Debbie Drake; Goodman, Steven N. (2015-10-02). "Meta-research: Evaluation and Improvement of Research Methods and Practices". PLOS Biology. 13 (10): –1002264. doi:10.1371/journal.pbio.1002264. ISSN 1545-7885. PMC 4592065. PMID 26431313.
  27. ^ Trinder, L. 및 Reynolds, S. (eds) (2000) 증거 기반 관행: 비판적 평가, 옥스퍼드, 블랙웰 사이언스
  28. ^ "(PDF) Knowledge creation as an approach to facilitating evidence informed practice: Examining ways to measure the success of using this method with early years practitioners in Camden (London)".
  29. ^ "Teaching Reading" (PDF). Australian Government Department of Education, Science and Training.
  30. ^ "Independent review of the teaching of early reading, 2006" (PDF). Archived (PDF) from the original on 2010-05-12. Retrieved 2020-07-31.
  31. ^ Johnston, Rhona S; Watson, Joyce E, Insight 17 - A seven year study of the effects of synthetic phonics teaching on reading and spelling attainment, IAC:ASU Schools, ISSN 1478-6796, archived from the original on 2017-01-14
  32. ^ "National Reading Panel (NRP) – Publications and Materials – Summary Report". National Institute of Child Health and Human Development. (2000). Report of the National Reading Panel. Teaching children to read: An evidence-based assessment of the scientific research literature on reading and its implications for reading instruction (NIH Publication No. 00-4769). Washington, DC: U.S. Government Printing Office. 2000. Archived from the original on 2010-06-10.
  33. ^ "National Reading Panel (NRP) – Publications and Materials – Reports of the Subgroups". National Institute of Child Health and Human Development. (2000). Report of the National Reading Panel. Teaching children to read: an evidence-based assessment of the scientific research literature on reading and its implications for reading instruction: Reports of the subgroups (NIH Publication No. 00-4754). Washington, DC: U.S. Government Printing Office. 2000. Archived from the original on 2010-06-11.
  34. ^ "Teacher's Guide, Put Reading First - K-3, NICHD, edpubs@inet.ed.gov" (PDF).
  35. ^ "Building Evidence into Education". gov.uk.
  36. ^ "Home". NFER.
  37. ^ "Using Evidence in the Classroom: What Works and Why, Nelson, J. and O'Beirne, C. (2014). Slough: NFER. ISBN 978-1-910008-07-2" (PDF).
  38. ^ "The role of research in teacher education: reviewing the evidence-BERA-RSA, January 2014" (PDF).
  39. ^ "Research and Teacher Education". www.bera.ac.uk.
  40. ^ "Best Evidence Encyclopedia". Best Evidence Encyclopedia.
  41. ^ "Loading..." educationendowmentfoundation.org.
  42. ^ "Evidence for ESSA".
  43. ^ "Center for Research and Reform in Education".
  44. ^ "Every Student Succeeds Act (ESSA) U.S. Department of Education". www.ed.gov.
  45. ^ a b "WWC Find What Works!". ies.ed.gov.
  46. ^ http://toptierevidence.org/ 효과가 있는 사회 프로그램

외부 링크