프로젝트하면서 성과나 효과를 두고 싸울 때 대조군이 없어서 비과학적입니다

cleansugar의 이미지

[지금 독서 중] 강호정 연세대 교수 'This Will Make You Smarter'
http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=103&oid=038&aid=0002246080

-인상적인 대목은.

"소위 대가들의 글에서는 평범하면서도 중요한 내용을 볼 수 있다. 리처드 도킨스는 대중들이 '이중맹실험법(Double-blind control experiment)'을 일상생활에서 사용한다면 세상이 더 합리적으로 돌아갈 것이라 주장한다. 똑같은 문제에 대해서도 어느 진영이 한 일인가에 따라 평가가 달라지고, 이성보다 감정이 앞서는 우리 사회에는 더욱 중요한 지적이다."

이 책 내용이 엣지 사이트에 올라와있는데 영문판은 책도 있습니다. 번역판 언제 나오냐고 출판사들에게 문의해도 언제 나올지 모르겠습니다. 판권은 누가 샀다고 하는데요.

기사에 이중맹검 얘기가 나오는데 일 할 때 많이 느끼던 바입니다.

어떤 프로젝트를 하면서 A 기술과 B 기술을 두고 싸우는데, A로 갔다고 할 때 잘되면 A 덕에 잘된 거라고 하고 잘 안되면 그래도 이걸 해서 이만큼이라도 된 거라고 합니다. B라는 대조군과는 애당초 비교를 안하면서 그냥 주장을 하는건데, 권위에의 호소로 설득을 관철시키고는 합니다.

병원에서도 의사가 치료벙이나 약 가지고 똑같은 주장을 하는데 환자는 하나니 대조군이 없는데도 권위로 호소합니다. 비슷한 환자인 대조군은 있겠지만, 그 환자가 본인과 다른 경우도 있으니까요.

정치도 마찬가지로 자기 당 덕에 이만큼 왔다. 독재 대통령 덕에 성공했다고 하지만, 다른 대통령이 했으면 더 잘 됐을지는 누구도 모르는 거거든요.

엄밀히 따지면 비과학적인 일들이 정치, 경제적으로 결정되는 일이 많습니다.

그렇지만 이런 걸 잘 피하고 과학적으로 판단한다면 잘못을 피할 수 있는 경우도 늘어날 겁니다.

이 책 번역이 빨리 나왔으면 좋겠습니다.

원문 어휘가 어려워서 이해가 안 갑니다.

테드도 영어 공부하기는 아주 좋은데 학자가 많아서 어휘가 어렵습니다.

snowall의 이미지

이중맹검법으로 대조하려면 A와 B기술 모두를 도입해서 비교해야 하잖아요.

프로젝트가 싼 돈이 아니고, 기술 자체가 급변하는 상황에서 둘 다 개발하는건 손해죠. 둘 다 개발해 놓고서 그 중 좋은 것을 선택했을 때 얻는 효용이 나쁜 것을 선택해서 그것만 개발했을 때 나머지 하나를 개발하지 않아서 얻을 수 있는 이득을 상당히 상회하지 않는 한 그런식으로 대조군을 적용할 수도 없습니다. 심지어 이걸 이중맹검법을 적용하려면, 개발자들은 자기가 뭘 개발하는지 몰라야 하고, 사용자들도 자기가 뭘 사용하는지 모른 상태에서 똑같은 역할을 하는 두 프로그램 중에 뭐가 더 좋은지 평가해야 합니다.

대통령은 심지어 대조군 자체가 불가능하죠. 대통령이 둘인 상황은 불가능하니까요. 대통령 후보 4명쯤 있을 때 한명씩 다 시켜보고 그중 가장 잘 하는 사람을 시킨다고 하면 일단 시간과 기회비용이 매우 큽니다. 이중맹검법으로 검증한다면 대통령 후보들은 자기가 대통령인지 모르고 일을 수행해야 하며, 국민들은 누가 대통령인지 모르고 정책을 평가해야 하겠죠.

약이나 치료법의 경우는 대규모 임상실험을 통해서 (그 이중맹검법이나 삼중맹검법으로) 그 효능이 이미 검증된 경우이므로, 의사가 돌팔이나 사기꾼이 아닌 한 환자는 의사를 믿어도 됩니다. 비슷한 환자인 대조군이 있지만 그 대조군이 자신과 다를 수 있다고 하신다면, 이 조건에서는 그 어떤 의약품이나 치료법도 직접 먹거나 시술을 받아서 그 효능을 체험하기 전에는 절대 믿을 수 없습니다.

비과학적인 일들을 정치, 경제적으로 판단하는건 다른 판단 기준이 없다면 그럴수도 있어요. 과학적으로 판단해야 하는 일을 정치적으로 경제적으로 판단하는게 문제죠. 어떤 신약이 개발되었는데 그 약이 좋은지 나쁜지 판단하라고 했더니 비싸다든가, 그 제약회사에 정치인 누가 투자했다든가...

도킨스가 그런 맥락을 모르고 말했을 것 같진 않은데, 어디선가 오역이나 오해가 있어보이네요.

피할 수 있을때 즐겨라! http://melotopia.net/b

cleansugar의 이미지

개발자들이 뭘 개발하는지 모른다기보다는 개발자나 사용자들이, 선택된 라이브러리나 기술이 무엇인지 블라인드된 채로 평가하면 좋다고 봐야겠죠.

추상적으로 설명해드린게 잘못이었습니다.

저는 자바, 닷넷, PHP 선택이나 라이브러리 선택 등을 도입하면서 회사에서 싸움이 붙고는 한다는 걸 생각하면서 쓴 글입니다.

완성된 프로그램 사용의 경우는 말씀하신대로 이중맹검이 더 어렵겠죠.

약이 검증되었다고 해도 의사는 증상에 맞지 않는 다른 약을 처방하거나 먹고 살려고 과잉진료를 할 수는 있습니다.

제 생각에 요즘 의료체계에서 상업주의 과잉진료는 고착화되어 있습니다.

그러니까 제 말은 감기 걸려서 돈 내고 감기약 처방을 받아서. 돈내고 감기약 먹은 다음, 나으면 감기약 때문에 나았다고 하고 안 나으면 감기약 먹어서 덜 앓은 거라고 의사는 말한다는 겁니다.

감기약은 먹든 안 먹든 감기는 낫는데도요.

반대로 감기가 안 나을만큼 아픈 사람은 감기약을 먹든 안 먹든 감기는 안 낫습니다.

"감기약을 하루분씩만 처방해 환자가 의원을 자주 찾게하는 경우도 많았으며.동네의원의 84%는 감기에 별로 효과가 없는 먹는 항생제를 처방하고,45%는 주사제를 사용하는 것으로 나타났다."
http://news.naver.com/main/read.nhn?mode=LSD&mid=sec&sid1=102&oid=005&aid=0000124377

수술비도 병원마다 차이가 수백만 원씩 나는데, 의사의 재량이 큽니다.

병원들이 진료자 수 대비 완치율을 공개하는 경우가 거의 없습니다.

과잉진료에 관해서는 컴퓨터 수리점도 마찬가지입니다.

별 것 아닌데 바가지가 많습니다.

소프트웨어 고장인데 하드디스크를 바꾸라고 한다거나 하는 일이 비일비재하죠.

노트북도 부품 고장나도 기판을 다 바꿔야 한다는 경우가 많은데 소비자 단체에서는 같은 증상인데도 수리센터 별로 비용차가 심하다고 실험한 것을 발표하기도 했습니다.

댓글 달아주셔서 고맙습니다.

제 말이 뭔지 사실 다 알고 계신 내용일 거라고 생각합니다.

재벌 2세가 재벌이 될 확률과
금메달리스트 2세가 금메달을 딸 확률이 비슷해지도록
자유오픈소스 대안화폐를 씁시다.

아이디의 아이디어 무한도전
http://blog.aaidee.com

귀태닷컴
http://www.gwitae.com