살아남은 것만 보고 있다 — 생존편향이라는 함정

생존편향이 뭔가요

생존편향(survivorship bias)은 끝까지 남은 것만 표본에 들어오고, 도중에 사라진 것은 통째로 빠지는 현상이에요. 빠진 쪽이 대체로 결과가 나빴던 쪽이라, 남은 것만 세면 세상이 실제보다 좋아 보여요.

중요한 건 이게 계산 실수가 아니라는 점이에요. 평균을 잘못 내거나 코드에 버그가 있어서 생기는 게 아니에요. 계산은 완벽한데 재료가 이미 한쪽으로 걸러진 상태예요. 그래서 숫자를 다시 검산해도 절대 안 잡혀요. 검산으로 잡히는 오류는 차라리 다행인 편이고, 이건 아무리 들여다봐도 깨끗해 보입니다.

돌아온 비행기의 총알 자국

가장 유명한 예시는 2차 대전 때 이야기예요. 폭격기가 임무를 마치고 돌아오면, 기체에 총알 자국이 남아 있었어요. 군에서는 이 자국들을 전부 표시해 보니 날개와 동체 가운데에 자국이 몰려 있었고, 자연스럽게 “여기에 장갑을 덧대자”는 결론이 나왔어요.

그런데 한 통계학자가 정반대를 말했어요. 보강해야 할 곳은 자국이 없는 곳, 그러니까 엔진과 조종석이라고요. 이유는 단순해요. 총알은 기체 어디에나 골고루 맞았을 텐데, 엔진에 맞은 비행기는 돌아오지 못해서 자료에 들어오지 않았던 거예요. 돌아온 비행기에 난 자국은 “여기는 맞아도 살아서 돌아올 수 있는 부위”라는 표시였던 셈이에요.

주식에서는 이렇게 나타나요

주식 데이터에서 ‘돌아오지 못한 비행기’는 상장폐지된 회사, 인수돼서 사라진 회사, 시가총액이 쪼그라들어 관심 밖으로 밀려난 회사예요. 지금 시점에서 종목 목록을 뽑으면 이들은 애초에 목록에 없어요. 이미 없어졌으니까요.

저희도 여기서 자유롭지 않아요. 분석 대상이 현재 시가총액 상위 종목이라 생존편향이 있다고 공개해 두고 있어요. “지금 큰 회사들의 지난 5년을 분석했다”는 문장은 사실 “지난 5년을 버텨서 지금도 큰 회사들만 분석했다”는 뜻이에요. 두 문장은 완전히 다릅니다.

백테스트 성적이 부풀려지는 구조

백테스트(backtest)는 과거 데이터에 규칙을 적용해 성적을 재보는 일이에요. 여기서 생존편향은 아주 직접적으로 작동해요.

• ·가장 나쁜 결과가 표본에서 빠져요. −100%에 가까운 사례들이 통째로 사라지니, 평균이 위로 올라가는 건 물론이고최악의 구간이 실제보다 얕아 보여요. 감당해야 할 손실의 크기를 과소평가하게 됩니다.
• ·‘싸 보이는 종목을 산다’ 같은 규칙에서 특히 심해요. 싼 종목 중 일부는 싼 이유가 있어서 결국 사라지는데, 그 사라진 쪽이 자료에 없으면 남은 건 ‘싸서 샀더니 올랐던 사례’뿐이에요. 전략이 실제보다 훨씬 좋아 보여요.
• ·검증 구간 자체가 한쪽으로 치우쳐 있기도 해요. 저희 검증 구간에는 상승장이 많이 포함돼 있어요. 생존편향 위에 상승장 편향이 한 겹 더 얹히면, 성적표는 두 번 부풀려집니다.
• ·수치로는 얼마인지 특정하기 어려워요. 사라진 표본을 다시 구할 수 없으니 “몇 퍼센트 부풀려졌다”를 정확히 말할 수 없어요. 방향만 압니다. 실제보다 좋게 나왔다는 방향이요.

“급락은 사도 된다”로 읽히면 안 되는 이유

저희 검증 기록 중에 이런 게 있어요. 급락한 종목에 벌점을 주려고 규칙을 만들었는데, 백테스트를 돌려보니급락 표본의 20일 뒤 평균이 +4.74%, 급락하지 않은 나머지가 +2.78%로 나왔어요. 의도한 것과 정반대였죠. 그래서 벌점 규칙은 롤백하고 경고 문구만 남겼어요.

이 숫자를 처음 보면 “급락하면 오히려 더 오르네”로 읽고 싶어져요. 그런데 그 해석이 위험한 게 바로 생존편향 때문이에요. 하나씩 뜯어볼게요.

• ·표본에 남은 급락 종목은 이미 한 번 걸러진 종목이에요. 급락한 종목 중 회복 못 하고 사라진 쪽은 지금 시총 상위 목록에 없어요. 즉 저 +4.74%는 “급락한 종목의 평균”이 아니라 “급락하고도 살아남아 지금까지 큰 회사로 남은 종목의 평균”이에요. 두 집단은 전혀 다릅니다.
• ·가장 중요한 질문에 답을 못 해요. 실전에서 알아야 하는 건 “지금 급락한 이 종목이 회복하는 쪽인가”인데, 저 통계는 회복한 쪽만 모아놓고 낸 평균이라 그 구분에 아무 도움을 못 줘요. 결과를 알고 나서 뽑은 명단이니까요.
• ·평균 하나로는 분포를 모릅니다. +4.74%가 대부분 종목이 골고루 5% 오른 결과인지, 대다수는 비슷한데 소수가 크게 튀어 평균을 끌어올린 건지 평균만 봐서는 구분이 안 돼요. 저희는 이 착시를 다른 곳에서도 겪었어요. 수익성 지표(ROE)와 이후 수익률의 상관이 572표본에서는 0.225였는데 9,800표본으로 늘리니 0.014로 주저앉았거든요. 소수의 승자가 만든 착시였어요.
• ·차이 자체도 그렇게 크지 않아요. +4.74%와 +2.78%의 간격은 약 2%p인데, 개별 종목의 20일 등락폭은 이보다 훨씬 큽니다. 평균의 차이가 각 사례의 흔들림보다 작으면, 그 차이에 기대어 행동을 바꾸긴 어려워요.

투자 정보 전반에 깔려 있어요

생존편향은 백테스트 같은 데이터 작업에만 있는 게 아니에요. 평소에 읽는 글 대부분에 이미 섞여 있어요.

• ·성공한 투자자의 인터뷰. 같은 방식으로 투자했다가 실패한 사람은 인터뷰에 부르지 않아요. 그래서 “이 방법으로 성공했다”는 이야기는 그 방법의 성공률에 대해 사실상 아무것도 알려주지 않아요. 분모가 없거든요.
• ·잘 맞은 예측만 기억돼요. 예측을 자주 하는 사람은 몇 개는 맞게 돼 있어요. 맞은 것은 계속 인용되고 틀린 것은 조용히 잊혀요. 이건 남이 속이는 게 아니라 기억이 알아서 편집하는 쪽에 가까워요. 본인도 자기가 몇 번 틀렸는지 잘 몰라요.
• ·수익 인증 글. 잃은 사람은 대체로 올리지 않아요. 같은 방법을 쓴 100명 중 5명만 글을 쓰면, 타임라인에는 성공 사례만 흐릅니다.
• ·오래된 지표·전략이 좋아 보이는 것. 지금까지 살아남아 이름이 남은 전략은 대체로 한때 잘 맞았던 것들이에요. 망한 전략은 이름조차 안 남아서, ‘전략 전체’의 평균을 우리는 볼 수가 없어요.
• ·서비스가 보여주는 과거 사례. 잘된 사례만 골라 보여주면 그것도 같은 편향이에요. 그래서 저희는 실패한 검증도 같이 남겨 두려고 해요. 수급 지표에 가장 큰 비중을 뒀다가 9,800여 표본에서 상관이 사실상 0으로 나와 비중을 절반으로 줄인 일, 변동성이 클 때 모멘텀 가점을 빼는 규칙이 예측력을 양수에서 음수로 뒤집어 즉시 되돌린 일 같은 것들이요.

없앨 수는 없고, 할인해서 읽는 수밖에

솔직하게 말하면 생존편향은 완전히 제거할 수 없어요. 사라진 회사의 과거 데이터를 전부 복원해서 넣는 건 개인이 할 수 있는 일이 아니고, 어렵게 넣더라도 이번엔 어떤 기준으로 어디까지 되살릴지라는 새로운 선택이 결과를 흔들어요. 편향을 다른 편향으로 바꾸는 셈이에요.

그래서 현실적인 대응은 제거가 아니라 할인이에요. 숫자를 볼 때 몇 가지를 습관처럼 붙이는 정도예요.

• ·“이 표본은 어떻게 뽑혔지”를 먼저 물어요. 지금 존재하는 것들로 뽑았다면 결과는 위로 치우쳐 있다고 보면 돼요.
• ·좋은 숫자일수록 더 깎아서 들어요. 편향은 거의 항상 좋은 쪽으로 작동해요. 나쁜 결과가 과장되는 경우는 드물어요.
• ·분모를 찾아요. 성공 사례 옆에 “같은 걸 시도한 사람이 몇 명이었나”가 없으면, 그 사례는 확률에 대한 정보가 아니에요.
• ·평균만 있는 결과는 보류해요. 표본 수와 흩어진 정도가 같이 없으면, 소수가 만든 착시인지 아닌지 알 수가 없어요.
• ·실패 기록이 같이 있는지 봐요. 실패를 남기지 않는 곳의 성공 사례는 골라낸 것일 가능성이 높아요.

저희가 수치를 공개하면서 매번 한계를 같이 적는 건 겸손해 보이려는 게 아니에요.할인율을 독자가 직접 매길 수 있게 하려는 거예요. 편향을 숨기면 숫자가 실제보다 세 보이고, 그렇게 읽힌 숫자는 결국 손해로 돌아오니까요.

정리

• ·생존편향 = 사라진 것이 자료에서 빠져 남은 것만으로 세상을 판단하게 되는 현상.
• ·돌아온 폭격기의 총알 자국이 몰린 곳은 보강이 필요 없는 곳이었어요. 자국이 없는 곳이 치명적인 곳이었죠.
• ·현재 시총 상위로 표본을 짜면 상장폐지·몰락 종목이 통째로 빠져 백테스트가 낙관 쪽으로 기울어요.
• ·급락 표본 +4.74%는 ‘살아남은 급락 종목’의 평균이라, ‘급락은 사도 된다’로 읽으면 안 돼요. 벌점 근거가 없었다는 뜻일 뿐이에요.
• ·성공 인터뷰·맞은 예측·수익 인증은 모두 같은 편향 위에 있어요. 분모를 찾는 습관이 방어예요.
• ·완전 제거는 불가능. 알고 할인해서 읽는 것이 현실적인 대응이에요.