Hyundae's Note

t-value, F-value, p-value 한 번에 정리

 
  • 2025년 12월 11일

t-value, F-value, p-value 한 번에 정리

이 페이지는 예전에 정리한

  • t-value와 스튜던트 t-test
  • F-value와 분산분석(ANOVA)
  • p-value의 의미

를 한 번에 큰 그림으로 정리한 요약 노트다.

한 줄 요약

  • t-value, F-value = 검정 통계량(test statistic)
  • p-value = 그 검정 통계량이 “얼마나 말이 되냐”를 숫자로 표현한 확률

1. 공통 뼈대: 검정 통계량 + p-value

대부분의 가설검정은 다음 구조를 가진다.

  1. 귀무가설(H₀) 세우기

    • 예: “두 집단의 평균은 같다”, “모든 그룹의 평균은 같다”

  2. 검정 통계량(test statistic) 계산

    • t-value, F-value, z, χ² …

    • 공통 아이디어:

      (관측된 차이) ÷ (그 차이에 대한 불확실도)

  3. 분포를 이용해 p-value 계산

    • t-value → t-분포
    • F-value → F-분포
    • χ² → 카이제곱 분포 …

  4. p-value와 유의수준(α, 보통 0.05) 비교

    • p ≤ α → “H₀와는 안 어울리는 데이터다” → H₀ 기각
    • p > α → “H₀ 아래에서도 이 정도는 종종 나올 수 있다” → H₀ 기각 X

여기서:

  • t, F = “데이터에서 뽑은 요약 숫자”
  • p-value = “H₀가 맞다고 쳤을 때, 지금 같은 t/F가 나올 확률”

2. t-value: 두 집단(또는 하나의 평균)을 비교하는 도구

2.1 언제 쓰나?

주로 평균 비교에서 쓰인다.

  • 한 집단 평균 vs 어떤 기준값
    • 예: “평균 혈압이 120과 다른가?” → 1표본 t-test
  • 두 집단 평균 비교
    • 예: “treatment vs control 평균이 다른가?” → 2표본 t-test
  • 같은 사람의 before vs after
    • 예: 다이어트 전후 체중 비교 → 대응표본(paired) t-test

2.2 의미 (감각적으로)

t-value는 항상 이런 모양이다.

t = (관측된 평균 차이) ÷ (평균 차이의 표준오차)

해석:

  • t가 0에 가깝다 →
    • “차이는 있긴 한데, 불확실도(표준오차)에 비해 별로 크지 않다”
  • t의 절댓값이 크다 (예: 2, 3, 4 …) →
    • “차이가 불확실도에 비해 꽤 크다 → H₀ 아래에서는 잘 안 나올 값”

그래서:

  • t 크다 → “데이터가 H₀와 잘 안 맞는다”는 방향
  • t로부터 p-value를 계산해서 최종 판단

3. F-value: 여러 집단(≥3)이나 분산비를 비교하는 도구

3.1 언제 쓰나?

대표적으로 분산분석(ANOVA) 에서 쓴다.

  • 예: 대조군 + 약 A + 약 B, 총 3그룹 혈압 비교
  • 예: 세 가지 교육방법에 따른 시험 점수 비교

또는 두 집단의 분산이 같은지 보는 F-test에도 쓰인다.

3.2 의미 (감각적으로)

ANOVA에서 F-value는 보통 이렇게 생각하면 된다.

F = (그룹 간 분산) ÷ (그룹 내 분산)

  • 그룹 간 분산 = 각 그룹 평균들이 서로 얼마나 떨어져 있는지
    • “진짜 효과”가 크면 → 그룹 평균들이 서로 많이 다름 → 값↑
  • 그룹 내 분산 = 같은 그룹 안에서의 자연스러운 변동(노이즈)
    • “개인 차이, 측정오차, 랜덤 요인”들을 반영

그래서:

  • F ≈ 1
    • 그룹 간 차이가, 그룹 내 랜덤 변동과 비슷한 수준
    • “특별한 효과 없다” 쪽 느낌
  • F ≫ 1 (예: 4, 6, 10 …)
    • 그룹 평균 차이가 랜덤 변동에 비해 꽤 큼
    • “적어도 한 그룹은 다른 모집단일 수 있다”는 신호

3.3 F와 t의 관계

2그룹만 비교하는 간단한 ANOVA에서는

F = t²

그래서:

  • t-test와 ANOVA는 근본적으로 같은 정보를 다른 방식으로 표현하는 셈
  • 차이점은:
    • t-test: 보통 2그룹 비교에 사용
    • ANOVA: 3그룹 이상도 한 번에 비교 + 사후검정(post-hoc) 추가

4. p-value: t, F를 “확률로 번역한 값”

4.1 정확한 정의

p-value는 아주 딱딱하게는 이렇게 정의된다.

“귀무가설(H₀)이 참이라고 가정했을 때,
지금 관측된 검정통계량(t, F 등)과 같거나
그보다 더 극단적인 값을 얻을 확률”

예:

  • H₀: “두 집단 평균은 같다”
  • t = 2.5 이 나옴
  • p-value = “H₀가 맞는 세계에서 t ≥ 2.5 정도가 나올 확률”

4.2 사람들이 흔히 헷갈리는 점

p-value는 절대 이런 뜻이 아니다.

  • “H₀가 참일 확률” X
  • “연구 가설(H₁)이 참일 확률” X
  • “이 실험 결과가 우연일 확률” X

정확히는 “H₀를 전제로 했을 때, 이런 데이터가 나올 확률” 이다.

4.3 p-value가 작고 큰 경우

  • p값이 작다 (보통 ≤ 0.05)
    • H₀ 아래에서는 이런 t/F가 잘 안 나온다
    • → “데이터가 H₀와 잘 안 맞는다”
    • → H₀ 기각, H₁ 지지
  • p값이 크다 (> 0.05)
    • H₀ 아래에서 이런 t/F가 자주 나올 수 있다
    • → “H₀를 굳이 버릴 정도는 아니다”
    • → H₀ 유지(기각 실패)

4.4 p-value의 장점과 함정

장점:

  • 분포 모양(t-분포, F-분포 등)과 자유도(df)를 전부 “확률 하나”로 요약
  • 연구 결과를 간단하게 보고/읽기 편함

함정:

  • 효과크기(effect size) 와 표본 크기(n) 정보가 한 덩어리로 섞여 있음
    • n이 엄청 크면, 아주 작은 효과도 p<0.05가 되기 쉬움
    • n이 작으면, 꽤 큰 효과도 p>0.05라서 “유의 안 됨”으로 나올 수 있음
  • 그래서 요즘은
    • p-value + 효과크기 + 신뢰구간 을 같이 보고 해석하자는 추세

5. t-value, F-value, p-value 관계를 한 눈에

5.1 어떤 상황에서 무엇을 쓰나?

상황 검정 통계량 예시
한 집단 평균 vs 기준값 비교 t 한 집단 평균 혈압 vs 120
두 집단 평균 비교 (독립) t 치료군 vs 대조군
같은 사람의 before vs after 비교 t (paired) 다이어트 전·후 체중
3개 이상 집단 평균 동시에 비교 F A, B, C 세 약 비교
두 집단 분산(변동 크기) 비교 F 남녀 키 분산 비교

이 모든 경우에 마지막 판단은 p-value로 한다.

  • t/F를 계산
  • 대응하는 분포(t-분포, F-분포)에서 p를 구함
  • p와 α(보통 0.05) 비교 → 결론

5.2 해석할 때 꼭 같이 봐야 할 것들

  1. 검정 통계량 값 (t, F)
    • 크기 자체가 “표준오차 대비 차이의 크기”를 보여줌
  2. p-value
    • “이 정도 차이가 H₀ 아래에서 얼마나 말이 되는지”
  3. 효과크기 (effect size)
    • 예: 평균 차이, 표준화 효과크기(cohen’s d 등)
  4. 신뢰구간 (95% CI)
    • “우리가 추정한 효과가 어느 구간에 있을 가능성이 크냐”

6. 직관 한 줄 정리

  • t-value
    • “두 평균이 얼마나 다른지”를
    • “그 차이의 불확실도(표준오차)”로 나눈 값
  • F-value
    • “여러 그룹 평균 간 차이”를
    • “그룹 내 랜덤 변동”으로 나눈 분산비
  • p-value
    • “H₀가 맞다고 가정했을 때,
      지금 같은 t/F가 나올 확률”

7. 더 깊게 공부하고 싶으면

각 값에 대한 자세한 수식, 시뮬레이션 그림, 예제 문제는 기존 포스팅들을 참고하면 된다.

  • t-value와 스튜던트 t-test
  • F-value와 분산분석(ANOVA), F = t² 증명
  • p-value의 의미와 오용 사례

이 페이지는 그 세 글의 “요약 지도”라고 생각하고,
디테일은 각 글에서 다시 보는 방식으로 사용하면 좋다.

검색