Fit Indices

적합성 평가를 위한 권장 접근 방식

다음에 설명하는 방법은 SEM의 보고 표준(Appelbaum et al., 2018)과 일치하며, 연구자가 과거보다 모델 적합도에 대해 더 많은 정보를 보고하도록 요구합니다:

1. 동시 추정 방법을 사용하는 경우 모델 카이제곱 을 자유도 및 p 값과 함께 보고합니다. 결과 변수가 이 분법적이고 이원 로지스틱 또는 확률 회귀 방법을 사용 하여 경로 공분산을 추정하는 경우와 같이 일부 분석에 서는 모델 카이제곱을 사용할 수 없는 경우도 있지만( 예는 Muthén과 Muthén(1998-2017, 3장) 참조), 이러한 경우는 예외적인 경우에 해당합니다.

2. 모델이 적합도 테스트에 실패하면 (a) 직접 그렇 게 말하고, 표본 크기에 관계없이 (b) 해당 모델을 10% 확률로 거부합니다. 다음으로, (c) 부적합의 크기와 가 능한 원인을 모두 진단합니다(국부적 적합도 검사). 그 근거는 실패를 설명하는 통계적으로 유의미하지만 약 간의 모델 데이터 불일치를 감지하는 것입니다. 이는 대규모 샘플에서 발생할 가능성이 가장 높습니다. 모델 을 거부하기로 한 초기 결정은 철회할 수 있지만, 관찰 된 모델-데이터 불일치가 실제로 중요하지 않은 이유에 대한 설명과 함께 국소 적합도 증거에 근거해서만 철회할 수 있습니다.

3. 모델이 정확한 적합도 테스트를 통과한 경우에도 로 컬 적합도를 검사해야 합니다. 그 이유는 통계적으로 유의 미하지는 않지만 모델에 의문을 제기할 만큼 큰 모델 데이 터 불일치를 감지하기 위해서입니다. 이는 작은 샘플에서 발생할 가능성이 높습니다. 지역 적합도에 대한 증거가 상 당한 불일치를 나타내는 경우, 카이제곱 테스트를 통과했 더라도 모델을 거부해야 합니다.

4. 본문에상관관계,표준화또는정규화된잔차등의 잔차 행렬을 보고합니다.원고를 작성합니다. 모델이 너무 커서 직접 설명하기 어려운 경우에는 (a) 부록 자료에 표를 제공하고 (b) 원고에 큰 잔류물의 위치 및 징후와 같은 잔류물의 패턴을 설명합니다. 모델이 어떻게 잘못 지정될 수 있는지 이해하는 데 진단적 가치가 있을 수 있는 패 턴을 찾습니다. 잔류에 대한 정보가 없는 결과 보고 는 불완전합니다. 안타깝게도 이 영역에서 불완전한 보고는 예외가 아니라 일반적입니다. 예를 들어, 조 직 관리 분야에서 발표된 144개의 SEM 연구를 검토 한 결과, 잔차가 언급된 연구는 약 17%에 불과했습 니다(Zhang et al., 2021).

5. 대략적인 적합도 지수 값을 보고하는 경우 이장의 앞부분에서 설명한 최소 집합에 대한 값을 포함하세요. 그러나 이러한 글로벌 적합도 통계에 대해 고정 또는 동적 임계값에만 의존하여 모델을 유지하는 것을 정당화하려고 해서는 안 됩니다. 특히 모델이 적합도 테스트에 실패하고 잔차의 패턴이 사소하지 않은 사양 오류를 시사하는 경우 특히 그렇습니다.

6. 초기 모델을 재특정하는 경우 그 근거를 설명 하세요. 또한 잔차와 같은 진단 통계가 재수정에서 어떤 역할을 했는지 설명해야 합니다. 즉, 모델에 대 한 수치 결과, 관련 이론 및 원래 모델에 대한 수정 사항 간의 연관성을 지적합니다(3장). 재조정된 모델 이 여전히 적합도 테스트에 실패하는 경우, 모델과 데이터의 불일치가 정말 미미하다는 것을 입증하고, 그렇지 않은 경우 모델에 대한 유의미한 공분산 증거 가 없다는 것을 입증하는 데 소홀히 한 것입니다.

7. 모델 적합도에 대한 통계적 증거는 중요하지만 모델 유지 여부를 결정하는 유일한 요소는 아닙니다. 예를 들어, 연구 문제를 고려할 때 매개변수 추정치 가 합리적이어야 합니다. 특정 데이터 집합에 잘 맞는 모델보다는 동일한 인과 프로세스에 의해 생성되는 향후의 데이터 집합에 잘 맞을 가능성이 합리적인 모델 을 선호해야 합니다. 이는 거의 모든 임의의 데이터에 잠재적으로 적합할 수 있는 복잡하고 과도하게 매개변수가 설정된 모델의 경우 특히 그렇습니다. 이러한 모델은 (1) 더 간결한 모델보다 위조 가능성이 적고 (2) 샘 플과 설정의 변화에 따라 생성될 가능성이 적습니다(Preacher et al., 2013).

8. 특정 모델을 유지하는 경우, 연구자는 해당 모델 이 동등하거나 거의 동등한 버전보다 선호되어야 하는 이유를 설명해야 합니다. 동일한 데이터를 정확히 또는 거의 비슷하게 설명합니 다. 이 단계는 통계보다 훨씬 더 논리적이며, 향후 연구 에서 심각한 경쟁 모델을 구별하기 위해 무엇을 할 수 있는지 설명하는 것도 포함됩니다. 동등하거나 거의 동 등한 모델에 대한 완전한 보고는 드물기 때문에, 양심 적인 독자는 이 문제를 해결함으로써 자신의 SEM 분 석을 실제로 구별할 수 있습니다. 동등한 버전의 구조 모델 생성 및 평가는 다음 장에서 다룹니다.

9. 모델이 유지되지 않는 경우 분석에서 테스트한 이론에 대한 의미를 설명하려면 학자로서의 기술이 필 요합니다. 결국, 유지 모델이 있든 없든 간에 진정한 영광은 최 선을 다해 논리적으로 끝까지 철저한 평가 프로세스를 따르는 데서 비롯됩니다. 시인 랄프 왈도 에머슨은 이 를 이렇게 표현했습니다: 잘한 일의 보상은 그것을 해 냈다는 것입니다(Mikis, 2012, 294쪽).

결국, 유지 모델이 있든 없든 간에 진정한 영광은 최 선을 다해 논리적으로 끝까지 철저한 평가 프로세스를 따르는 데서 비롯됩니다. 시인 랄프 왈도 에머슨은 이 를 이렇게 표현했습니다: 잘한 일의 보상은 그것을 해 냈다는 것입니다(Mikis, 2012, 294쪽).

잔여물 검사를 위한 팁

잔차에 대해 보고하는 것이 중요하지만, 카이제곱 검정 결과 및 근사 적합도 지수 값과 마찬가지로 잔차의 크 기와 모델 오정의 유형 또는 양 사이에는 신뢰할 수 있 거나 신뢰할 수 있는 연관성이 없다는 것을 알아야 합 니다. 예를 들어, 상대적으로 작은 상관관계 잔차로 표 시되는 구체화 오류의 정도는 경미할 수도 있지만 심각 할 수도 있습니다. 한 가지 이유는 다음 장에서 정의하 는 수정 지수를 비롯한 잔차 및 기타 진단 통계의 값 자 체가 오특정에 의해 영향을 받기 때문입니다. 의학에 비유하자면, 특정 질병에 대한 진단 검사가 해당 질병 을 앓고 있는 환자에게는 정확도가 떨어질 수 있습니다 . 두 번째 이유는 모델 한 부분의 잘못된 지정이 모델의 다른 부분의 추정치를 왜곡하는 전체 추정에서의 오류전파입니다. 세 번째는 잔차는 동일하지만 인과 관계의 모순된 패턴을 갖는 동등 모델입니다. 그러나 우리는 일 반적으로 모형의 어느 부분이 잘못된 것인지 미리 알 수 없기 때문에 잔차가 우리에게 무엇을 알려주는지 정확 히 이해하기 어려울 수 있습니다. 잔차의 패턴을 검사하는 것이 때때로 도움이 될 수 있 습니다.rXY >0인한쌍의변수X와Y가간접인과경로 로만 연결되어 있다고 가정해 보겠습니다.

요약

모델 카이제곱 보고: 동시 추정 방법을 사용하는 경우 모델의 카이제곱 값, 자유도 및 p값을 보고해야 합니다. 일부 경우에는 카이제곱을 사용할 수 없지만, 이는 예외적인 상황에 해당합니다.

모델 부적합시 조치: 적합도 테스트에 실패한 경우 이를 명확히 밝히고, 모델 거부 여부를 결정한 후 그 원인과 부적합의 정도를 진단합니다. 특히 대규모 표본에서는 경미한 불일치를 감지하는 것이 중요합니다.

적합도 테스트 통과 후 조치: 모델이 적합도 테스트를 통과했더라도, 지역적 적합도를 추가로 확인해 모델과 데이터 간의 잠재적인 불일치를 파악해야 합니다.

잔차 행렬 보고: 연구에서는 상관관계, 표준화된 잔차 행렬 등을 보고해야 합니다. 잔차 패턴 분석은 모델의 잘못된 지정 부분을 진단하는 데 도움이 됩니다.

적합도 지수 사용: 대략적인 적합도 지수 값을 보고할 때 글로벌 지수에 지나치게 의존하지 말고, 특히 모델이 적합도 테스트에 실패한 경우에는 잔차 패턴을 고려해야 합니다.

모델 재특정: 모델을 재특정할 때 그 근거를 설명하고 잔차 및 관련 이론과의 연관성을 명확히 해야 합니다. 재조정 후에도 모델이 실패하면 부적합의 증거를 평가해야 합니다.

모델 평가의 여러 요인: 적합도 통계는 모델 평가의 중요한 요소이지만, 매개변수 추정치가 합리적이어야 하며, 복잡한 모델보다 간결한 모델이 더 적합할 수 있습니다.

모델 선택 근거: 동등하거나 거의 동등한 모델 중에서 특정 모델을 선택한 이유를 설명해야 하며, 이는 통계 이상의 논리적 이유를 포함해야 합니다.

모델 유지 실패 시 대처: 모델이 유지되지 않는 경우, 분석 결과가 이론에 미치는 영향을 논리적으로 설명하는 것이 중요합니다.

잔차 검사 팁: 잔차 보고는 필수적이지만, 잔차의 크기와 모델 오정의 정도 사이에는 신뢰할 수 있는 상관관계가 없을 수 있습니다. 모델의 잘못된 부분이 추정치에 미치는 영향을 신중히 고려해야 합니다.

요약2

1. 모델 카이제곱 보고 모델 적합도를 평가할 때 동시 추정 방법을 사용하면 모델 카이제곱 값, 자유도 및 p값을 반드시 보고해야 합니다. 다만, 일부 분석에서는 모델 카이제곱을 사용할 수 없는 예외가 존재하며, 이는 주로 이분형 결과 변수에 대해 이원 로지스틱 회귀 방법을 사용하는 경우입니다. 하지만 이런 경우는 드물고, 대개 카이제곱을 사용하는 것이 표준입니다.

2. 모델 부적합 시 대처 방안 모델이 적합도 테스트를 통과하지 못하면 몇 가지 조치를 취해야 합니다:

1. 모델이 부적합하다고 명확히 보고해야 하며,
2. 표본 크기와 관계없이 해당 모델을 10%의 확률로 거부해야 합니다.
3. 그 후, 부적합의 크기와 원인을 진단해야 하며, 특히 대규모 표본에서는 경미한 모델-데이터 불일치가 있을 수 있음을 고려해야 합니다. 처음에 모델을 거부했더라도, 불일치가 실제로 중요하지 않다면 국소 적합도 증거에 따라 모델을 다시 유지할 수 있습니다.

3. 적합도 테스트 통과 후에도 지역적 적합도 검사 모델이 적합도 테스트를 통과하더라도 로컬 적합도를 점검해야 합니다. 이는 모델이 표본 전체에 맞더라도, 특정 국소 부분에서 적합하지 않을 수 있기 때문입니다. 작은 표본에서는 지역적 불일치가 더 두드러질 수 있으며, 지역적 적합도를 무시하고 모델을 유지하는 것은 위험합니다.

4. 잔차 행렬 보고 모델 평가에서는 상관관계, 표준화 또는 정규화된 잔차 행렬을 보고하는 것이 필수적입니다. 잔차 행렬은 모델이 어디에서 잘못 지정되었는지 진단하는 데 중요한 단서를 제공할 수 있습니다. 모델이 복잡하거나 잔차가 많을 경우 부록에 추가 자료를 제공하고, 본문에서는 주요 잔차 패턴(큰 잔차의 위치와 징후)을 설명해야 합니다. 그러나 많은 연구에서 잔차 보고는 불완전하며, Zhang et al.(2021)에 따르면 조직 관리 분야의 144개 SEM 연구 중 약 17%만이 잔차를 언급했습니다.

5. 적합도 지수 사용 모델 적합도를 평가할 때 적합도 지수를 보고하는 것이 일반적입니다. 그러나 이러한 글로벌 적합도 통계(카이제곱, RMSEA, CFI 등)에 지나치게 의존해서는 안 됩니다. 특히 모델이 적합도 테스트에서 실패하거나 잔차 패턴에서 모델의 사양 오류가 발견되었을 때는, 적합도 지수가 좋더라도 모델을 유지하는 것이 정당화되지 않습니다.

6. 모델 재특정 시 근거 설명 모델을 재특정할 때는 그 근거를 명확히 설명해야 합니다. 특히, 잔차 및 진단 통계가 재수정 과정에서 어떤 역할을 했는지 명확히 보고해야 하며, 재수정된 모델이 여전히 적합도 테스트에서 실패하는 경우 이를 정당화하는 추가적인 설명이 필요합니다.

7. 모델 평가 시 고려 사항 모델 적합도에 대한 통계적 증거는 중요하지만, 모델 유지 여부를 결정하는 유일한 요소는 아닙니다. 연구 문제의 맥락을 고려해 매개변수 추정치가 합리적인지를 평가해야 합니다. 간결하고 잘 정의된 모델은 특정 데이터에 맞춘 복잡하고 과매개변수화된 모델보다 선호되어야 합니다. 복잡한 모델은 일반화 가능성이 낮고, 다른 데이터나 환경에서 적합하지 않을 수 있기 때문입니다.

8. 모델 선택 시 근거 설명 여러 모델 중에서 특정 모델을 선택할 경우, 그 모델이 다른 동등하거나 거의 동등한 모델보다 왜 선호되는지에 대한 명확한 이유를 제공해야 합니다. 이러한 논리적 접근은 통계적 결과뿐만 아니라 향후 연구에서 더 나은 모델을 구분하는 데 도움이 됩니다.

9. 모델 유지 실패 시 대처 모델이 유지되지 않더라도, 분석 과정에서 드러난 이론적, 실질적 의미를 논리적으로 설명해야 합니다. 궁극적으로 중요한 것은 모델 유지 여부가 아니라, 철저하고 체계적인 평가 과정을 따르는 것입니다. 랄프 왈도 에머슨의 말을 인용하자면, “잘한 일의 보상은 그것을 해냈다는 것”입니다.

잔차 검사 팁 잔차를 보고하는 것은 필수적이지만, 잔차의 크기와 모델의 오정의 정도 사이에는 명확한 상관관계가 없을 수 있습니다. 작은 잔차도 심각한 오류를 의미할 수 있으며, 잔차의 패턴을 분석함으로써 오정의된 모델의 일부가 다른 추정치를 왜곡할 가능성을 고려해야 합니다.

Non-normal data

비정형 데이터 분석 기본 ML로 연속적이지만 심각하게 비정상적인 결과를 분석할 때 얻을 수 있는 의미는 다음과 같습니다 (Finney & DiStefano, 2013; Savalei, 2014): 1. 파라미터 추정치는 일반적으로 비정상성에 대해 견 고합니다. 2. 매개변수 추정치의 표준 오차 값은 모델과 데이터 를 고려할 때 심각한 비정상성으로 인해 25~50%까 지 왜곡될 수 있습니다. 특히 꼬리가 무겁고 노말 곡선에 비해 피크가 높은 렙토커트릭 분포(양의 첨 도)는 표준 오차를 약화시키는 경향이 있어 유형 I 오류가 증가합니다(K0 는 너무 자주 거부됩니다). 3. 반대로, 정상 곡선(음의 첨도)에 비해 꼬리가 더 가 볍고 피크가 낮은 평곡선 분포는 표준 오차를 부풀 리는 경향이 있어 유형 II 오류가 증가합니다(K0 는 충분히 자주 거부되지 않습니다). 왜곡의 두 가 지 방향 중 감쇠(표준 오차가 너무 작음)가 가장 많 이 발생하는 것은 아마도 비정상성이 심할 때일 것 입니다. 4. 표본과 모델에 내재된 공분산 사이의 불일치와 관 련된 ML 추정에서 모델 검정 통계의 값은 중간 정 도의 비정상성 조건에서 편향되는 경향이 있으며, 비정상성이 증가함에 따라 편향이 더 심해집니다. 특히, 렙토커트릭 분포는 모델 검정 통계를 부풀리 는 경향이 있어 유형 I 오류가 증가하므로 올바르게 지정된 모델이 너무 자주 거부됩니다. 5. 모델 테스트 통계의 값은 플라티커트 분포에 의해 감쇠되는데, 이는 잘못된 모델이 너무 자주 유지되 도록 유형 II 오류를 증가시킵니다. 모델 테스트 통 계의 인플레이션은 감쇠보다 더 자주 발생할 수 있 습니다. 이러한 왜곡은 모델 통계에 대한 비정상성의 영향은 N < 200과 같 은 작은 표본에서 더 클 수 있습니다. 비정상성이 심한 경우 비선형 변환을 통해 내생 변 수에 대한 분포를 정규화한 다음 기본 ML로 변환된 데이터를 분석하는 것도 한 가지 방법입니다(4장). 잠 재적인 단점은 정규 분포가 예상되지 않는 변수가 변 환 후 근본적으로 변경될 수 있다는 점, 즉 목표 결과 를 실제로 연구하지 못한다는 점입니다. 또 다른 단점 은 생존 기간(년) 또는 치료 비용(달러)과 같은 의미 있는 원래의원점수지표가변환후손실된다는것입 니다. 원래의 의미 있는 지표가 손실되면 변환된 변수 에 대한 결과 해석이 복잡해질 수 있습니다.

두 번째 옵션은 기본 ML을 사용하여 매개변수 추 정치를 생성한 다음 비모수 부트스트래핑을 적용하여 표준 오차를 추정하는 것입니다. 비모수 부트스트래핑 은 모집단 및 표본 분포의 모양이 모두 정규 분포라고 가정하는 것이 아니라 동일한 모양이라고 가정합니다. 이 접근 방식에서는 원본 데이터 파일에서 무작위로 선택하여 생성된 샘플에 대한 매개변수 추정치에 대한 경험적 표본 분포에서 표준 오차를 추정합니다. 이 방 법에서 표준 오차를 추정하는 것은 부트스트랩의 유일 한 역할이며, 그렇지 않으면 추정치는 기본 ML을 사 용하는 것과 동일하지만 부트스트랩이 없습니다. 네빗과 핸콕(2001)은 컴퓨터 시뮬레이션을 통해 부 트스트랩 추정치가 일반적으로 비정상성과 큰 표본 크 기 조건에서 기본 ML 추정치보다 편향성이 덜하다는 사실을 발견했습니다. 그러나 작은 표본에서는 부트스 트랩 추정치의 편향과 변동성이 크게 부풀려지고, 부 트스트랩으로 생성된 많은 표본이 양이 아닌 정적 데 이터 매트릭스(즉, 분석이 실패한)를 가졌습니다. 네빗 과 핸콕(2001)은 “샘플이 N = 100인 부트스트랩을 사용하는 것은 현명하지 않다”고 지적했습니다(374쪽). 이러한 문제는 작은 표본에서 부트스트랩 추정치가 매 우 편향될 수 있다는 주의와 일치합니다. 모델 테스트 통계와 글로벌 모델 적합도의 상관 지수 에 대한 부트스트랩 추정치를 생성하는 특별한 방법인 볼렌-스타인 부트스트랩이 있습니다(Bollen & Stine, 1993; Enders, 2010 참조). 원시 데이터 파일에서 대체 를 사용하여 무작위로 표본을 추출하는 ‘순진한’ 비모수 부트스트랩과 달리, 볼렌-스타인 부트스트랩에서는 원 본 데이터에서 변환된 표본을 생성한 다음 변환된 표본 에서 케이스를 추출합니다.

를 무작위로 샘플링하여 교체합니다. 이 프로세스는 모델 테스트 통계의 기준 분포인 귀무 가설 하에서 예상 되는 경험적 분포에서 벗어난 분포를 보정합니다(Hancock & Liu, 2012). 볼렌-스타인 부트스트랩에서 원본 데이터는 변환된 샘플의 공분산 행렬이 모델에서 예측한 것과 정확히 일 치하도록 변환됩니다. 즉, 모델이 변환된 샘플의 데이 터에 완벽하게 맞는다는 의미입니다. 부트스트랩된 p 값은 부트스트랩된 모델 테스트 통계에서 원본 데이터 의 동일한 통계에 대한 경험적 값을 초과하는 비율을 나타냅니다. Enders(2005)는 불완전한 데이터 집합을 위한 수정된 볼렌-스타인 부트스트랩을 설명했는데, 이 는 Amos와 같은 일부 SEM용 상용 컴퍼터 도구에서도 사용할 수 있으며(Arbuckle, 2021), bmem, semTools, lavaan과 같은 SEM용 R 패키지의 옵션으로도 제공 됩니다.