점수 성향 분석
배
예상할 때 치료 효과에 바이너리에서 결과 관찰 연구,그것은 종종 경우에는 처리하지 않았 무작위로 할당된 주제입니다. 는 경우,예를 들어,아프고 환자들은 종종 할당을 처리하는 동안 더 건강한 환자들은 종종 치료하지 않,간단한 분석을 수 있습을 잘못하여 추정 학위 또는 방향으로의 치료 효과가 있다.
일반적인 방법을 시도를 조정에 대한 잠재적인 편견 때문에 이런 종류의 혼란의 사용에 의해 멀티 로지스틱 회귀분석 모델입니다. 대안적인 접근법은 성향 점수 분석의 사용이다. 다음 섹션에서는 작은 예제 데이터 세트를 제공 한 다음 이러한 대체 통계 분석 방법을 설명하고 설명합니다. 우리에 초점을 맞추는 가장 간단한 예제는 환자를 할당 받거나 적극적인 치료 또는 통제(ie2 그룹). 마지막에 우리는 세 가지 이상의 치료 그룹에 대한 가능한 확장을 간략하게 언급합니다.
예 데이터
다음 예제 데이터 집합을 설명하기 위해 사용됩 기본적인 개념입니다. 데이터 포함 400 과목에서 포함되는 회고전 코호트 연구 남자의 aged40-70 병원에 입원으로 의심되는 심근 경색이다. 관심의 결과는 30 일 사망률(사망=1)입니다. 관심의 사망률의 위험에 대한 표준 요법(trt=0)대 새로운 응고 파열 약물(trt=1)의 신속한 투여의 가능한 효과이다. 관련 관심 있는 기존 위험 요소 점수(에 스케일의 0~5 5 는 최악)및 입학을 심각도 점수(의 규모에 0 10 10 는 최악). 다음은 처음 12 과목에 대한 데이터입니다:
age | male | risk | severity | trt | death |
---|---|---|---|---|---|
48 | 1 | 3 | 8 | 0 | 0 |
59 | 1 | 4 | 6 | 1 | 0 |
67 | 1 | 3 | 6 | 0 | 1 |
51 | 1 | 0 | 6 | 0 | 0 |
56 | 1 | 1 | 6 | 1 | 0 |
60 | 1 | 1 | 6 | 0 | 0 |
53 | 1 | 0 | 3 | 1 | 0 |
54 | 1 | 1 | 2 | 0 | 0 |
54 | 1 | 2 | 7 | 0 | 0 |
62 | 1 | 0 | 4 | 0 | 0 |
64 | 1 | 2 | 6 | 1 | 1 |
70 | 1 | 3 | 8 | 1 | 0 |
… | … | … | … | … | … |
데이터를 다운로드할 수 있습으로 성향.csv 나라에서 직접 R 를 사용하여 명령:example <- read.csv("http://web.hku.hk/~bcowling/data/propensity.csv", header=TRUE)
동반 R 스크립트를 실행하는 다음과 같은 모든 분석은 여기에서 찾을 수 있습니다:성향.R.
설명 분석
총 192 명(48%)의 환자가 새로운 치료법을 받았다(trt=1). 치료받은 환자와 치료받지 않은 환자의 30 일 사망률은 다음 표에 요약되어 있습니다:
결과 | trt=0 | trt=1 |
---|---|---|
살아 | 168 | 162 |
사망 | 40 | 30 |
30 일 사망률 | 19% | 16% |
중 하나 조사하는 방법은 잠재적인 치료 효과의 견적 차이에서 위험을 사이에 두 개의 그룹이 있습니다. 치료 1 과 관련된 사망률의 상대 위험은 0.375/0.40 이며,이는 0.81 이며,새로운 치료법에 약간의 이점을 시사한다.
치료 효과를 추정하는 또 다른 방법은 상대 위험보다는 확률 비율을 계산하는 것일 수 있습니다. 승산 비율은(168×30)/(162×40)이며,이는 0.78 이며,95%신뢰 구간은(0.46,1.31)로 계산 될 수있다.
치료 효과를 추정하는 세 번째 방법은 사망률의 절대 감소를 살펴 보는 것입니다. 여기서 치료 1 과 관련된 변화는 -3.6%(19.2%에서 15.6%)이고 95%신뢰 구간은(-11.5%,4.3%)즉 사망률의 12%감소 또는 4%증가만큼.
그러나 다음 두 개의 플롯을 표시하는 주제는 새로운 처리 약간보다 오래된 주어진 사람들 표준 치료:
추가 조사를 계시는 거기에있을 것 같습 차이에서 위험 요인과 현재 상태를 두 치료군:
공식적인 비교의 분포의 이러한 설명변수에는 두 치료 그룹을 보여준에 차이가 있는 것 나이(t-test, ppp
로지스틱 회귀
다변수 모델은 종종 사용을 평가하는 치료 효과를 조정하는 동안에 대한 중요한 설명변수. 조정에 대한 중요한 설명한 변수를 위해 필요한가에 사이의 비교 치료과 제어,그룹 및 경우에는 조정이 수행되지 않는 한 다음 그룹 사이의 차이로 이어질 수 있습 편견의 견적의 치료 효과가 있다.
아래 표는 치료의 조잡한 확률 비율을 보여준 다음 다른 설명 변수에 대해 조정 된 효과를 나타냅니다. 교의 아카 이케 정보를 기준에 대한 각각의 모델에 따르는 위험 점수와 심각도 지수하지 않은 크게 향상에 맞게,즉 모델 2 될 수 있 선호 모델 3. 있는 제안의 치료 혜택(하지 않지만 통계적으로 유의한),또한 명백한 혼란 나이로 의심으로 설명하는 분석이다.
공변량의 선형 효과를 가정 한 모델의 추정치는 모델 3 과 매우 유사합니다(결과는 표시되지 않음).
인 요소 | n | 1 | 모델 2 | 모델 3 | |||
---|---|---|---|---|---|---|---|
또는 | 95%CI | 또는 | 95%CI | 또는 | 95% CI | ||
치료 0 | 208 | 1.00 | – | 1.00 | – | 1.00 | – |
치료 1 | 192 | 0.78 | (0.46,1.31) | 0.67 | (0.39, 1.15) | 0.62 | (0.35, 1.11) |
Age 40-49 | 95 | – | – | 1.00 | – | – | – |
Age 50-59 | 131 | – | – | 1.72 | (0.77, 3.82) | 1.26 | (0.52, 3.01) |
Age 60-70 | 175 | – | – | 2.62 | (1.23, 5.62) | 2.03 | (0.84, 4.95) |
Risk score 0 | 112 | – | – | – | – | 1.00 | – |
Risk score 1 | 103 | – | – | – | – | 3.06 | (1.34, 6.97) |
Risk score 2-3 | 132 | – | – | – | – | 1.33 | (0.54, 3.28) |
Risk score 4-5 | 53 | – | – | – | – | 2.64 | (0.95, 7.35) |
Severity index 0-3 | 108 | – | – | – | – | 1.00 | – |
Severity index 4 | 69 | – | – | – | – | 1.29 | (0.56, 2.96) |
Severity index 5 | 80 | – | – | – | – | 0.78 | (0.33, 1.87) |
Severity index 6 | 56 | – | – | – | – | 1.28 | (0.53, 3.08) |
Severity index 7-10 | 87 | – | – | – | – | 1.43 | (0.65, 3.16) |
AIC | 374 | 371 | 371 |
For completeness we could also use a non-linear regression model to check the shape of the effects of age, pre-existing risk and severity in the fully adjusted model. 첨부 된 R 스크립트에는 해당 스플라인 함수를 추정하고 플롯하는 코드가 포함되어 있으며 여기서는 이들을 표시하지 않습니다.
점수 성향 분석
는 다른 방법은 분석을 모방하려고하는 조건의 무작위로 통제되는 재판(RCT). 에 RCT,확률는 참가자가 받은 특별한 치료가 동일한 모든 참가자들,또는 층화된 디자인,만에 따라 알려진 설명변수의 환자와 같은 연령,성별 등입니다. 즉,환자의 나이,성별(등)는 환자의 치료를받을 확률을 알려주는 충분한 정보입니다.
경우에는 관찰 연구 설정을 우리는 모든 정보를 가지고 사용할 수 있는 건강 관리 전문가에 할당된 치료 과목,우리는 할 수 있어야 만들의 의사 결정 프로세스 확률을 추정하는 개인을 받은 환자 치료를. 이 확률이라고 하는 성향이 점수,그리고 그들의 정액 1983 종이 로 바와 루빈을 보였는 것으로 성향이 점수를 적합한 측정 확률의 치료를 받고,점수하는 데 도움이 될 수 있습니다 추정하는 인과의 효과 치료입니다. 점수에 사용되는 균형 전조 변수에 걸쳐 처리 및 치료되지 않는 그룹이 있다(최소)네 가지 방법을 사용:
- 충 환자 그룹으로(예를 들어 퀸 타일 즈)의 성향 점수와 비교한 치료 효과에서는 각 계층.
- 치료받은 환자와 치료받지 않은 환자를 일치시키고 결과 일치 된 쌍을 비교합니다.
- 성향 점수에 의한 결과의 역 가중치.
- 로지스틱 회귀 모델에서 성향 점수에 대해 조정합니다.
5.1 예측 성향 점수
경향이 점수는 조건부 확률는 주제를 처리됩니다 주어진 관찰된 설명변수;의도는 이 하나의 확률을 요약 정보에 대한 메커니즘의 처리를 할당합니다. 우리는 다음 얻을 수 없는 추정치 치료의 효과 비교하여 과목했었던 비슷한의 확률을 받고 처리(는지 그들은 실제로 그것을 받았는지).
성향 점수는 일반적으로 다변량 로지스틱 회귀 모델을 사용하여 추정됩니다.
우리의 예에서,우리가 맞는 로지스틱 회귀분석 모형의 효과를 추정하는 연령,위험 점수와 심각도에 인덱스 확률의 치료를 받고 1 보다는 오히려 치료 0. 우리는 고령(p=0.05),고위험 점수(p=0.05)및 고 심각도 지수(p=0.01)은 모두 치료 1 을받을 확률이 높은 것과 관련이 있습니다. 성향 점수는 0.2 에서 0.8 까지 다양하며 아래 그림에서 두 치료 그룹 간의 점수 분포를 비교합니다. 막대는 중앙값과 사 분위수 간 범위를 보여줍니다.
수 있을 것으로 예상되는 성향 점수(즉,확률의 치료를 받고)에 있는 평균 약간 높은 처리에 있는 그룹이다. Wecan 볼 수있는 좋은 정도 겹치는 우리가 찾을 수 있습니다 개인 모두에서 치료한 그룹에 대한 모든 성수 0.2 0.8. 이 isimportant 기 때문에 근본적인 원리의 성향은 점수를 분석하는 경우 우리가 찾은 두 사람,하나에 각 치료 그룹,우리가 상상할 수 있는 이 두 사람들이’무작위’에 할당된 각 그룹에서 감각의 중 할당되고 동등하게 높습니다.
5.2 성향 점수가 그룹의 균형을 유지합니까?
어떤 성향 점수 분석에서 우리는 propensityscore 가 설명 변수의 분포의 균형을 맞출 수 있는지 여부를 확인해야합니다. Thereare 확인하는 방법에는 여러 가지 균형,예를 들어 우리가 볼 수 있었다의 분포를 설명하는 변수에 퀸 타일 즈의 성향은 점수입니다. 아래 그림에서 우리는 줄거리 중앙값과 사분위간 범위의 시대에서 각 점수 성향 분위:
없이 조정(전반적으로)상당한 차이가 있습니다. 그러나 각 quntile 내에서 분포는 매우 밀접하게 정렬되어 있습니다.
우리는 두 샘플릿 통계(즉,치료군 별 연령 차이에 대한 t-테스트)를 계산하여 초기 차이를 정량화 할 수 있습니다. 이는 연령 대 치료군에 대한 선형 회귀 모델(또는 ANOVA)에서 치료를위한 t 통계를 찾는 것과 같습니다. 우리는 할 수 있습 furthermeasure 의 차이를 조정한 후한 점수 성향,bycalculating t 통계 처리를 위해서는 다변수 선형 회귀분석 모형(또는 분산 분석)을 나이를 위한 조정에 대한 치료뿐만 아니라 조정에 대한 퀸 타일 즈의 성향은 점수입니다. 조정되지 않은(채워진 원)및 조정 된(열린 원)t-통계는 아래 그림에 나와 있습니다:
우리가 볼 수 있는 성향이 점수를 조정을 제거한 거의 모든 초기에 차이가 시대,위험 점수와 심각도 지수 사이에 두 개의 처리 그룹이 있습니다.
5.3 사망률에서 성향 점수는 퀸 타일 즈
우리는 이전에 발견하는 공변량 균형에 퀸 타일 즈의 성향은 점수입니다. 로 바와 루빈을 보였다는 평균 치료 효과를 내는 성향이 점수를 지층은 편견의 견적 진실한 치료 효과(일부를 제공 가정을 잡고). 우리는 플롯 30 일 사망률(95%의 신뢰 간격)처리하여 그룹에서 각 점수 성향 분위,아래
사망 율은 일반적으로 낮은 그룹에 있는 치료를 받 1(블루)에서 그들 보다는 그룹의 치료를 받 0(빨간색)을 제외하고,3 분기에는 금리와 비슷합니다. 그러나 치료 효과가 성향 점수의 범위에 걸쳐 다양하다는 강력한 증거는 없습니다.
우리가 계산할 수 있습니다 차이가 사망률의 치료 그룹 사이에서 각 분위,그리고 평균 치료 효과를 가중평균에 걸쳐 퀸 타일 즈. 아래 그림은 치료 1 대 치료 0 에 대한 사망률의 절대 감소와 95%신뢰 구간이있는 가중 평균을 보여줍니다:
전체가 있었 6%절대 감소에서 30 일 사망률을 치료를 위해 1 에 비해 치료에 0,매우 넓은 자신감을 간격입니다.
5.4 사망률을 사이에 일치하는 쌍의 개인
는 다른 방법을 찾는 것이 쌍의 과목 중에서 각각 처리 그룹과 함께,매우 유사한 경향이 점수가 있습니다. 성향 점수의 정의에 따르면,성향 점수가 비슷한 두 피험자는 모든 중요한 공변량에서도 유사해야합니다. 이 일치 절차는 모든 중요한 공변량에서 동시 일치보다 계산적으로 간단합니다.
예제 데이터에서 일치하는 알고리즘을 사용하여 원래 400 명의 피험자 중 177 개의 일치하는 쌍(즉,354 명의 개인)을 찾습니다. 우리는 확인할 수 있는 일치하는 알고리즘을 달성했다 사이의 균형 그룹과 비교하여 배포판의 관심 사이에 두 개의 치료 그룹 사이에 일치하는 쌍이다. 에 일치하는 일부가 있었 23 죽음에 그룹으로 치료를 1 36 죽음에 그룹으로 처리 0,통계적으로 상당한 절대의 감소 7.8%(95%의 신뢰 구간:-13.7%,-1.8%).
5.5 성향 점수에 의한 역 가중치
Rosenbaum 은 가중치 계수로서 성향 점수의 대체 사용을 설명합니다. 으로 가지 않고 내용의 유도,그는 사망률은 경우 모든 subjectswere 치료에 할당 그룹 1 는 대신 그룹 0 같 E(YT/p),는 Y 결과 변수,T 처리 그룹,p 는 성향의 점수를 할당하여 처리 그룹 1. 유사하게,모든 개인이 치료군 0 에 배정 된 경우 예상되는 사망률은 E(Y(1-T)/(1-p))에 의해 주어진다. 그런 다음 평균 인과 관계 효과는이 두 가지 예상 사망률의 차이입니다.
를 사용하는 경향이 점수를 무게,우리가 예상 치료를 1 와 관련이 있었는 절대의 감소 6.5%(95%의 신뢰 구간:-13.9%,1.8%)대 치 0.
5.6 로지스틱 회귀 분석을 조정에 대한 성향 점수
우리가 예상 치료의 효과를 1 대 0 치료에서는 로지스틱 회귀분석 모델에 대한 조정 성향 지수(퀸 타일 즈에서). 치료 1 의 확률 비율은 0.65(95%신뢰 구간:0.37,1.13)로 추정되었다. 우리는 원래의 설명 변수를 모델에 추가했을 때 비슷한 추정 확률 비율을 발견했습니다(즉, 성향 점수,연령,위험 및 심각도에 맞게 조정).
결과 요약
관찰 된 30 일 사망률은 치료 0 이 주어진 그룹에서 19%였고 치료 1 이 주어진 그룹에서 16%였다. 다양한 통계 방법으로부터의 추정치의 비교는 아래 표에 주어진다.
방법 | 절대 다름 | 확률을 비 | ||
---|---|---|---|---|
예상 | 95% CI | 예상 | 95%CI | |
조정 | -3.6% | (-11.5%, 4.3%) | 0.78 | (0.46, 1.31) |
로지스틱 회귀 분석을 조정을 위한 시대,위험 점수,그리고 중증도 지 | – | – | 0.62 | (0.35,1.11) |
Stratifying by PS | -6.0% | (-25.8%, 13.7%) | – | – |
Matching by PS | -7.8% | (-13.7%, -1.8%) | 0.58 | (0.33, 1.04) |
Weighting by PS | -6.5% | (-13.9%, 1.8%) | 0.63 | (0.34, 1.11) |
Logistic regression adjusting for PS | – | – | 0.65 | (0.37, 1.13 일) |
에서 일반적으로 성향이 점수를 방법을 제공과 유사한 결과를 로지스틱 회귀분석 모델입니다. 이것은 이전의 경험적 및 시뮬레이션 연구에서 잘 알려진 발견입니다.
참고 약간의 차이에 통계적 유의성에 대한 일치하는 방법,어디 95%에 대한 신뢰 구간은 확률의 비율에 의해 계산 기준 근사 및 수 있습니다 너무 넓습니다.
토론
섹션에서,위의 사용 회귀 조정과 성향에 대한 점수의 분석은 관측 데이터를 설명하고 설명합니다. 그것은 피할 수 없는 제한은 관측 데이터에서 치료 효과에 비해 데이터에서 무작위험입니다. 는 방법에 기반한 회귀 조정 또는 성향에서 점수를 관찰 데이터 분석을 할 수 있습니다 균형을 잡는 것을 통해 알려진 공변량하는 동안,무작위 균형을 통해 알려진 알려지지 않은 공변량.
때 사용하는 점수 성향 분석을 사용하는 것이 매우 중요합하는지 확인 중요한 예후 요인은 균형 잡힌 성향에 의해 점수가-없는 균형,기본 이론에 실패합니다. 그러나 있다면 그것의 큰 숫자를 예측할 수 없습 합리적인 기대하는 완벽한 균형에 한,같은 방식으로에 RCT 의 비교를 기본 요소는 가끔 사이의 차이점을 찾을 수있는 그룹이다.
이후 성향이 점수를 필요로의 분포 균형을 설명변수 간에 그룹,때로는 모델을 포함해야합니다 하지만 주요 효과 또한 상호 작용 약관 사이에 설명변수. 다행히도,모델을 추정하는 데 사용되는 성향의 점수가 일반적으로 관심의 초점이며,따라서 그것은 필요하지 않는 인색한 것-그것은 단지 요구를 허용하는 균형입니다. 오스틴 등. 실시 큰 시뮬레이션을 공부하고 보는 것이 가장 중요한 변수에 포함하는 성향을 모델 점수(와 균형을 보장하기 위해 이상)사람들은 설명하는 변수와 관련된 결과의 관심입니다. 반면에,치료 할당과 관련이 있지만 결과와 관련이없는 변수를 포함하는 것은 필수적이지 않습니다.
성향 점수 접근법에 특히 적합한 한 가지 상황은 관심 결과가 드물지만 치료가 일반적인 경우입니다. 이 상황에서 수 많은 데이터 사이의 관계를 모델링하는 결과 및 예후 변 일반적인 엄지손가락의 규칙은 10 이벤트가 관찰되어야 하는 각(의 수준)전조 변수에 포함된 멀티 로지스틱 회귀분석 모형)-는 반면 거기에 충분 한 수 있습니다 데이터를 생성하기 위한 좋은 모델 성향 점수입니다. 이 경우 성향 점수를 이용한 조정이 분석에 대한 유일한 실행 가능한 접근법 일 수 있습니다.
중 하나 잠재력을 활용하의 성향은 점수를 방법을 통해 회귀분석의 조정은 그것이 쉽게 될 수 있는지 확인하는 성향을수 있는 균형 잡힌 측정 변수를 사 처리 및 치료 과목,반면 그것은 더 어려운 여부를 판단하기 위해 회귀분석 모델을 올바르게 지정됩니다.
마지막으로,그것은 중요하는 경향이 점수를 예측은 다른 치료 효과 회귀분석을 조정합니다. 성향 점수 분석은 한계 효과를 추정하는 반면 회귀 조정은 조건부 효과를 추정합니다. 한계 치료 효과는 인구 수준에서 해석됩니다:치료가 어떻게 변할 것인가?인구에서 관찰 된 결과의 전체 수? 할 때 사용하는 로지스틱 회귀분석 모형의 조건부한 치료 효과는 변경에서 확률의 결과를 위해 개인에 노출되었을 때에 비해 치료를 받고 처리,조건부에서는 개인의 설명변수-즉 조건 효과 해석에 개별 수준입니다. 이 효과의 수치 예는 질병이 13,200 명의 개인에게 영향을 미치는 다음 표에 나와 있습니다. 개인의 대부분은’저 위험’으로 간주되는 반면,소수는’고위험’으로,이전 치료에서 각각 5%와 25%의 사망률을 보입니다. 새로운 매우 효과적인 치료가 가능성을 줄일의 죽음의 80%(조건부 확률의 비율과 0.2),그러나 확율 비율에서 유의미한 수준하지 않은 0.2:
위험 그룹 | n | 오래된 치료 | 새로운 치료 | Rel. Risk | Odds Ratio | ||
---|---|---|---|---|---|---|---|
High risk | 1200 | 300 | (25%) | 75 | (6.25%) | 0.250 | 0.200 |
Low risk | 12000 | 600 | (5%) | 125 | (1.04%) | 0.208 | 0.200 |
Total | 13200 | 900 | (6.8%) | 200 | (1.52%) | 0.222 | 0.210 |
- Rosenbaum PR,Rubin DB. 인과 관계에 대한 관찰 연구에서 성향 점수의 중심 역할. 바이오 메 트리 카,1983;70:41-55. .
- Baser O. 성향 점수 모델에 대해 너무 많은 Ado? 성향 점수 일치 방법 비교. 건강의 가치, 2006;9(6):377-85..
- Rosenbaum PR. 모델 기반 직접 조정. 미국 통계 협회 저널,1987;82:387-94. .
- Shah BR,Laupacis A,Hux JE,Austin PC. 성향 점수 방법은 관측 연구에서 전통적인 회귀 모델링과 유사한 결과를 나타 냈습니다:체계적인 검토. 임상 역학 저널, 2005;58(6):550-9..
- 오스틴 PC,Grootendorst P,앤더슨 GM. 을 비교하는 기능의 서로 다른 성향 점수는 모델의 균형을 측정한 변수를 사 처리 및 치료 과목은:몬테 카를로 공부합니다. 의학 통계, 2007; 26(4):734-53..
- Braitman LE,Rosenbaum PR. 드문 결과,일반적인 치료법:성향 점수를 이용한 분석 전략. 내과의 연대기,2002;137:693-5. .
- Wang J,Donnan PT. 약물 안전성 연구에서 성향 점수 방법:실습,강점 및 한계. 약리학 및 약물 안전성, 2001; 10(4):341-4. .
- 오스틴 PC,Grootendorst P,Normand SL,Anderson GM. 성향 점수에 대한 컨디셔닝은 치료 효과의 일반적인 척도에 대한 편향된 추정을 초래할 수 있습니다:몬테카를로 연구. 의학 통계, 2007; 26(4):754-68..
추가 읽기
- 오스틴 PC. 1996 년과 2003 년 사이의 의학 문헌에서 성향-점수 매칭에 대한 비판적 평가. 의학 통계,2008(언론에서)..
- D’Agostino RB Jr.비 무작위 대조군에 대한 치료의 편향 감소에 대한 성향 점수 방법. 통계신약, 1998; 17(19):2265-81..
- 는 GW 를 Imbens. 용량-반응 기능을 추정하는 성향 점수의 역할. 바이오 메 트리 카, 2000; 87(3):706-10..
- Rosenbaum PR,Rubin DB. 성향 점수에 대한 하위 분류를 사용하여 관찰 연구에서 편향을 줄입니다. 미국 통계 협회 저널, 1984; 79(387):516-24..
- Winkelmayer WC,Kurth T. 성향 점수:도움 또는 과대 광고?신장학 투석 이식,2004;19:1671-3..
인정
예시적인 예를 개발하는 데 도움을 주신 Eric Lau 에게 감사드립니다.
이 저작물은 Creative Commons Attribution3.0Unported License 에 따라 라이선스가 부여됩니다. 그것에 의해 작성되었 벤 카울
이 페이지가 마지막으로 수정
Leave a Reply