Sigmoid 함수는 무엇입니까?

시그 모이 드 함수는 특성 S 자형 곡선을 갖는 수학 함수입니다. 로지스틱 함수,쌍곡선 탄젠트 및 arctangent

와 같은 여러 가지 일반적인 sigmoid 함수가 있습니다. 기계 학습에서 용어

sigmoid 함수는 일반적으로 로지스틱 sigmoid 함수라고도하는 로지스틱 함수를 구체적으로 지칭하는 데 사용됩니다.

모든 s 상 기능이 있는 시설들도 전체 수는 라인으로 작은 범위와 같은 0 과 1 사이에,또는 -1 1,따라서 하나의 s 자형 기능을 변환하는 것입니다 실제 값으로 하는 것으로 해석될 수 있는 확률입니다.

중 하나 가장 널리 사용되는 s 상 기능은 로지스틱 함수는 지도 실제 가치를 범위(0,1)입니다. Sigmoid 함수에게 그들의 이름을 준 특성 S 모양을 주목하십시오(그리스 문자 시그마에서).

Sigmoid 함수는 인공 신경망에서 활성화 함수로 사용될 수 있기 때문에 딥 러닝에서 인기를 얻었습니다. 그들은 생물학적 신경 네트워크에서의 활성화 잠재력에 영감을 받았습니다.

Sigmoid 함수는 실제 숫자를 확률로 변환해야하는 많은 기계 학습 응용 프로그램에도 유용합니다. 은 s 자형 기능으로 배치의 마지막층의 기계 학습 모델을 봉사할 수 있는 변환하는 모델의 출력으로는 확률 점수가 될 수 있는 작업에 쉽게하고 해석할 수 있습니다.

Sigmoid 함수는 로지스틱 회귀 모델의 중요한 부분입니다. 로지스틱 회귀는 수정의 선형 회귀 분석을 위해 두 개의 클래스의 분류,변환 하나 이상의 실제값의 입력으로는 확률과 같은 확률는 고객이 제품을 구입 합니다. 로지스틱 회귀 모델의 최종 단계는 종종 로지스틱 함수로 설정되며,이로 인해 모델이 확률을 출력 할 수 있습니다.

Sigmoid 함수 공식

모든 sigmoid 함수는 단조롭고 종 모양의 첫 번째 파생어를 갖습니다. 몇 가지 시그 모이 드 기능이 있으며 가장 잘 알려진 기능 중 일부는 아래에 나와 있습니다.

의 세 가지 일반적인 s 자형 기능:로지스틱 함수,쌍곡 탄젠트,그리고 아크 탄젠트. 모두 동일한 기본 모양을 공유합니다.

로지스틱 s 상 기능식

중 하나는 일반적인 s 자형 기능은 로지스틱 s 상 기능입니다. 이것은 종종 기계 학습 분야에서 시그 모이 드 함수라고 불립니다. 로지스틱 시그 모이 드 함수는 다음과 같이 정의됩니다:

수학적 정의는 로지스틱 s 상 함수,일반적인 s 자형 기능

로지스틱 함수는 어떠한 실제 값의 입력과 출력 사이의 값을 제고 하나입니다.

쌍곡선 탄젠트 함수 공식

또 다른 일반적인 시그 모이 드 함수는 쌍곡선 함수입니다. 이렇게하면 실제 값 입력이-1 과 1 사이의 범위에 매핑됩니다.

수학의 정의 쌍곡선 접

아크 탄젠트 기능식

세 번째 대 s 상 함수는 아크 탄젠트,는 역의 접하는 기능입니다.

아크 탄젠트 기능

아크 탄젠트 기능을 지도 모든 실시 평가에 입력 범위−π/2π/2.

에서 아래 그래프가 우리는 모두 볼 수 있습니다 접선 곡선,잘 알려진 삼각함수,그리고 아크 탄젠트,그 역:

을 계산하는 s 상 Function

예로의 계산은 로지스틱 s 상수

로지스틱 s 상능을 평가할 수 있습 값의 함수에서 여러 주요 포인트를 기능을 이해하의 형태입니다.

X=0 에서 로지스틱 시그 모이 드 함수는 다음을 평가합니다:

이에 대한 유용한 해석의 s 자형으로 확률에는 로지스틱 회귀분석 모형을 보여주기 때문에 제로 입력한 결과에서 출력의 0.5 을 나타내는 동등한의 확률 모두 클래스입니다.

x=1,우리가 찾을 약간 더 큰 값:

고로 x=5 의 값 s 상게는 매우 가깝습니다 1.

사실에서,제한 x 경향을 향한 무한대,s 상 기능을 수렴 1,으로 -1 의 경우에 부정적인 인피니티지만,유도체의 함수에 도달하지 않았다. 이들은 한계를 향한 경향이 있지만 항상 0 이 아닌 그라디언트를 가지므로 시그 모이 드 함수의 매우 유용한 특성입니다.

예로의 계산 쌍곡선 접수

마찬가지로 우리가 계산할 수 있습의 값이 적용되지 않는 기능에서 이러한 주요 포인트입니다. Tanh 함수는 0.5 를 중심으로 하기보다는 0 을 중심으로 합니다.

1,tanh 기능이 늘어난 상대적으로 보다 훨씬 더 빠르게 로지스틱 함수:

그리고 마지막으로,5,tanh 기능의 통합이 훨씬 더 밀접하 1,5decimal places:

사실,모두의 쌍곡선의 측면 및 아크 탄젠트 기능을 수렴하고 보다 훨씬 더 빠르게 로지스틱 s 상 기능입니다.

Arctangent 함수의 예 계산

arctangent 함수를 동일한 지점에서 평가하여 수렴하는 위치를 확인할 수 있습니다:

위에 표시된 다른 두 sigmoid 함수와 달리 arctangent 는 1 이 아닌 π/2 로 수렴한다는 점에 유의하십시오. 또한,arctangent 는 x=5 에서 최종 값에 가깝지 않기 때문에 더 천천히 수렴합니다. X=5000 과 같이 상당히 큰 숫자로만 arctangent 는 π/2 에 매우 가깝습니다.

요약 세 s 상수

우리는 비교할 수 있습니다 핵심 속성의 세 s 상 기능은 다음과 같은 위에 테이블:

Sigmoid function	Logistic function	tanh	arctan
Value in the limit x →-∞	0	-1	-π/2
Value at x = 0	0.5	0	0
Value in the limit x →∞	1	1	π/2
Converges	Fast	Very fast	Very slow

Sigmoid Function vs. ReLU

에 현대적인 인공 신경망을 확인하는 것이 일반적입니다 장소에서의 s 자형 기능,정류기 또는 정류 선형 장치,또는 ReLU,으로 사용되는 활성화 기능입니다. 이 ReLU 은 다음과 같이 정의됩니다.

정의의 정류 활성화 기능

의 그래프 ReLU 기능

ReLU 기능은 여러 가지 주요 장점은 s 자형 기능에 신경 네트워크입니다. 주요 이점은 ReLU 함수가 계산하기가 매우 빠르다는 것입니다. 또한,활성화에 잠재적인 생물학적 신경 네트워크를 계속하지 않을 변경에 대한 부정적인 입력,그래서 ReLU 가까이 보인 생물학적 현실 경우 목표는 모방 생물학적 시스템입니다.

또한 양성 x

의 경우 ReLU 함수는 1 의 일정한 구배를 갖는 반면 sigmoid 함수는 0 으로 빠르게 수렴하는 구배를 갖습니다. 이 속성은 시그 모이 드 활성화 기능을 가진 신경망을 느리게 훈련시킵니다. 이 현상은 사라지는 그라데이션 문제로 알려져 있습니다. 의 선택 ReLU 으로 활성화 기능을 완화하므로 이러한 문제를 그라데이션의 ReLU 는 항상 1 에 대한 긍정적인

x 그리고 학습 과정이 될 수 없을 둔화에 의해 아래로 그라데이션되고 작습니다.

그러나로 그라데이션에 대한 부정적인 x 발생할 수 있습 유사한 문제는,알려진 제로 그라데이션 문제이지만,그것은 가능한 보상에 대한 이해를 추가하는 작은 선형기간 x 주 ReLU 기능이 아닌 경사면에서 더 많은 시간이 필요합니다.

응용 프로그램의 s 자형 기능

로지스틱 s 상 기능은 로지스틱 회귀분석

핵심 영역의 기계 학습 s 상 함수는 필수적인은 로지스틱 회귀분석 모델입니다. 로지스틱 회귀분석 모형을 추정하는 데 사용되는 확률의 바이너리 이벤트 등으로 죽은 자 대 살아있는 아픈,대만,사기 vs 정직한 트랜잭션,등등. 0 과 1 사이의 확률 값을 출력합니다.

로지스틱 회귀분석,물류 s 상 기능에 맞게 데이터 세트는 독립 변수(s)용할 수 있습니다 실제 가치며,종속 변수에 0 또는 1.

예를 들어,종양 측정 및 진단의 데이터 세트를 상상해 봅시다. 우리의 목표는 크기가 센티미터로 주어지면 종양이 퍼질 확률을 예측하는 것입니다.

일부 측정 종양의 크기와 결과

플로팅 전체 데이터 집합,우리는 일반적인 트렌드는,큰 종양,더 많은 가능성이 그것이 확산되어 있지만 명의 중복을 모두 클래스에서는 범위 2.5cm3.5cm:

플롯 종양의 결과에 대 종양의 크기

를 사용하여 로지스틱 회귀분석,모델링할 수 있습니 종양 상태 y(0 또는 1)기능으로 종양의 크기는 x 를 사용하는 로지스틱 s 상식:

우리를 찾을 필요가 최적의 값 m b 할 수있는 이동 스트레칭 s 상 곡선에 맞게 데이터입니다.

이 경우에는,피팅 s 자형 곡선은 우리에게 다음과 같은 값:

우리는 이러한 값으로 다시 s 상식과 플롯한 곡선:

이 의미는,예를 들어, 주어진 종양의 크기 3cm,우리의 로지스틱 회귀분석 모형의 가능성을 예측 이 종양으로 확산:이 경우 두 가지 방법이 있습니다. 원래의 데이터에서 우리는 3cm 주변의 종양이 두 클래스 사이에 다소 균등하게 분포되어 있음을 알 수 있습니다.

크기 6cm 의 종양을 고려해 보겠습니다. 모든 종양에서는 원본 데이터의 크기는 4㎝크거나 확산되었다,그래서 우리가 기대하는 우리의 모델은 반환하는 높은 가능성 종양의 확산:

이 모델은 반환되는 확률이 매우 근접하여 1 나타내는,근처에는 확신 y=1.

이것은 sigmoid 함수와 특히 로지스틱 함수가 확률 모델링에 매우 강력한 방법을 보여줍니다.

로지스틱 함수가 로지스틱 회귀에서 사용되고 다른 시그 모이 드 함수가 아닌 이유는 무엇입니까?

는 이유는 로지스틱 함수에서 사용되는 로지스틱 회귀분석,기 s 상 개 단지 때문에 사실은 그것이 편리하게 반환 값은 0 과 1 사이입니다. 로지스틱 회귀는 두 클래스의 데이터가 정상적으로 분산된다는 가정에서 파생됩니다.

퍼지지 않는 종양과 퍼지는 종양이 각각 정규 분포를 따른다고 상상해 봅시다. 비 확산되고 종양은 일반적으로 배포된 의미 1.84cm 및 표준 편차 1cm,확산과 종양은 일반적으로 배포된 의미 4.3cm,또한 표준 편차 1cm. 이 두 정규 분포의 확률 밀도 함수를 모두 플로팅 할 수 있습니다:

각 지점에서 우리는 확률을 계산할 수 있습의 비율이 두 배포판은 확률 밀도 함수의 확산에 종양 합계로 나누어 모두의 확률 밀도 함수(비 확산되고 종양):

플로팅 확률은 비율의 함수로서의 x,우리가 볼 수있는 결과가 원래 물류 s 상 곡선입니다.

는 이유는 로지스틱 함수에 대한 선택은 로지스틱 회귀은 가정을 우리는 우리 모델링은 두 개의 클래스는 모두 정상적으로 배포,그리고 로지스틱 함수에 자연적으로 발생 비율에서의 정상적인 확률 밀도 함수입니다.

s 상 기능으로 활성화 기능에 인공 신경망

인공 신경 네트워크로 구성되어 있 여러 층의 함수의 최상위 계층에 서:

포워드 신경망을 가진 두 개의 숨겨진 레이어

각 계층은 일반적으로 일부를 포함 무게와 편견과 같이 기능이 작은 선형 회귀분석 등을 다룬다. 레이어의 중요한 부분은 또한 활성화 기능입니다.

식을 위한 첫 번째 숨겨진 레이어의 포워드 신경 네트워크와 무게에 의해 표시된 W 과 편견 b,및 활성화 기능 g.

경우,모든 계층 신경 네트워크에 포함되만 무게와 편견 없지만,활성화 기능,전체 네트워크의 것 해당하는 단일 선형 조합의 무게와 편견으로 만들어 집니다. 다시 말해,신경망에 대한 공식을 인수 분해하고 간단한 선형 회귀 모델로 단순화 할 수 있습니다. 이러한 모델을 수 있을 것인가는 아주 간단한 선형 종속성 하지만 할 수 없을 수행하는 인상적인 작업을 신경 네트워크는 유명한 한,이러한 이미지로 음성 인식입니다.

비선형 성을 도입하기 위해 신경망에서 층간에 활성화 함수가 도입되었습니다. 원래 s 상 함수와 같은 로지스틱 함수,아크 탄젠트,그리고 쌍곡 접 사용되었다,그리고 오늘 ReLU 및 그 변종은 매우 인기가 있습니다. 모든 활성화 기능은 동일한 목적을 수행합니다:네트워크에 비선형 성을 도입하는 것입니다. S 상기능 선택되었으로 일부의 첫 번째 활성화 기능 덕분에 그들의 인식과 유사성 활성화에 잠재적인 생물학적 신경망이 있습니다.

감사를 이용하 s 상 함수에서 다양한 포인트에 다층 신경망,신경 네트워크 구축할 수 있습을 연속적인 레이어를 선택에서 점점 더 복잡한 기능을 입력 예입니다.

s 상기능 역사

1798 년,영국 성직자와 경제학자 로버트 토마스 맬서스 책을 출판 익명으라고 하는 논문의 원리,인구고 주장하는 것은 인구가 증가에서 기하학적으로 진행(두배로 하는 모든 25 년)에 있는 동안 식량 공급을 증가하고 있음을 산술적으로,그리고 둘 사이의 차이 때문이었을 광범위하게 발생할 들고 있다.

에서 늦은 1830 년 벨기에의 수학자 피에르 프랑 Verhulst 었 다른 방법으로 실험의 모델링은 인구 성장,그리고 원하는 계정이라는 사실을 인구의 성장은 궁극적으로 자기를 제한하지 않는 기하 급수적으로 증가 영원합니다. Verhulst 선택한 로지스틱 함수 논리적으로 조정하는 간단하수 모형,모형화하기 위해 둔화의 인구의 성장을 할 때 발생하는 인구의 시작을 배출하 resources.

통해 다음 세기의 생물학자와 다른 과학자들이 사용하기 시작했 s 상 함수로 표준 도구 모델링을 위한 인구 증가로서 세균의 식민지를 인류 문명.

1943 년에,워렌 매컬러크 및 월터 피츠를 개발하고 인공 신경 네트워크 모델을 사용하여 열심히 차단으로 활성화 기능,신경 출력 1 또는 0 인지 여부에 따라 입력은 위 또는 아래습니다.

에서는 1972 년 생물학자는 휴 윌슨과 잭 코완 시카고 대학에서 벗어나려고 시도하는 중이었는데 모델 생물학적 신경을 계산하고 게시 윌슨–코완 모델,어디에 신경 신호를 보내의 다른 신경을 받으면 신호보다 더 큰 활성화 잠재력입니다. 윌슨과 코완은 신경 세포의 활성화를 자극의 함수로 모델링하기 위해 로지스틱 시그 모이 드 기능을 선택했다.

에서는 1970 년대와 1980 년대 이후,수의 연구자들은 사용하기 시작했 s 상 기능을 제제 인공 신경망에서 영감을 받 생물학적 신경망이 있습니다. 1998 년에는 얀 마칠을 선택한 쌍곡 접로 활성화 기능에서 자신의 획기적인 나선형 신경 네트워크 LeNet 는 첫번째이었을 인식할 수 있기 자리를 실제적인 수준의 정확성이다.

최근 몇 년 동안,인공 신경 네트워크에서 멀리 이동했 s 상수의 찬성 ReLU 기능을,이후 모든 개의 s 자형 기능은 집약적인 연산을 계산하고,ReLU 제공에 필요한 비선형성을 활용하의 깊이의 네트워크를 하면서도 매우 빠르게 계산합니다.