디지털 라이브러리[ 검색결과 ]
트랜스포머 기반 시계열 데이터 분류작업을 위한 GASF와 CNN을 사용한 CLS 토큰 추가 임베딩 방법
http://doi.org/10.5626/JOK.2023.50.7.573
시계열 데이터란 일정한 시간 동안 수집된 일련의 순차적으로 정해진 데이터 셋의 집합을 의미하며 예측, 분류, 이상치 탐지 등에 활용되고 있다. 기존 시계열 분야는 순환신경망으로 구성된 모델을 주로 활용하여 분석하였지만, 최근 트랜스포머의 개발로 인하여 연구 추세가 변화하고 있다. 하지만 트랜스포머는 시계열 데이터 예측에는 좋은 성능을 보이지만, 분류 작업에는 상대적으로 부족한 성능을 보인다. 본 논문에서는 시계열 데이터를 트랜스포머에 입력으로 활용하기 위해 그라미안 각도 합산 필드와 컨볼루션 신경망을 사용하여 생성한 분류 토큰을 추가하는 임베딩 방식을 제안하며, 사전 학습 기법을 활용하여 성능을 향상시킴을 보인다. 제안하는 모델 성능을 비교하기 위하여 12개의 서로 다른 모델들과 평균 정확도를 기준으로 성능 평가를 진행하였으며, 제안하는 모델은 다른 모델에 비해 최소 1.4% 최대 21.1%까지 성능 향상을 보인다.
R-FLHE: 계층적 엣지 컴퓨팅에서 비표적 모델 중독 공격에 강건한 연합학습 프레임워크
http://doi.org/10.5626/JOK.2023.50.1.94
연합학습은 데이터 프라이버시를 보장하고 통신 비용을 절감하기 위해 학습된 모델만 수집하는 서버-클라이언트 기반의 분산 학습 방법이다. 최근 엣지 컴퓨팅과 연합학습을 결합하여 미래의 IoT 생태계를 대비한 연구가 진행되고 있지만, 취약성 및 위협을 고려한 연구는 부족하다. 본 논문에서는 비표적 모델 중독 공격으로부터 글로벌 모델이 강건하기 위한 연합학습 프레임워크인 R-FLHE (Robust Federated Learning in Hierarchical Edge computing)를 제안한다. R-FLHE는 클라이언트로부터 학습된 모델을 수집하여 엣지 서버에서 평가하고, 산출된 모델의 손실값을 기반으로 score를 부여한다. R-FLHE는 가장 좋은 score를 가진 엣지 서버의 모델만을 클라우드 서버로 보냄으로써 글로벌 모델의 강건함을 유지한다. 본 논문에서 제안한 R-FLHE는 공격이 발생하더라도 평균 0.81%, 1.88%의 성능 저하만 있을 뿐, 각 연합학습 라운드마다 일정한 성능을 유지하는 강건함을 보인다.
흉부 X-선 영상에서 밝기값 정규화 및 다중 스케일 폐-집중 패치를 사용한 앙상블 딥러닝 모델 기반의 폐렴 자동 분류
http://doi.org/10.5626/JOK.2022.49.9.677
소아 흉부 X-선 영상(CXR)은 밝기값이 불규칙하여 정상과 폐렴을 구분하기 어렵다. 또한 딥러닝 모델은 폐의 외부 영역에 잘못 집중하여 CXR을 오분류할 수 있다는 한계가 있다. 본 논문은 CXR 영상에서 밝기값 정규화 및 다중 스케일 폐-집중 패치를 사용한 앙상블 딥러닝 기반 폐렴 자동 분류 방법을 제안한다. 첫째, 불규칙한 폐 내부 밝기값을 개선하기 위해 세 가지 밝기값 정규화 방법을 각각 수행한다. 둘째, 폐 내부에 집중하여 학습하기 위해 폐 영역을 분할하여 관심 영역을 추출한다. 셋째, 다중 스케일 폐-집중 패치를 사용하여 폐렴의 특징을 학습한다. 마지막으로 분류 성능을 향상시키기 위해 어텐션 모듈을 추가한 앙상블 모델을 사용한다. 실험 결과, CLAHE를 적용한 큰 크기의 패치 사용 시 정확도 92%로 원 영상 대비 5%p 향상된 성능을 보였다. 또한 큰 크기와 중간 크기의 패치를 앙상블한 제안 방법이 정확도 93%로 가장 좋은 성능을 보였다.
불균형 웹 어플리케이션 공격 탐지를 위한 CNN 기반 저복잡도 판정 신뢰도 추정
http://doi.org/10.5626/JOK.2020.47.9.842
최근 웹 어플리케이션 공격의 급격한 증가와 함께 그 종류가 다양해짐에 따라 기존의 기법들만으로는 이를 탐지하는 것에 한계가 있었다. 이러한 문제를 해결하기 위해 convolutional neural network(CNN) 과 같은 기계 학습을 이용한 탐지 기법이 제안되었으나, 이러한 탐지 기법은 판정 오류 샘플에 대한 판정의 신뢰도가 낮다는 단점이 있다. 이 문제를 해결하기 위해, Monte-Carlo batch normalization (MCBN)기법이 제안되었다. 구체적으로, MCBN 기법은 임의의 판정할 샘플이 포함된 서로 다른 mini-batch들을 CNN을 이용하여 반복 판정을 수행하고 이 결과를 평균하여 판정 신뢰도를 추정한다. 그러나 이 기법에서는 mini-batch 를 구성하는 M개의 데이터 중 하나의 판정 데이터를 제외한 모든 데이터에 훈련 데이터를 사용하기 때문에 많은 연산이 요구된다. 따라서 본 논문에서는 불균형 웹 어플리케이션 공격 탐지를 위한 저복잡도 판정 신뢰도 추정 기법을 제안한다. 제안 기법은 판정을 위한 mini-batch 구성 시, 정상 및 공격 샘플 구성 비율을 훈련 과정에서의 비율과 동일하게 유지한다. 이를 위해 판정 데이터에 대한 임시 판정을 이용하여 대략적인 클래스 간 비율을 확인하고 부족한 클래스 데이터를 훈련 데이터로부터 과대표집 하였다. 이를 통해 제안 기법은 MCBN 기법에 비해 계산량을 최대 M배까지 줄였다. 모의 실험 결과로부터, MCBN 기법과 비교하여 판정 성능이 향상되었고 판정 신뢰도 성능저하가 크지 않은 것을 확인하였다.
Channel Attention과 그룹 컨볼루션을 이용한 효율적인 얼굴 감정인식 CNN
http://doi.org/10.5626/JOK.2019.46.12.1241
최근 얼굴 표정에서 감정을 인식하기 위한 문제에서 컨볼루션 신경망을 이용한 연구가 활발히 진행되고 있다. 본 논문에서는 사람의 얼굴 표정에서 나타나는 감정을 인식하기 위해 사용하는 딥 컨볼루션 신경망의 모델 복잡도(Complexity) 문제점을 해결한 효율적인 컨볼루션 신경망을 제안한다. 본 논문에서는 모델의 복잡도를 줄이기 위해 그룹 컨볼루션, 깊이별 분리 컨볼루션을 사용하여 파라미터 수와 연산량을 감소시키고 특징 연결을 위한 Skip Connection과 Channel Attention을 사용하여 특징의 재사용성과 채널 정보를 강화하였다. 제안하는 모델의 학습 파라미터 개수는 0.39 M(Million), 0.41 M으로 기존 모델에 비해 4배 이상 적은 수의 파라미터를 사용하여 FER2013, RAF-single 데이터셋에서 각각 70.32%, 85.23%의 정확도를 달성하였다.
멀티모달 딥러닝 모델을 이용한 실감효과 구간 검출
http://doi.org/10.5626/JOK.2018.45.12.1250
일반 영화를 4D 영화로 변환하기 위해서 실감효과를 추가할 구간을 검출 할 필요가 있다. 이를 자동화하기 위해 본 논문에서는 시각적 · 청각적 특징을 이용하여 실감효과 구간을 검출하는 멀티모달 딥러닝 모델을 제안한다. 실감효과 여부를 분류하기 위해 오디오 기반 컨볼루션 순환 신경망과 비디오 기반 롱 쇼트-텀 메모리, 다층 신경망을 이용하였다. 오디오 기반 모델과 비디오 기반 실감효과 분류 모델을 특징값-단계에서 결합하였다. 또한, 대화 구간에서는 실감효과가 잘 나타나지 않는다는 점을 이용하여 오디오 기반 컨볼루션 신경망 모델을 이용하여 비대화 구간을 검출하고, 앞서 획득한 실감효과 분류 모델결과와 스코어-단계에서 결합하였다. 마지막으로, 입력 윈도우 구간의 예측 스코어를 이용하여 전체 영화의 연속된 실감효과 구간을 검출하였다. 실제 4D 영화를 이용한 실험을 통해 시각적 · 청각적 특징을 모두 사용한 멀티모달 딥러닝 모델이 유니모달 딥러닝 모델에 비해 높은 검출 성능을 보여주는 것을 확인하였다.
Convolutional Neural Network를 이용한 웹 어플리케이션 공격 탐지 기법
http://doi.org/10.5626/JOK.2018.45.7.744
웹 어플리케이션 공격이 급격하게 늘면서 기존의 기법들만으로는 이를 탐지하는 것이 한계가 있어, 기계학습 기반의 탐지 기법이 연구되기 시작하였다. 기계학습을 활용한 기존 기법은 공격 탐지를 위해 적절한 특징(feature)을 선정해야 하는 어려움이 있으며, 새로운 공격 패턴이 등장할 경우 이에 적합하도록 특징을 재선정해야 할 경우도 발생한다. 본 논문에서는 HTTP 트래픽을 구성하는 입력이 허용되는 문자에 대한 제한 없이 문자 단위로 16진수 변환한 후 이미지화하고, 이를 입력으로 하는 convolutional neural network을 통해 웹 어플리케이션 공격을 탐지하는 기법을 제안한다. 제안 기법은 별도의 특징 선정 없이 지도학습을 통해 이미지화 된 HTTP 트래픽을 학습하며, 기존의 기계학습 기법보다 최대 84.4%까지 공격 탐지 오류율 성능을 향상할 수 있음을 보였다.
문서 분류의 개선을 위한 단어-문자 혼합 신경망 모델
http://doi.org/10.5626/JOK.2017.44.12.1290
문서의 텍스트를 바탕으로 각 문서가 속한 분류를 찾아내는 문서 분류는 자연어 처리의 기본 분야 중 하나로 주제 분류, 감정 분류 등 다양한 분야에 이용될 수 있다. 문서를 분류하기 위한 신경망 모델은 크게 단어를 기본 단위로 다루는 단어 수준 모델과 문자를 기본 단위로 다루는 문자 수준 모델로 나누어진다. 본 논문에서는 문서를 분류하는 신경망 모델의 성능을 향상시키기 위하여 문자 수준과 단어 수준의 모델을 혼합한 신경망 모델을 제안한다. 제안하는 모델은 각 단어에 대하여 문자 수준의 신경망 모델로 인코딩한 정보와 단어들의 정보를 저장하고 있는 단어 임베딩 행렬의 정보를 결합하여 각 단어에 대한 특징 벡터를 만든다. 추출된 단어들에 대한 특징 벡터를 바탕으로, 주의(attention) 메커니즘을 이용한 순환 신경망을 단어 수준과 문장 수준에 각각 적용하는 계층적 신경망 구조를 통해 문서를 분류한다. 제안한 모델에 대하여 실생활 데이터를 바탕으로 한 실험으로 효용성을 검증한다.
Investigating the Feature Collection for Semantic Segmentation via Single Skip Connection
http://doi.org/10.5626/JOK.2017.44.12.1282
최근 심층 컨볼루션 신경망을 활용한 이미지 분할과 물체 위치감지 연구가 활발히 진행되고 있다. 특히 네트워크의 최상위 단에서 추출한 특징 지도뿐만 아니라, 중간 은닉 층들에서 추출한 특징 지도를 활용하면 더욱 정확한 물체 감지를 수행할 수 있고 이에 대한 연구 또한 활발하게 진행되고 있다. 이에 밝혀진 경험적 특성 중 하나로 중간 은닉 층마다 추출되는 특징 지도는 각기 다른 특성을 가지고 있다는 것이다. 그러나 모델이 깊어질수록 가능한 중간 연결과 이용할 수 있는 중간 층 특징 지도가 많아지는 반면, 어떠한 중간 층 연결이 물체 분할에 더욱 효과적일지에 대한 연구는 미비한 상황이다. 또한 중간층 연결 방식 및 중간층의 특징 지도에 대한 정확한 분석 또한 부족한 상황이다. 따라서 본 연구에서 최신 깊은 신경망에서 중간층 연결의 특성을 파악하고, 어떠한 중간 층 연결이 물체 감지에 최적의 성능을 보이는지, 그리고 중간 층 연결마다 특징은 어떠한지 밝혀내고자 한다. 그리고 이전 방식에 비해 더 깊은 신경망을 활용하는 물체 분할의 방법과 중간 연결의 방향을 제시한다.
욕설문장 분류의 불균형 데이터 해결을 위한 전이학습 방법
http://doi.org/10.5626/JOK.2017.44.12.1275
욕설문장을 지도학습 접근법으로 분류하기 위해서 욕설인지 아닌지 판별된 학습 문장이 필요하다. 문자수준의 컨볼루션 신경망이 각 문자에 대해 강건성을 가지기 때문에 욕설분류에 적합하지만, 학습에 많은 데이터가 필요하다는 단점이 있다. 본 논문에서는 이를 해결하기 위해 임의로 생성한 욕설/비욕설 문장 쌍을 컨볼루션 신경망을 기반으로 하는 분류기에 학습시켜 컨볼루션 신경망의 필터가 욕설의 특징을 분류하도록 조정한 후, 실제 훈련문장을 학습시킬 때 필터를 재사용하는 전이학습방법을 제안한다. 이로써 데이터 부족과 클래스 불균형으로 인한 영향이 감소하여 분류 성능이 향상될 것이다. 실험 및 평가는 총 3가지 데이터에 대해 수행되었으며, 문자수준 컨볼루션 신경망을 활용한 분류기는 모든 데이터에서 전이학습을 적용했을 때 더 높은 F1 점수를 획득하였다.
