제로부터시작하는개발생활 제로부터시작하는개발생활

오늘은 NiFi 테스트를 해보며 얻었던 인사이트들을 여러분들께 공유하려고 합니다.(조회수는 적지만) 스레드 생성 개수와 Concurrent Tasks 상관관계 찾기이번 테스트는 Java 스레드 풀을 통한 스레드 생성 개수와 NiFi에서 관리하는 스레드 개수(Concurrent Tasks)를 조정하여 최적의 관계를 찾아볼 예정입니다. 최적화 대상ExecuteStreamCommand 프로세서 : Elasticsearch에 색인하는 Jar 파일env.- 3 node cluster- core : 40/40/32알아두기전체 메뉴인 (우상단의 햄버거 아이콘)을 클릭하여 노드 당 할당할 수 있는 Concurrent Tasks의 최대 개수를 설정해야합니다.개수를 늘릴 때는 클러스터를 재시작할 필요가 없지만, 이를 줄이..

오늘은 Nifi 데이터 파이프라인을 소개하려고 합니다! NiFi는 Attribute, Content로 이루어진 FlowFile을 활용하며, 직관적으로 파악할 수 있는 UI 제공과 코드 없이도 기존 프로세서를 사용하여 데이터 파이프라인을 개발할 수 있습니다. (기존 프로세서 외에도 Jar, Nar 파일을 프로세서로 실행시킬 수도 있습니다.)제가 소개할 NiFi를 통한 목표는 아래와 같습니다. 목표인덱스 to 인덱스 데이터 색인 (Reindex 과정)- search_after 사용- Bulk API 사용제약사항- Query를 날릴 수 있어야 함- 중복 불가 구성 환경NiFi 1.27.0Linux Centos필자의 경우 해당 프로세스를 사용하기 전에 SSL 설정, Key를 발급받아 Variables에 저장해둔..