Apache Software Foundation 프로젝트 개발의 CQRS 동향

아파치 스파크, 카프카, & 하둡을 통한 Flink 쇼케이스 혁신 "빅 데이터" 응용

Apache Software Foundation은 지난 20 년 동안 Apache HTTP 웹 서버의 대규모 산업 채택으로 인해 조직을 지배하는 가장 오래된 오픈 소스 소프트웨어 중 하나입니다. Apache Software Foundation은 1999 년 오리지널 웹 서버 플랫폼의 프로그래머에 의해 설립되었으며, 무료 오픈 소스 소프트웨어 프로젝트 및 커뮤니티 개발을 지원하여 차세대 웹 표준을 구축하는 광범위한 사명을 가지고 있습니다. Apache 라이센스는 GNU GPL, MIT와 유사합니다., & 지속적인 개방성 이외의 제한없이 다른 개발자 나 회사에서 사용, 복사, 수정, 복제 및 재판매 할 수있는 오픈 소스 코드 게시를위한 BSD 소프트웨어 라이센스 & 속성. 실험실, 인큐베이터, 다락방 및 인프라 팀을 포함하여 Apache Software Foundation 생태계 내에서 현재 개발중인 300 개가 넘는 프로젝트가 있습니다. 2017 년에보다 폭 넓은 산업 채택 경향이있는 현재 ASF 프로젝트 중 일부는 Kafka Apache Spark입니다., & 클라우드 웹 사이트 아키텍처에서 반응 형 데이터 스트림을 최적화하여 새로운 세대의 웹 애플리케이션을 지원하는 새로운 방식으로 CQRS의 각 측면을 구현하는 Flink.


Hadoop을 사용한 Apache Spark, Kafka 및 Flink 쇼케이스 혁신

Apache Software Foundation 에코 시스템의 소프트웨어 개발 동향

웹 호스팅에서 Apache HTTP Server 프레임 워크를 광범위하게 채택하여 Linux에서 모두 실행할 수 있습니다. & Windows 운영 체제와 마찬가지로 수백만 개의 웹 서버에 Apache를 설치하여 학술, 정부의 전문 프로그래머가 소스 코드를 광범위하게 검토하고 있습니다., & 엔터프라이즈 비즈니스 조직은 데이터 보안 및 하드웨어 성능 최적화에 중점을 둡니다. IBM의 최근 블로그 게시물 "오픈 소스가 실제로 의미하는 것" Apache Atlas, HBase, Ambari, Spark, Kafka, Knox와 같은 Apache 에코 시스템 프로젝트에 대한 회사의 지속적인 기여에 중점을 두었습니다., & 클라우드 데이터 분석을위한 Flink.

ASF가 개발중인 300 개가 넘는 프로젝트 중 8.8 %만이 네트워크 서버와 관련이 있으며 또 다른 8.6 %는 "빅 데이터" 신청. 웹 개발 프레임 워크 및 데이터베이스는 각각 총 ASF 프로젝트의 약 7 %를 구성합니다. 모든 웹 사이트의 80 % 이상에서 사용되지만 PHP는 Apache 라이센스에 따라 게시 된 대부분의 코드에서 볼 수있는 주요 프로그래밍 언어 중 하나가 아닙니다. C, Python, C ++, JavaScript, Scala, C #을 사용하는 Java 코드는 약 60 %입니다., & 펄도 인기있는 표준입니다. Apache 라이센스에 따라 게시 된 다른 FOSS 프로젝트를 추적하기 위해 Battery Index는 흥미롭고 Datamation은 "궁극의 목록" 광범위한 분야 (Apache, GPL, MIT, BSD 포함)에서 현재 개발중인 1250 개 이상의 FOSS 프로젝트, & 다른 소프트웨어 라이센스).

현재 Apache Software Foundation에서 조직 한 일부 트렌드 프로젝트는 다음과 같습니다.

  • 아파치 HTTP 서버 – 세계에서 가장 인기있는 웹 서버 플랫폼 소프트웨어
  • 아파치 톰캣 – Java 서블릿을위한 웹 서버 플랫폼 & WebSocket 애플리케이션
  • 아파치 하둡 – MapReduce를 사용하여 확장 가능한 분산 컴퓨팅 플랫폼
  • 아파치 카산드라 – Hadoop과 함께 사용하기위한 확장 가능한 다중 클러스터 데이터베이스
  • 아파치 스파크 – 기계 학습과 함께 하둡을위한 계산 엔진을 제공합니다 & 그래프
  • 아파치 카프카 – 수평 스케일의 데이터 파이프 라인을위한 분산 스트리밍 플랫폼
  • 아파치 HBase – 수십억 개의 테이블로 확장 할 수 있도록 최적화 된 새로운 Hadoop 데이터베이스
  • 아파치 플 링크 – 1000 개 이상의 노드 클러스터에서 일괄 처리를위한 데이터 스트림 프레임 워크
  • 아파치 아틀라스 – Hadoop의 데이터 거버넌스 및 시맨틱 분류 체계 메타 프레임 워크
  • 아파치 녹스 – 나머지 API & Hadoop 서버를위한 웹 애플리케이션 게이트웨이
  • 아파치 암 바리 – 제공, 모니터, & Ambari 도구를 사용하여 Hadoop 클러스터 관리
  • 루센 / 솔러 – XML / HTTP가 포함 된 Java 검색 코어 포함 & JSON / 파이썬 / 루비 API
  • CouchDB – 복제를위한 고유 한 데이터베이스 프로토콜 & 대규모 클러스터 간 동기화
  • 아파치 메 소스 – 탄력적 VM 확장을위한 클라우드 오케스트레이션 관리 프레임 워크
  • CloudStack – 엔터프라이즈에서 Apache에 기증 된 클라우드 데이터 센터 관리 시스템
  • 스팸 어 ass 신 – 기계 학습 기능을 갖춘 이메일을위한 고급 스팸 방지 필터링
  • 서브 버전 / 메이븐 – 업계 표준 버전 관리 & 프로젝트 관리 소프트웨어
  • 오픈 오피스 – 워드 프로세싱, 스프레드 시트 및 데스크탑 출판 소프트웨어 제품군
  • 아파치 코르도바 – 크로스 플랫폼 모바일 애플리케이션 개발 도구 키트
  • 웨이브 – 악명 높은 Google Wave 플랫폼, 개발자를 위해 Apache 라이센스에 기증

Apache Software Foundation 에코 시스템의 가장 흥미로운 측면 중 하나는 IT 전공이 웹 호스팅 시장에서 플랫폼 간 표준을 구축하는 인프라 소프트웨어를 함께 사용할 수 있다는 것입니다. 분산 된 국제 프로그래밍 팀의 공동 작업을 통해 Apache Incubator 및 Labs 부서에서 최첨단 새 프로젝트가 개발되고 있으며 Java 및 Wave와 같은 레거시 엔터프라이즈 표준은 Attic에 대한 Apache 라이센스 추세에 따라 유지됩니다. Hadoop 플랫폼은 웹 서버 및 클러스터 데이터베이스를위한 탄력적 컴퓨팅의 산업 표준으로 상호 운용 가능한 단일 프레임 워크에서 여러 가지 새로운 Apache 프로젝트를 통합합니다..

Apache Software Foundation은 버전 관리를위한 Subversion 및 프로젝트 관리를위한 Maven과 같은 여러 필수 프로그래밍 유틸리티의 개발과 전체 워드 프로세싱, 스프레드 시트 및 Microsoft Office 기능을 복제하는 데스크톱 출판 제품군 인 OpenOffice를 감독합니다. 포스 재단. Apache Mesos 및 CloudStack은 OpenStack과 유사한 기능을 제공하며 각 플랫폼은 프라이빗 클라우드 네트워크 관리, 하이브리드 클라우드 오케스트레이션 및 데이터 센터 관리를위한 다양한 가상화 도구를 제공합니다. SpamAssassin은 현재 대부분의 cPanel 설치에서 제공되며 수신 이메일의 스팸 방지 필터를 개선하기 위해 기계 학습을 적용 할 수 있습니다. 아파치 솔러 & Lucene은 Drupal의 대체 검색 프레임 워크로 대중화되었습니다. 아파치 스파크, 카프카, & Flink는 대규모 전자 상거래를 최적화하기 위해 엔터프라이즈 응용 프로그램에 새로운 채택을 통해 DevOps 커뮤니티에서 강하게 트렌드하고 있습니다. & 소셜 네트워킹 웹 사이트.

Cloudera – "Apache Spark 란 무엇입니까?" (2015)

오픈 소스 클라우드 소프트웨어 – "Cloudera의 최고 전략 책임자이자 공동 창립자 인 Mike Olson은 오픈 소스 커뮤니티에서 인기가 높아진 Apache Spark에 대한 개요와 Spark가 Hadoop의 일반 처리 엔진으로 MapReduce를 대체하기 위해 준비된 방법을 제공합니다.." 더 알아보기.

Apache Software Foundation 에코 시스템의 소프트웨어 개발 동향

이벤트 소싱을 통한 CQRS – "CQRS 및 Event Sourcing 기반 모델을 통해 최초 사용 사례 이후 통합이 고려되었습니다. 읽기 측은 쓰기 측에서 발생하는 것을 통합하고 표현해야하며 통합 지점입니다.." CQRS에 대해 더 알아보기.


CQRS : 명령 쿼리 책임 분리

CQRS (Command Query Responsibility Segregation)는 웹 서버가 들어오는 요청이 읽기 (명령) 또는 쓰기 (쿼리) 작업인지 여부를 구체적으로 결정하도록 요구하는 대신 데이터베이스 최적화 수단으로 작동합니다. 데이터베이스 플랫폼 코드 이로 인해 ‘빅 데이터’애플리케이션을위한 대규모 데이터베이스 처리가 효율적으로 이루어지고 동시 사용자가 많은 대규모 웹 사이트를위한 인 메모리 캐싱이 향상됩니다. CQRS는 또한 전자 상거래에서 Amazon.com, eBay 또는 Uber와 같은 실시간으로 대규모 사용자 커뮤니티에서 다중 변수 추적을 위해 데이터베이스를 많이 사용하는 데이터 스트리밍 및 이벤트 처리 기회를 제공합니다. CQRS를 대규모로 사용하는 데이터베이스 최적화는 Kafka의 Apache Spark를 기반으로 구축 된 새로운 범주의 클라우드 웹 서버 애플리케이션 개발을 이끌고 있습니다., & Hadoop 플랫폼에서 Fink.

  • 아파치 스파크 – CQRS 프로세스 동기화를위한 웹 서버 클러스터 관리자 포함
  • 아파치 카프카 – 대화식 쿼리로 CQRS 데이터 스트림에 대한 이벤트 관리자를 제공합니다.
  • 아파치 플 링크 – 아키텍처 리소스 관리를 위해 데이터 분석을 Kafka 스트림에 적용

CQRS는 대규모 전자 상거래 웹 사이트에서 사용되어 판매, 재고, 배송, 할인 및 사기 방지 분석이 규모에 따른 현지 매개 변수를 기반으로 각 주문에 개별적으로 제공되어야하는 고객에게 실시간 피드백을 제공합니다. CQRS는 또한 머신 러닝 알고리즘을 사용하여 고객 검색 관심사 또는 브라우징 패턴을 이전 저장된 기록과 추적 및 관련시키는 수단을 엽니 다. 이런 식으로 Apache Hadoop, Cassandra, Kafka, Spark, & 차세대 엔터프라이즈 소프트웨어 응용 프로그램을 프로그래밍하기 위해 Flink 프레임 워크를 스택 아키텍처에 함께 설치할 수 있습니다..
Apache Software Foundation 에코 시스템의 소프트웨어 개발 동향

아파치 스파크 – "특히, 클러스터에서 실행하기 위해 SparkContext는 여러 유형의 클러스터 관리자 (Spark 중 하나)에 연결할 수 있습니다.’자체 독립형 클러스터 관리자 인 Mesos 또는 YARN)." Apache Spark에 대해 더 알아보기.
Apache Software Foundation 에코 시스템의 소프트웨어 개발 동향
아파치 카프카 – Apache Kafka는 빠르고 확장 가능하며 내구성이 뛰어납니다., & 분산 복제 로그를위한 고 가용성 Message Bus 시스템으로 데이터베이스 캐싱 향상 & 자주 업데이트되는 개별 변수가 많은 대규모 다중 사용자 웹 사이트에 대한 반복적 인 응답 처리 커밋 로그 서비스에는 타임 스탬프가있는 여러 동시 데이터베이스 버전 간의 파티션 동기화가 포함됩니다. & 처리를 개선하기위한 속성 값 & 전자 상거래의 실시간 데이터 스트림 분석.

Apache Software Foundation 에코 시스템의 소프트웨어 개발 동향

아파치 플 링크 – "Apache Flink는 분산되고 고성능이며 항상 사용 가능하며 정확한 데이터 스트리밍 애플리케이션을위한 오픈 소스 스트림 처리 프레임 워크입니다." Apache Flink에 대해 더 알아보기.

추축 같은: "반응성 카프카" (2017)

반응성 스트림 – "Apache Kafka는 확장 가능하고 분 산성이 뛰어난 분산 메시징 버스입니다. 지난 몇 년 동안 Kafka는 데이터 집약적 인 분산 응용 프로그램의 핵심 구성 요소로 부상했습니다. 고성능 메시지 버스 인 Kafka는 마이크로 서비스 아키텍처를 사용하여 분산 애플리케이션을 개발할 수 있습니다." Apache Kafka에 대해 더 알아보기.

Google 트렌드-Apache Software Foundation 프로젝트

이 차트에는 Apache Software Foundation에서 개발중인 다른 프로젝트의 인기도를 추정하기위한 Google 트렌드의 요약 데이터가 포함되어 있습니다.

Apache Software Foundation 에코 시스템의 소프트웨어 개발 동향

데이터베이스 프레임 워크 – "아파치 하둡 & Cassandra는 Apache Tomcat보다 훨씬 더 인기가 있지만 & CouchDB 프레임 워크에 대한 관심 감소." 아파치 데이터베이스 프로젝트.

Apache Software Foundation 에코 시스템의 소프트웨어 개발 동향

CQRS 애플리케이션 – "Apache Spark 및 Kafka는 Apache HTTPS 서버 소프트웨어의 전체 검색 활동 중 약 25 % -30 %로 최근 관심이 증가하고 있음을 보여줍니다.." 아파치 스파크, 카프카, & 영화 프로젝트.

Apache Software Foundation 에코 시스템의 소프트웨어 개발 동향

"빅 데이터" 검색 플랫폼 – "Lucene은 Apache Software Foundation에서 가장 인기있는 프로젝트 중 하나이며 CloudStack에 비해 검색 관심도가 약 3-4 배입니다.." 아파치 검색 플랫폼.

Apache Software Foundation 에코 시스템의 소프트웨어 개발 동향

무료 오픈 소스 소프트웨어 (FOSS) – "오픈 오피스, 서브 버전, & Maven은 Apache 생태계에서 가장 잘 알려진 프로젝트 중 하나입니다.." OpenOffice, Subversion 동향 비교, & 메이븐.

Jeffrey Wilson Administrator
Sorry! The Author has not filled his profile.
follow me