Spring[스프링]_Java_중복제거_ distinctByKey 사용하기

서론

데이터 처리 및 분석은 모든 개발자와 데이터 과학자에게 중요한 주제입니다. 데이터베이스나 컬렉션에서 정보를 추출하고, 중복된 항목을 제거하고, 원하는 결과를 얻기 위해 데이터 조작을 수행해야 할 때가 많습니다. Java 개발자라면, Java 8 이후에 추가된 스트림(Stream) API를 사용하여 데이터 조작을 효율적으로 수행할 수 있습니다. 이 글에서는 distinctByKey를 사용하여 데이터에서 중복 항목을 제거하는 방법에 대해 알아보겠습니다.

스트림 API 소개

Java 8에서 도입된 스트림 API는 데이터를 처리하는 강력한 도구로, 컬렉션과 배열을 다루는 데 매우 유용합니다. 스트림은 데이터를 일련의 연산을 통해 처리하고 필터링할 수 있으며, 코드를 더 간결하게 만들어줍니다. 데이터베이스 또는 컬렉션에서 중복 항목을 제거하려면 스트림 API를 사용하는 것이 좋습니다. 중복 제거를 위해 Java 스트림에서 distinct() 메서드를 사용할 수 있지만, 특정 키(필드)를 기반으로 중복을 제거해야 하는 경우에는 distinctByKey와 같은 사용자 지정 중복 제거 메서드가 필요합니다.

 

중복 제거 메서드 distinctByKey 구현 Java 스트림에서 distinctByKey 메서드를 사용하여 중복을 제거하는 방법을 알아보겠습니다.

 

이 메서드는 특정 키(필드)를 기준으로 중복 항목을 제거합니다.

public static <T> Predicate<T> distinctByKey(Function<? super T, ?> keyExtractor) {
    Set<Object> seen = ConcurrentHashMap.newKeySet();
    return t -> seen.add(keyExtractor.apply(t));
}

위의 코드에서 distinctByKey는 다음과 같은 역할을 수행합니다.

 

keyExtractor: 중복을 제거할 때 사용할 키(필드)를 추출하는 함수를 나타내는 매개변수입니다. 이 메서드는 Predicate를 반환하며, 이 Predicate를 스트림의 filter 메서드에 적용하여 중복 항목을 제거합니다.

 

이제 distinctByKey 메서드를 사용하여 중복을 제거하는 간단한 사용 예제를 살펴보겠습니다.

List<Person> people = Arrays.asList(
    new Person(1, "Alice"),
    new Person(2, "Bob"),
    new Person(1, "Alice"), // 중복 데이터
    new Person(3, "Charlie")
);

List<Person> distinctPeople = people.stream()
    .filter(distinctByKey(Person::getId))
    .collect(Collectors.toList());

위의 코드에서 Person 클래스의 객체 목록을 가정합니다. 이 목록에서 id 필드를 기준으로 중복 항목을 제거하려고 합니다. distinctByKey 메서드를 사용하여 중복 항목을 제거한 결과를 distinctPeople에 저장합니다. 성능 고려사항 distinctByKey 메서드는 중복을 제거하기 위해 ConcurrentHashMap을 사용하므로 스레드 안전합니다. 이로 인해 성능 상의 부담이 있을 수 있지만, 대부분의 경우 이는 큰 문제가 되지 않습니다. 성능이 신중한 요구사항인 경우에는 다른 중복 제거 전략을 고려해야 할 수 있습니다.

결론

Java의 스트림 API를 이용하여 데이터에서 중복 항목을 효과적으로 제거하는 방법을 살펴보았습니다. distinctByKey 메서드를 사용하면 특정 키(필드)를 기반으로 중복을 제거할 수 있어 데이터 처리를 더 편리하게 수행할 수 있습니다. Java 8 이후에 추가된 스트림 API는 데이터 조작을 더욱 효율적으로 처리할 수 있게 해주므로, 이를 잘 활용하면 더 간결하고 가독성 있는 코드를 작성할 수 있습니다.

마무리

이 글에서는 Java에서 데이터에서 중복 항목을 제거하는 방법을 설명하고, 특히 distinctByKey 메서드를 구현하여 사용하는 방법을 다뤘습니다. 데이터 처리는 모든 애플리케이션에서 중요한 역할을 하며, 스트림 API를 사용하면 더욱 효율적으로 처리할 수 있습니다. Java의 스트림 API와 distinctByKey 메서드를 사용하여 데이터 조작을 더 간결하고 효율적으로 수행하세요.