Programming/scala 썸네일형 리스트형 [Spark] DataFrame의 특정 Column을 List로 추출 (map 사용) import sqlContext.implicits._ val df = Seq( (1, "First Value", java.sql.Date.valueOf("2020-04-19")), (2, "Second Value", java.sql.Date.valueOf("2020-04-20")) ).toDF("int_column", "string_column", "date_column") val int_column = df.select("int_column").rdd.map(r => r(0).asInstanceOf[Int]).collect().toList int_column: List[Int] = List(1, 2) 와 같이 생성된다. [scala] 스칼라의 특징 확장가능한 언어 scalable이란 단어에서 scala가 유래되었듯, 확장 가능하다 대규모 프로그램에 잘 맞음 객체 지향 (object-oriented) class로 객체의 타입을 정의 trait로 객체의 동작을 정의 trait는 자바에서의 인터페이스와 비슷 다중 상속도 간접적으로 지원 서브클래싱과 믹싱 기반의 composition을 사용하면 가능 함수형 익명함수, 고차함수, 중첩함수 지원 및 허용 중첩함수 자바와 다르게 클래스 내부에서 함수를 정의할 수 있고, 해당 함수에 대한 외부 접근은 금지됨 불변방식+간결한 표현 → 동기화&동시성으로 쉽게 병렬처리 가능 => 이 때문에 스파크에 알맞음. 정적 타입 추적 지원 인터프리터 방식으로도 실행할 수 있지만, 스칼라는 기본적으로 컴파일언어. 컴파일 언어는 컴.. 이전 1 다음