fileupload

지정된 스키마로 빈 DataFrame을 만드는 방법은? 나는 만들기를 하고 싶습니다.DataFrame스칼라에서 지정된 스키마를 사용합니다.JSON read(빈 파일을 읽는 것을 의미함)를 사용해 보았지만 그게 최선의 방법은 아닌 것 같습니다.다음 스키마를 사용하는 데이터 프레임을 원하는 경우를 가정합니다. root |-- k: string (nullable = true) |-- v: integer (nullable = false) 단순히 데이터 프레임에 대한 스키마를 정의하고 빈 상태로 사용하면 됩니다.RDD[Row]: import org.apache.spark.sql.types.{ StructType, StructField, StringType, IntegerType} import org.apache...

스파크 상태의 데이터 프레임 열 업데이트 새로운 스파크 DataFrame API를 보면 데이터프레임 열 수정이 가능한지 여부가 불투명합니다. 행의 값을 변경하려면 어떻게 해야 합니까?x기둥.y데이터 프레임에 대한? 인pandas다음과 같습니다. df.ix[x,y] = new_value 편집: 아래에 말씀하신 내용을 통합하면 기존 데이터 프레임을 불변으로 수정할 수 없고, 원하는 수정사항으로 새로운 데이터 프레임을 반환할 수 있습니다. 조건에 따라 열에 있는 값을 교체하려는 경우 다음과 같습니다.np.where: from pyspark.sql import functions as F update_func = (F.when(F.col('update_col') == replace_val, new_value) ...