!pwd /home/sergey/grep_ !cat file.txt movieId,title,genres 1,Toy Story (1995),Adventure|Animation|Children|Comedy|Fantasy 2,Jumanji (1995),Adventure|Children|Fantasy 3,Grumpier Old Men (1995),Comedy|Romance 4,Waiting to Exhale (1995),Comedy|Drama|Romance 5,Father of the Bride Part II (1995),Comedy 6,Heat (1995),Action|Crime|Thriller 7,Sabrina (1995),Comedy|Romance 8,Tom and Huck (1995),Adventure|Children 9,Sudden Death (1995),Action Count number of occurencies of «|» 1. With AWK !awk -F «|» ‘{print(NR, NF-1)}’ file.txt 1 0 2 4…

  pwd ‘/home/sergey/Py_SparkDataFrame_edx_CS105_CS110_CS120′   Hive позволяет выполнять скрипты из команды строки. Следующий скрипт позволяет найти имена всех колонок в базе данных:   ! cat searchInDb.sh #!/bin/sh hive -e «use $1;show tables;» | while read line do echo «reading $line table» echo «\nCurrent table is $line» >> tableColumns.txt hive -e «show columns in $line» >> tableColumns.txt…

Иногда файл с данными бывает слишком большим: для простого тестирования того или иного алгоритма достаточно небольшой части данных, что сэкономит время, вычислительные ресурсы, и ускорит создание рабочего алгоритма. В таком случае можно прибегнуть к простой конструкции rand() < fraction , которая будет работать как в SQL, так и во многих других хранилищах данных. Для выборки…

Примеры print !awk ‘BEGIN { print «line one\nline two\nline three» }’ line one line two line three Пробел — разделитель по-умолчанию. !awk ‘BEGIN { print «line one»,»line two»,»line three» }’ line one line two line three !awk ‘{ print $1,$2 }’ inventory-shipped | head -n3 Jan 13 Feb 15 Mar 15 Печать полей без запятой…

© 2014 In R we trust.
Top
Follow us: