pwd ‘/home/sergey/Py_SparkDataFrame_edx_CS105_CS110_CS120′   Hive позволяет выполнять скрипты из команды строки. Следующий скрипт позволяет найти имена всех колонок в базе данных:   ! cat searchInDb.sh #!/bin/sh hive -e «use $1;show tables;» | while read line do echo «reading $line table» echo «\nCurrent table is $line» >> tableColumns.txt hive -e «show columns in $line» >> tableColumns.txt…

Файловая система HDFS (Hadoop Distributed File System) существует независимо от файловой системы хоста, работающего как правило, на базе *nix ОС. Тем не менее, набор команд для управления HDFS очень похож на стандартный набор командной строки *nix OS, регламентируемый POSIX стандартом ( ls, mkdir, rm, cp, du, df ) и может быть сгруппирован следующим образом: Просмотр…

Иногда файл с данными бывает слишком большим: для простого тестирования того или иного алгоритма достаточно небольшой части данных, что сэкономит время, вычислительные ресурсы, и ускорит создание рабочего алгоритма. В таком случае можно прибегнуть к простой конструкции rand() < fraction , которая будет работать как в SQL, так и во многих других хранилищах данных. Для выборки…

Примеры print !awk ‘BEGIN { print «line one\nline two\nline three» }’ line one line two line three Пробел — разделитель по-умолчанию. !awk ‘BEGIN { print «line one»,»line two»,»line three» }’ line one line two line three !awk ‘{ print $1,$2 }’ inventory-shipped | head -n3 Jan 13 Feb 15 Mar 15 Печать полей без запятой…

2 основных способа: locate find 1. Locate Locate — самый быстрый способ, т.к. данные ищутся не на диске, а в базе данных /etc/updatedb.conf. База данных АВТОМАТИЧЕСКИ ОБНОВЛЯЕТСЯ РАЗ В ДЕНЬ. Для того, чтобы обновить базу принудительно: sudo updatedb locate: ФОРМАТ КОМАНДЫ locate option string-to-find OPTIONS: «-i» — case insensitive 2. Find find: ФОРМАТ КОМАНДЫ find…

Посмотреть информацию о файле или директории можно при помощи команды ls ls options directory-or-file-name ls: Практические примеры наиболее частого применения. Команда ls по-умолчанию отображает содержимое текущей директории !ls 0.Bash_Keyboard_Shortcuts.ipynb 4.Bash_Globbing.ipynb 1.Bash_links.ipynb hard-link 2.Bash_Ls.ipynb myfile 3.Bash_Permissions_and_Ownership.ipynb myfile-hardlink 3.Bash_Search_for_files.ipynb myfile-softlink Ключ -l запрашивает подробную информацию о файле в виде таблицы. » . » точка обозначает текущую директорию….

Globbing Globbing (от названия программы /etc/glob, которая первоначально использовала этот прием) — это процесс генерации имен файлов в оболочке с использованием wildcards (другое название globbing — pattern match). » * » — ЛЮБОЕ КОЛИЧЕСТВО любых знаков » ? » — ЛЮБОЙ ОДИН знак [a-z]— range, включая отрицание » ! « { txt1, txt2 } —…

ФОРМАТ КОМАНДЫ: ln [-s]target-file link-name [-s]— опциональный ключ для Soft link target-file — полный путь к линкуемому файлу. Достаточно имени, если линкуемый файл находится в текущей директории link-name — полный путь с именем создаваемого линка. Достаточно имени, если линк создается в текущей директории. Существует 2 вида линков: Жесткие (hard link). Практически, жесткий линки — это…

Отмена действия: ctrl + shift + — — отмена действия. Эквивалентно ctrl + z в Windows. Переходы: ctrl + a — в начало строки ctrl + e — в конец строки ctrl + xx — переключиться между текущей позицией и началом строки alt + b — вперед на одно слово alt + f — назад…

© 2014 In R we trust.
Top
Follow us: