Linux i tekst – jak szybko czytać pliki i wyciągać z nich konkrety

by Patryk

Plik dziennika może zawierać tysiące wpisów, choć do znalezienia przyczyny problemu potrzebujesz tylko kilku. Zamiast przeglądać całość, możesz wyszukać błędy, wybrać interesujące pola i policzyć powtarzające się komunikaty. W poprzedniej lekcji o plikach, katalogach i archiwach poznaliśmy operacje na plikach. Teraz zajmiemy się ich zawartością. Praca z tekstem w Linuksie przyda Ci się przy czytaniu konfiguracji, analizie logów i przetwarzaniu wyników poleceń. Przykłady w artykule bazują na własnoręcznie zrobionych plikach, dopasowuj je do swoich plików albo twórz podobne.

Teraz czas na kolejny poziom: operacje na plikach i to, co w Linuksie dzieje się praktycznie wszędzie, czyli manipulacje tekstem. Umiejętność szybkiego podglądania zawartości plików, filtrowania danych i wyciągania z nich konkretnych informacji to jedna z najbardziej przydatnych kompetencji w pracy z systemem. Bo kiedy log ma 50 000 linijek, a Ty potrzebujesz tylko tych trzech „podejrzanych”, nie chcesz przewijać go jak powieści na wakacjach.

Przygotuj pliki do ćwiczeń


Utwórz nowy katalog:

mkdir /home/patryk/lab-tekst2
cd  /home/patryk/lab-tekst2

Sprawdź lokalizację:

pwd

Powinna wskazywać nowy katalog w Twoim katalogu domowym.

Przygotujemy trzy niewielkie pliki. Operator > zapisuje wynik do pliku i zastępuje jego wcześniejszą zawartość, dlatego poniższe polecenia wykonaj w nowym katalogu.

printf '%s\n' \
  'INFO start' \
  'ERROR ssh' \
  'WARN dysk' \
  'ERROR dns' \
  'INFO koniec' \
  'ERROR ssh' > aplikacja.log
printf '%s\n' \
  'patryk:admin:1001' \
  'anna:user:1002' \
  'jan:user:1003' > osoby.txt
printf '%s\n' 10 2 30 2 10 > liczby.txt

printf '%s\n' wypisuje każdy kolejny argument w osobnej linii. Dane w osoby.txt są przykładowymi rekordami – nie tworzą kont użytkowników w systemie.

W dalszej części pozostaw otwartą tę samą powłokę i pracuj w katalogu lab-tekst.

Polecenia do pracy z tekstem w Linuksie


Wyświetlanie tekstu w terminalu: echo

Polecenie echo służy do wyświetlania tekstu w terminalu. Najczęściej używa się go w skryptach albo do szybkich testów („czy to w ogóle działa?”). Wynik echo można też łatwo przekierować do pliku, o czym będzie niżej.

echo "Rozpoczynam analizę pliku"

Wyświetlanie zawartości pliku: cat

Jeśli chcesz wyświetlić zawartość pliku, użyj cat. To proste narzędzie do przeglądania plików tekstowych oraz łączenia wielu plików i wyświetlania ich zawartości jeden pod drugim.

cat aplikacja.log

Numerowanie linii: nl

Standardowy wynik cat bywa mało czytelny, szczególnie w dłuższych plikach. Lepszym wyborem jest nl, które zostało stworzone do numerowania linii i wyświetlania wyniku na ekranie.

nl aplikacja.log

Wygodne czytanie długich plików: more i less

Polecenie more wyświetla zawartość pliku „stronami”, co ułatwia przeglądanie długich dokumentów.

more aplikacja.log

Sterowanie:

  • Enter — linia po linii
  • Spacja — strona po stronie
  • b — powrót do poprzedniej strony
  • q — wyjście

Jest też less, który działa podobnie, ale jest dużo wygodniejszy: pozwala przewijać w przód i w tył, wyszukiwać frazy i poruszać się po tekście. W praktyce to najczęstszy wybór do czytania logów.

less /var/log/syslog

Sterowanie:

  • /fraza — szukaj frazy
  • n — następne dopasowanie
  • N — poprzednie dopasowanie

Podgląd początku pliku: head

Polecenie head wyświetla pierwsze linie pliku. Jest przydatne, gdy pracujesz z dużymi plikami i chcesz szybko sprawdzić początek bez wczytywania całości. head domyślnie pokazuje pierwszych dziesięć linii. Opcja -n pozwala wybrać inną liczbę:

head -n 5 /etc/passwd

Podgląd końca pliku: tail

Polecenie tail działa analogicznie do head, ale pokazuje końcówkę pliku. Świetne do logów, bo najświeższe wpisy zazwyczaj są na końcu.

tail -n 5 /etc/passwd

Wyszukiwanie w plikach: grep

grep to jedno z najważniejszych narzędzi w terminalu. Służy do wyszukiwania linii pasujących do wzorca (np. słowa lub fragmentu tekstu). Idealny do filtrowania logów i wyciągania konkretnych informacji.

Znajdź wpisy pasujące do użytkownika patryk w pliku /etc/passwd:

grep patryk /etc/passwd

Wycinanie kolumn: cut

cut pozwala „wycinać” fragmenty z każdej linii i wyświetlać tylko wybrane kolumny. Działa świetnie, gdy dane mają prostą strukturę (np. są rozdzielane separatorem).

Plik osoby.txt zawiera pola oddzielone dwukropkiem:

patryk:admin:1001
anna:user:1002
jan:user:1003

Wyświetl pierwsze pole z każdej linii:

cut -d ':' -f 1 osoby.txt

Oczekiwany wynik:

patryk
anna
jan

-d określa separator, a -f wybiera pola.

Aby otrzymać pierwsze i trzecie pole:

cut -d ':' -f 1,3 osoby.txt

Bardziej elastyczna praca na kolumnach: awk

Polecenie awk jest bardziej elastyczne niż cut i świetnie nadaje się do wyciągania informacji z tekstu. Przykładowo możesz wyświetlić tylko kolumnę 1 i 3.

awk -F ':' '{print $1, $3}' osoby.txt
  • -F ':' ustawia separator wejściowy;
  • $1 i $3 wskazują pola;
  • print wypisuje wynik;
  • przecinek między polami powoduje użycie separatora wyjściowego, domyślnie spacji.

Sortowanie danych: sort

Polecenie sort sortuje tekst alfabetycznie lub numerycznie.

Przykłady:

  • Sortowanie wartości numerycznych rosnąco: sort -n liczby.txt
  • Sortowanie wartości numerycznych malejąco: sort -nr liczby.txt

Usuwanie duplikatów: uniq

Polecenie uniq identyfikuje i usuwa zduplikowane linie. Ważne: zadziała poprawnie, jeśli duplikaty są obok siebie, dlatego zwykle łączy się je z sort.

sort example.txt | uniq

W pliku liczby.txt powtórzenia są rozdzielone, dlatego:

uniq liczby.txt

nie usunie ich z wyświetlanego wyniku.

Najpierw posortuj linie, a wynik przekaż do uniq:

sort -n liczby.txt | uniq

Otrzymasz:

2
10
30

Symbol | jest potokiem — za chwilę omówimy go dokładniej.

Operacje wejścia/wyjścia


Podstawowy przepływ pracy dowolnego polecenia systemu Linux polega na tym, że pobiera dane wejściowe z klawiatury (stdin) i wyświetla dane wyjściowe na ekranie (stdout). Dane wejściowe możemy w łatwy sposób skierować do pliku lub z pliku. Służy do tego strumieniowanie danych. Dzięki temu codzienna praca z tekstem w Linuksie jest dużo przyjemniejsza.

Przekierowanie wyniku do pliku: > i >>

Do przekierowania wyniku polecenia do pliku służą dwa operatory:

  • > — nadpisuje plik (jeśli istnieje),
  • >> — dopisywuje na końcu pliku.

Zapisz błędy do osobnego pliku:

grep '^ERROR ' aplikacja.log > bledy.txt

Sprawdź:

cat bledy.txt

Zobaczysz trzy linie zaczynające się od ERROR.

Potoki: |

pozwalają łączyć polecenia w łańcuch, gdzie wynik jednego polecenia staje się wejściem dla kolejnego. Potoki są reprezentowane przez symbol pionowej kreski |.

Policz, ile razy poszczególne usługi występują w liniach błędów:

grep '^ERROR ' aplikacja.log | awk '{print $2}' | sort | uniq -c

Kolejne etapy:

  1. grep wybiera linie błędów.
  2. awk wypisuje drugie pole, czyli nazwę usługi.
  3. sort umieszcza identyczne nazwy obok siebie.
  4. uniq -c liczy wystąpienia.

Oczekiwany wynik:

      1 dns
      2 ssh

To przykład dotyczący struktury naszego pliku. W rzeczywistym logu nazwa usługi może znajdować się w innym miejscu.

Warunkowe wykonywanie poleceń: &&

Oprócz potoków istnieje operator &&, który uruchamia drugie polecenie tylko wtedy, gdy pierwsze zakończy się sukcesem. Jeśli pierwsze polecenie zwróci błąd, drugie się nie wykona.

Krótkie zadanie na koniec

Korzystając z pliku aplikacja.log:
– wybierz linie zaczynające się od ERROR;
– pozostaw same nazwy usług i policz ich wystąpienia;
– uporządkuj wynik malejąco według liczby wystąpień i zapisz go jako ranking-bledow.txt.

Poprawna odpowiedź:

grep '^ERROR ' aplikacja.log | awk '{print $2}' | sort | uniq -c | sort -nr > ranking-bledow.txt
cat ranking-bledow.txt

Oczekiwany wynik dla przygotowanego pliku:

  2 ssh
1 dns

Następny krok: Wiesz już jak bardzo przydatna w codziennym życiu admina jest praca z tekstem w Linuksie, przejdziemy teraz do tworzenia użytkowników i grup. Dowiesz się, jak system rozpoznaje konta i ich przynależność do grup. Przyda się to do zrozumienia, kto jest właścicielem pliku i dlaczego nie każdy użytkownik ma dostęp do tych samych zasobów.

Przejdź do następnej lekcji: Użytkownicy i grupy w Linuksie →

← Poprzednia lekcja: Pliki, katalogi i archiwa · Wróć do spisu kursu

Może Cię również zainteresować

Dodaj komentarz