Sassoft — Страница 3 — Блог разработчика: Golang, Криптовалюты, Автоматизация, Kubernetes

Мониторинг Nginx при помощи stub_status и Prometheus Exporter. Часть 2

admin 24.08.2020 0 Comments

Для получения данных с Nginx status монитора в Prometheus необходим запуск Prometheus exporter в Kubernetes кластере. Напишем deployment манифест для запуска экспортера в Prometheus. Создадим файл exporter.yaml:

apiVersion: apps/v1beta1
kind: Deployment
metadata:
  name: nginx-prometheus-exporter
spec:
  replicas: 1
  template:
    metadata:
      labels:
        app:nginx-prometheus-exporter
    spec:
      containers:
        - name:nginx-prometheus-exporter
          image: "nginx/nginx-prometheus-exporter:0.8.0"
          imagePullPolicy: Always
          args: ["-nginx.scrape-uri", "https://mywebsite/basic_status"]
          ports:
            - containerPort: 9113
              name: http

---
apiVersion: v1
kind: Service
metadata:
  name: nginx-prometheus-exporter
  annotations:
    prometheus.io/scrape: 'true'
    prometheus.io/port:   '9113'
spec:
  ports:
    - name: http
      port: 80
      protocol: TCP
      targetPort: 9113
  selector:
    app: nginx-prometheus-exporter
  type: ClusterIP

apiVersion: apps/v1beta1

kind: Deployment

metadata:

spec:

replicas: 1

template:

metadata:

labels:

app:nginx-prometheus-exporter

spec:

containers:

- name:nginx-prometheus-exporter

image: "nginx/nginx-prometheus-exporter:0.8.0"

imagePullPolicy: Always

args: ["-nginx.scrape-uri", "https://mywebsite/basic_status"]

ports:

- containerPort: 9113

---

apiVersion: v1

kind: Service

metadata:

annotations:

prometheus.io/scrape: 'true'

prometheus.io/port: '9113'

spec:

ports:

- name: http

port: 80

protocol: TCP

targetPort: 9113

selector:

app: nginx-prometheus-exporter

type: ClusterIP

Для того, чтобы Prometheus мог забирать данные с pod-ов очень важно добавить…
Read more

Без рубрики

Prometheus

Мониторинг Nginx при помощи stub_status и Prometheus Exporter

admin 11.08.2020 0 Comments

Не так давно возникла задача мониторинга проекта, который не бежит внутри Kubernetes и простые настройки Prometheus не совсем подходят. Знать нагрузки на сервис интересно, но не хочется много накручивать и писать дополнительный код (к тому же проекты работают весьма успешно…
Read more

Без рубрики

docker, Kubernetes, nginx, Prometheus

Golang — использование rate limiter в коде

admin 21.07.2020 0 Comments

Rate limiting — ограничение скорости запросов в определенной системе. К примеру вы можете поставить ограничения на ваш веб сервер — не более 10 запросов в секунду. Возможно создание ограничения только для определенного клиента или типа машины. В Golang добавление rate limit…
Read more

Без рубрики

go, golang, rate limit

Golang — функция вывода user IP

admin 05.07.2020 0 Comments

В случае использования вашего приложения через load balancer или через различные прокси вида Cloudflare задача вывода клиентского IP адреса заключается в правильной выборке header. От X-Real-Ip до CF_CONNECTING_IP или же X-Original-Forwarded-For. Для этого я написал простую функцию по выборке IP адреса:

func readUserIP(r *http.Request) string {
 address := r.Header.Get("X-Original-Forwarded-For")
 if address == "" {
  address = r.Header.Get("X-Forwarded-For")
 }
 if address == "" {
  address = r.Header.Get("X-Real-Ip")
 }
 if address == "" {
  address = r.RemoteAddr
 }
 return address
}

func readUserIP(r *http.Request) string {

address := r.Header.Get("X-Original-Forwarded-For")

if address == "" {

address = r.Header.Get("X-Forwarded-For")

}

if address == "" {

address = r.Header.Get("X-Real-Ip")

}

if address == "" {

address = r.RemoteAddr

}

return address

}

Алгоритм…
Read more

Без рубрики

go, golang, ip

Golang — Вывод POST response в fmt.Println

admin 14.06.2020 0 Comments

Сниппет для вывода запроса при отладке:

...
// Save a copy of this request for debugging.
requestDump, err := httputil.DumpRequest(r, true)

if err != nil {
  fmt.Println(err)
  // handle errors
}

fmt.Println(string(requestDump))
...

...

// Save a copy of this request for debugging.

requestDump, err := httputil.DumpRequest(r, true)

if err != nil {

fmt.Println(err)

// handle errors

}

fmt.Println(string(requestDump))

...

Без рубрики

debug, golang, http

Конфигурация и настройка rippled кошелька

admin 07.06.2020 0 Comments

Шаг 1. Установка Требования к установке: минимум 16 GB памяти и от 100 GB свободного места. Пример установки на Ubuntu 20.04:

sudo apt -y update && \
sudo apt -y install apt-transport-https ca-certificates wget gnupg && \
wget -q -O - "https://repos.ripple.com/repos/api/gpg/key/public" | \ sudo apt-key add - && \
echo "deb https://repos.ripple.com/repos/rippled-deb bionic stable" | \ sudo tee -a /etc/apt/sources.list.d/ripple.list && \
sudo apt -y update && \
sudo apt -y install rippled && \
systemctl status rippled.service

sudo apt -y update && \

sudo apt -y install apt-transport-https ca-certificates wget gnupg && \

wget -q -O - "https://repos.ripple.com/repos/api/gpg/key/public" | \ sudo apt-key add - && \

echo "deb https://repos.ripple.com/repos/rippled-deb bionic stable" | \ sudo tee -a /etc/apt/sources.list.d/ripple.list && \

sudo apt -y update && \

sudo apt -y install rippled && \

systemctl status rippled.service

Шаг 2. Настройка конфигурации Пример конфигруации /etc/opt/ripple/rippled.cfg:

[server]
port_rpc_admin_local
port_peer
port_ws_admin_local

[port_rpc_admin_local]
port = 5005
ip = {change me or comment me}
admin = {change me or comment me}
protocol = http

[port_peer]
port = 51235
ip = 0.0.0.0
protocol = peer

[port_ws_admin_local]
port = 6006
ip = {change me or comment me}
admin = {change me or comment me}
protocol = ws

[node_size]
tiny

[node_db]
type=RocksDB
path=/var/lib/rippled/db/rocksdb
online_delete=48000
open_files=2000
filter_bits=12
cache_mb=256
file_size_mb=8
file_size_mult=2
advisory_delete=0

[ledger_history]
256

[ips]
r.ripple.com 51235

[validators]
n949f75evCHwgyP4fPVgaHqNHxUVN15PsJEZ3B3HnXPcPjcZAoy7 RL1
n9MD5h24qrQqiyBC8aeqqCWvpiBiYQ3jxSr91uiDvmrkyHRdYLUj RL2
n9L81uNCaPgtUJfaHh89gmdvXKAmSt5Gdsw2g1iPWaPkAHW5Nm4C RL3
n9KiYM9CgngLvtRCQHZwgC2gjpdaZcCcbt3VboxiNFcKuwFVujzS RL4
n9LdgEtkmGB9E2h3K4Vp7iGUaKuq23Zr32ehxiU8FWY7xoxbWTSA RL5

[database_path]
/var/lib/rippled/db

[debug_logfile]
/var/log/rippled/debug.log

[sntp_servers]
time.windows.com
time.apple.com
time.nist.gov
pool.ntp.org

[rpc_startup]
{ "command": "log_level", "severity": "error" }

[ssl_verify]
1

[signing_support]
true

[server]

port_rpc_admin_local

port_peer

port_ws_admin_local

[port_rpc_admin_local]

port = 5005

ip = {change me or comment me}

admin = {change me or comment me}

protocol = http

[port_peer]

port = 51235

ip = 0.0.0.0

protocol = peer

[port_ws_admin_local]

port = 6006

ip = {change me or comment me}

admin = {change me or comment me}

protocol = ws

[node_size]

tiny

[node_db]

type=RocksDB

path=/var/lib/rippled/db/rocksdb

online_delete=48000

open_files=2000

filter_bits=12

cache_mb=256

file_size_mb=8

file_size_mult=2

advisory_delete=0

[ledger_history]

256

[ips]

r.ripple.com 51235

[validators]

n949f75evCHwgyP4fPVgaHqNHxUVN15PsJEZ3B3HnXPcPjcZAoy7 RL1

n9MD5h24qrQqiyBC8aeqqCWvpiBiYQ3jxSr91uiDvmrkyHRdYLUj RL2

n9L81uNCaPgtUJfaHh89gmdvXKAmSt5Gdsw2g1iPWaPkAHW5Nm4C RL3

n9KiYM9CgngLvtRCQHZwgC2gjpdaZcCcbt3VboxiNFcKuwFVujzS RL4

n9LdgEtkmGB9E2h3K4Vp7iGUaKuq23Zr32ehxiU8FWY7xoxbWTSA RL5

[database_path]

/var/lib/rippled/db

[debug_logfile]

/var/log/rippled/debug.log

[sntp_servers]

time.windows.com

time.apple.com

time.nist.gov

pool.ntp.org

[rpc_startup]

{ "command": "log_level", "severity": "error" }

[ssl_verify]

[signing_support]

true

Шаг 3. Запуск

sudo systemctl start rippled.service && \
sudo systemctl enable rippled.service

1 2	sudo systemctl start rippled.service && \ sudo systemctl enable rippled.service

После запуска rippled сервиса может потребоваться…
Read more

Без рубрики

ripple, rippled, xrp

Обновление Bitcoind сервера до 0.19

admin 24.05.2020 0 Comments

Ниже приведены быстрые инструкции по обновлению bitcoind сервера:

$ wget https://bitcoincore.org/bin/bitcoin-core-0.19.1/bitcoin-0.19.1-x86_64-linux-gnu.tar.gz
$ tar -zxvf bitcoin-0.19.1-x86_64-linux-gnu.tar.gz
$ mv ~/bitcoin-0.19.1/bin/bitcoind /usr/bin/bitcoind
$ mv ~/bitcoin-0.19.1/bin/bitcoin-cli /usr/bin/bitcoin-cli

$ wget https://bitcoincore.org/bin/bitcoin-core-0.19.1/bitcoin-0.19.1-x86_64-linux-gnu.tar.gz

$ tar -zxvf bitcoin-0.19.1-x86_64-linux-gnu.tar.gz

$ mv ~/bitcoin-0.19.1/bin/bitcoind /usr/bin/bitcoind

$ mv ~/bitcoin-0.19.1/bin/bitcoin-cli /usr/bin/bitcoin-cli

Останавливаем сервер:

 bitcoin-cli stop

1	bitcoin-cli stop

Далее проверяем bitcoin.conf в ~/.bitcoin папке:

rpcuser=user
rpcbind=127.0.0.1
rpcpassword=pass
rpcport=8332
rpcallowip=127.0.0.1
server=1
shrinkdebuglog=1
prune=5500
keypool=100
addresstype=bech32

rpcuser=user

rpcbind=127.0.0.1

rpcpassword=pass

rpcport=8332

rpcallowip=127.0.0.1

server=1

shrinkdebuglog=1

prune=5500

keypool=100

addresstype=bech32

По сравнению с прошлыми версиями в конфигурационный файл был добавлен параметр rpcbind — устанавливает на какой адрес «повесить» bitcoind сервер. И…
Read more

Без рубрики

bitcoin, bitcoind

Используем UFW firewall в Ubuntu

admin 16.05.2020 0 Comments

UFW или uncomplicated firewall — утилита для конфигурирования межсетевого экрана. Написана командой Canonical и встроена по-умолчанию в Ubuntu. При помощи своей простоты позволяет быстро настроить сервер для противодействия разным атакам. Установлен ufw обычно из коробки. Чтобы проверить статус работы достаточно написать:

$ > ufw status
$ < Status: inactive

1 2	$ > ufw status $ < Status: inactive

Без рубрики

firewall, linux, ubuntu, ufw

Форматирование даты во VueJS с MomentJS

admin 11.05.2020 0 Comments

Волей судьбы начал работать плотно с фронтендом для проектов. Выбор пал на лёгкий в освоении VueJS. В качестве одной из задач стоял вывод даты в определенном удобным человеку формате (вместо 2020-05-10T21:43:32.545448Z). Для этого используем Moment JS:

import moment from 'moment'
... ... ... ...
Vue.filter('formatDate', function (value) {
    if (value) {
        return moment(String(value)).format('MM/DD/YYYY hh:mm')
    }
})

import moment from 'moment'

... ... ... ...

Vue.filter('formatDate', function (value) {

if (value) {

return moment(String(value)).format('MM/DD/YYYY hh:mm')

}

})

И далее в…
Read more

Без рубрики

javascript, moment js, vuejs

GitHub API — полезные примеры curl запросов с releases API

admin 04.05.2020 0 Comments

Очередная подборка полезных curl запросов для работы с GitHub API: Получить объект release с выбранным tag_name:

release="$(curl -s -X GET -H "Authorization:token ${GITHUB_TOKEN}" "https://api.github.com/repos/${GITHUB_REPO}/releases" | jq -r '.[] | select(.tag_name=='\""$TAG_NAME"\"')')"

1	release="$(curl -s -X GET -H "Authorization:token ${GITHUB_TOKEN}" "https://api.github.com/repos/${GITHUB_REPO}/releases" \| jq -r '.[] \| select(.tag_name=='\""$TAG_NAME"\"')')"

Получить uploadUrl для загрузки нового asset в данный release объект:

uploadUrl="$(jq -r '.upload_url' <<< "${release}")"

1	uploadUrl="$(jq -r '.upload_url' <<< "${release}")"

Удаление asset из release:

existingAsset="$(curl -s -X GET -H "Authorization:token ${GITHUB_TOKEN}" "https://api.github.com/repos/${GITHUB_REPO}/releases/${releaseID}/assets" | jq -r '.[] | select(.name=='\""$ARTIFACT"\"')')"
existingAssetID="$(jq -r '.id' <<< "${existingAsset}")"
resp="$(curl -s -X DELETE -H "Authorization:token ${GITHUB_TOKEN}" -H "Content-Type:application/octet-stream"  "https://api.github.com/repos/${GITHUB_REPO}/releases/assets/${existingAssetID}")"
echo "$resp"

existingAsset="$(curl -s -X GET -H "Authorization:token ${GITHUB_TOKEN}" "https://api.github.com/repos/${GITHUB_REPO}/releases/${releaseID}/assets" | jq -r '.[] | select(.name=='\""$ARTIFACT"\"')')"

existingAssetID="$(jq -r '.id' <<< "${existingAsset}")"

resp="$(curl -s -X DELETE -H "Authorization:token ${GITHUB_TOKEN}" -H "Content-Type:application/octet-stream" "https://api.github.com/repos/${GITHUB_REPO}/releases/assets/${existingAssetID}")"

echo "$resp"

Для работы bash снипетов необходимо установить расширение…
Read more

Без рубрики

API, bash, github