Projekt:graphs.k4cg.org - Versionsgeschichte

F10: /* InfluxDB 1.x auf 2.x Migration */ Schritte genauer beschrieben

2023-06-18T19:36:43Z

InfluxDB 1.x auf 2.x Migration: Schritte genauer beschrieben

← Nächstältere Version		Version vom 18. Juni 2023, 21:36 Uhr
Zeile 184:		Zeile 184:

	Am besten die Sachen zuerst, die Daten schreiben (sensor-fetcher, Telegraf MQTT). Wenn wir erst wip und sensor-fetcher umstellen, haben wir wahrscheinlich fehlende Daten, weil die Clients nicht mehr schreiben können. Vorher vielleicht testen mit Homeassi und Proxmox. wip und sensor-fetcher: möglichst wenig Aufwand, weil eigentlich obsolet. sensor-fetcher: Compatibility, wip: Telegraf MQTT influxdb_v2		Am besten die Sachen zuerst, die Daten schreiben (sensor-fetcher, Telegraf MQTT). Wenn wir erst wip und sensor-fetcher umstellen, haben wir wahrscheinlich fehlende Daten, weil die Clients nicht mehr schreiben können. Vorher vielleicht testen mit Homeassi und Proxmox. wip und sensor-fetcher: möglichst wenig Aufwand, weil eigentlich obsolet. sensor-fetcher: Compatibility, wip: Telegraf MQTT influxdb_v2

			=== Schritte im Detail ===

			# Influx 2 installieren (Konfig basteln, anderer Port, Firewallfreigabe)
			# Retention Policy prüfen und ggf. neue anlegen
			# Homeassi Datenbank in neues Bucket migrieren
			# API Token erstellen: https://docs.influxdata.com/influxdb/v2.7/security/tokens/#readwrite-token
			# InfluxDB Konfig im Homeassi ändern
			# Same für Proxmox
			# Neues Token für Grafana erstellen
			# Grafana Datasource erstellen
			# Dashboards anpassen
			# Vorbereitungen aus Migration Guide für wip und sensor-fetcher
			# Daten migrieren und Clients (sensor-fetcher, Telegraf MQTT umstellen)

F10: fix formatting

2023-06-18T19:35:01Z

fix formatting

← Nächstältere Version		Version vom 18. Juni 2023, 21:35 Uhr
Zeile 170:		Zeile 170:
	=== Braindump ===		=== Braindump ===

	Spalten in der Tabelle ergaenzen		Spalten in der Tabelle ergaenzen:
	Vorschlag fuer Migration		* Vorschlag fuer Migration
	Reihenfolge (1. homeassi, 2. proxmox, 3. sensors, 4. wip, 5. donnerstats, 6. telegraf rumpl, 7. grafana data sources)		* Reihenfolge (1. homeassi, 2. proxmox, 3. sensors, 4. wip, 5. donnerstats, 6. telegraf rumpl, 7. grafana data sources)
	Erledigt?		* Erledigt?

	1. Influx 2 installieren		Schritte:
	2. Konfig übertragen		# Influx 2 installieren
	3. Compatibility Zeugs machen (Authentification, User, Policy Mapping, etc. Siehe Migration Guide)		# Konfig übertragen
	4. Daten migrieren (müsste sensors und wip sein)		# Compatibility Zeugs machen (Authentification, User, Policy Mapping, etc. Siehe Migration Guide)
	5. Dafür sorgen, dass neue Daten reinkommen (Telegraf MQTT, sensor-fetcher)		# Daten migrieren (müsste sensors und wip sein)
	6. Grafana umstellen		# Dafür sorgen, dass neue Daten reinkommen (Telegraf MQTT, sensor-fetcher)
			# Grafana umstellen

	Am besten die Sachen zuerst, die Daten schreiben (sensor-fetcher, Telegraf MQTT). Wenn wir erst wip und sensor-fetcher umstellen, haben wir wahrscheinlich fehlende Daten, weil die Clients nicht mehr schreiben können. Vorher vielleicht testen mit Homeassi und Proxmox. wip und sensor-fetcher: möglichst wenig Aufwand, weil eigentlich obsolet. sensor-fetcher: Compatibility, wip: Telegraf MQTT influxdb_v2		Am besten die Sachen zuerst, die Daten schreiben (sensor-fetcher, Telegraf MQTT). Wenn wir erst wip und sensor-fetcher umstellen, haben wir wahrscheinlich fehlende Daten, weil die Clients nicht mehr schreiben können. Vorher vielleicht testen mit Homeassi und Proxmox. wip und sensor-fetcher: möglichst wenig Aufwand, weil eigentlich obsolet. sensor-fetcher: Compatibility, wip: Telegraf MQTT influxdb_v2

F10: add braindump

2023-06-07T17:09:24Z

add braindump

← Nächstältere Version		Version vom 7. Juni 2023, 19:09 Uhr
Zeile 167:		Zeile 167:
	\| Grafana \|\| TODO \|\| \|\| \|\| \|\| \|\| Einiges hier dokumentiert: https://k4cg.github.io/homeassi/docs/homeassi/homeassi-todos/#doku. Dokumentieren: welche Data Sources gibt es und in welchen Dashboards werden welche Data Sources verwendet?		\| Grafana \|\| TODO \|\| \|\| \|\| \|\| \|\| Einiges hier dokumentiert: https://k4cg.github.io/homeassi/docs/homeassi/homeassi-todos/#doku. Dokumentieren: welche Data Sources gibt es und in welchen Dashboards werden welche Data Sources verwendet?
	\|}		\|}

			=== Braindump ===

			Spalten in der Tabelle ergaenzen
			Vorschlag fuer Migration
			Reihenfolge (1. homeassi, 2. proxmox, 3. sensors, 4. wip, 5. donnerstats, 6. telegraf rumpl, 7. grafana data sources)
			Erledigt?

			1. Influx 2 installieren
			2. Konfig übertragen
			3. Compatibility Zeugs machen (Authentification, User, Policy Mapping, etc. Siehe Migration Guide)
			4. Daten migrieren (müsste sensors und wip sein)
			5. Dafür sorgen, dass neue Daten reinkommen (Telegraf MQTT, sensor-fetcher)
			6. Grafana umstellen

			Am besten die Sachen zuerst, die Daten schreiben (sensor-fetcher, Telegraf MQTT). Wenn wir erst wip und sensor-fetcher umstellen, haben wir wahrscheinlich fehlende Daten, weil die Clients nicht mehr schreiben können. Vorher vielleicht testen mit Homeassi und Proxmox. wip und sensor-fetcher: möglichst wenig Aufwand, weil eigentlich obsolet. sensor-fetcher: Compatibility, wip: Telegraf MQTT influxdb_v2

F10: remove fake news

2023-06-01T20:55:24Z

remove fake news

← Nächstältere Version		Version vom 1. Juni 2023, 22:55 Uhr
Zeile 151:		Zeile 151:
	! Quelle !! Welche Daten !! Zieldatenbank !! Nutzer !! Library/Version !! Bemerkung !! Hinweise zur Migration		! Quelle !! Welche Daten !! Zieldatenbank !! Nutzer !! Library/Version !! Bemerkung !! Hinweise zur Migration
	\|-		\|-
	\| Telegraf (mqtt.intern.k4cg.org) \|\| sensors/# \|\| wip \|\| mqtt_telegraf \|\| Telegraf 1.13.3, Output Plugin influxdb \|\| Scheinbar Authentifizierung mit Username und Passwort (in der Konfig hinterlegt~~). Momentan aber alles kaputt (Fehler im Input und im Output Plugin~~). \|\| https://docs.influxdata.com/influxdb/cloud/write-data/no-code/use-telegraf/manual-config/ (influxdb_v2 Output Plugin verwenden)		\| Telegraf (mqtt.intern.k4cg.org) \|\| sensors/# \|\| wip \|\| mqtt_telegraf \|\| Telegraf 1.13.3, Output Plugin influxdb \|\| Scheinbar Authentifizierung mit Username und Passwort (in der Konfig hinterlegt). \|\| https://docs.influxdata.com/influxdb/cloud/write-data/no-code/use-telegraf/manual-config/ (influxdb_v2 Output Plugin verwenden)
	\|-		\|-
	\| Homeassistant \|\| Alle konfigurierten Sensoren, momentan nichts explizit ausgeschlossen \|\| home_assistant \|\| homeassi \|\| Momentan noch Konfiguration fuer InfluxDB 1.x. \|\| --- \|\| Doku: https://www.home-assistant.io/integrations/influxdb/		\| Homeassistant \|\| Alle konfigurierten Sensoren, momentan nichts explizit ausgeschlossen \|\| home_assistant \|\| homeassi \|\| Momentan noch Konfiguration fuer InfluxDB 1.x. \|\| --- \|\| Doku: https://www.home-assistant.io/integrations/influxdb/

F10: Noch ein paar Kleinigkeiten ergaenzt

2023-06-01T20:50:44Z

Noch ein paar Kleinigkeiten ergaenzt

← Nächstältere Version		Version vom 1. Juni 2023, 22:50 Uhr
Zeile 165:		Zeile 165:
	\| irc2influx \|\| User Count IRC \|\| sensors \|\| sensorfetcher \|\| HTTP Request (curl -i -XPOST http://sensorfetcher:_passwort_@localhost:8086/write?db=sensors --data-binary "irc value=$USERCOUNT") \|\| Authentifizierung mit Username und Passwort (im Skript /usr/local/irc2influx/irc2influx.sh hinterlegt) \|\| Ueberhaupt noch relevant?		\| irc2influx \|\| User Count IRC \|\| sensors \|\| sensorfetcher \|\| HTTP Request (curl -i -XPOST http://sensorfetcher:_passwort_@localhost:8086/write?db=sensors --data-binary "irc value=$USERCOUNT") \|\| Authentifizierung mit Username und Passwort (im Skript /usr/local/irc2influx/irc2influx.sh hinterlegt) \|\| Ueberhaupt noch relevant?
	\|-		\|-
	\| Grafana \|\| TODO \|\| \|\| \|\| \|\| \|\| Einiges hier dokumentiert: https://k4cg.github.io/homeassi/docs/homeassi/homeassi-todos/#doku		\| Grafana \|\| TODO \|\| \|\| \|\| \|\| \|\| Einiges hier dokumentiert: https://k4cg.github.io/homeassi/docs/homeassi/homeassi-todos/#doku. Dokumentieren: welche Data Sources gibt es und in welchen Dashboards werden welche Data Sources verwendet?
	\|}		\|}

F10: Add Telegraf (rumpl.k4cg.org), irc2influx, Grafana

2023-06-01T20:46:43Z

Add Telegraf (rumpl.k4cg.org), irc2influx, Grafana

← Nächstältere Version		Version vom 1. Juni 2023, 22:46 Uhr
Zeile 143:		Zeile 143:
	http.auth-enabled = true		http.auth-enabled = true
	continuous_queries.enabled = true		continuous_queries.enabled = true

			https://docs.influxdata.com/influxdb/v2.7/upgrade/v1-to-v2/automatic-upgrade/
			https://docs.influxdata.com/influxdb/v2.7/upgrade/v1-to-v2/manual-upgrade/

	{\| class="wikitable"		{\| class="wikitable"
Zeile 157:		Zeile 160:
	\|-		\|-
	\| Donnerstats (rumpl.k4cg.org) \|\| Anzahl User im Formular \|\| sensors \|\| donnerstats \|\| HTTP Request (POST http://localhost:8086/write?db=sensors&precision=s, GET http://localhost:8086/query?pretty=true) \|\| Scheinbar Authentifizierung mit Username und Passwort (in /var/www/k4cg.org/donnerstats.php hinterlegt). \|\| Authentifizierung muss umgestellt werden und die Requests muessen umgestellt werden (https://docs.influxdata.com/influxdb/v2.7/write-data/developer-tools/api/, https://docs.influxdata.com/influxdb/v2.7/query-data/execute-queries/influx-api/).		\| Donnerstats (rumpl.k4cg.org) \|\| Anzahl User im Formular \|\| sensors \|\| donnerstats \|\| HTTP Request (POST http://localhost:8086/write?db=sensors&precision=s, GET http://localhost:8086/query?pretty=true) \|\| Scheinbar Authentifizierung mit Username und Passwort (in /var/www/k4cg.org/donnerstats.php hinterlegt). \|\| Authentifizierung muss umgestellt werden und die Requests muessen umgestellt werden (https://docs.influxdata.com/influxdb/v2.7/write-data/developer-tools/api/, https://docs.influxdata.com/influxdb/v2.7/query-data/execute-queries/influx-api/).
			\|-
			\| Telegraf (rumpl.k4cg.org) \|\| Apache Metriken, diverse System Metriken \|\| sensors \|\| telegraf \|\| Telegraf 1.20.3, Output Plugin influxdb \|\| Scheinbar Authentifizierung mit Username und Passwort (in der Konfig hinterlegt) \|\| https://docs.influxdata.com/influxdb/cloud/write-data/no-code/use-telegraf/manual-config/ (influxdb_v2 Output Plugin verwenden)
			\|-
			\| irc2influx \|\| User Count IRC \|\| sensors \|\| sensorfetcher \|\| HTTP Request (curl -i -XPOST http://sensorfetcher:_passwort_@localhost:8086/write?db=sensors --data-binary "irc value=$USERCOUNT") \|\| Authentifizierung mit Username und Passwort (im Skript /usr/local/irc2influx/irc2influx.sh hinterlegt) \|\| Ueberhaupt noch relevant?
			\|-
			\| Grafana \|\| TODO \|\| \|\| \|\| \|\| \|\| Einiges hier dokumentiert: https://k4cg.github.io/homeassi/docs/homeassi/homeassi-todos/#doku
	\|}		\|}

F10: Add donnerstats, fix table layout

2023-06-01T20:29:55Z

Add donnerstats, fix table layout

← Nächstältere Version		Version vom 1. Juni 2023, 22:29 Uhr
Zeile 152:		Zeile 152:
	\| Homeassistant \|\| Alle konfigurierten Sensoren, momentan nichts explizit ausgeschlossen \|\| home_assistant \|\| homeassi \|\| Momentan noch Konfiguration fuer InfluxDB 1.x. \|\| --- \|\| Doku: https://www.home-assistant.io/integrations/influxdb/		\| Homeassistant \|\| Alle konfigurierten Sensoren, momentan nichts explizit ausgeschlossen \|\| home_assistant \|\| homeassi \|\| Momentan noch Konfiguration fuer InfluxDB 1.x. \|\| --- \|\| Doku: https://www.home-assistant.io/integrations/influxdb/
	\|-		\|-
	\| Promox VMs ({proxmox,beehive}.intern.k4cg) \|\| "various stats about your hosts, virtual guests and storages" \|\| proxmox \|\| proxmox (?) \|\| InfluxDB 1.x ueber UDP \|\| --- \|\| 2.x hat nur noch eine http(s) API. Umstellung der Proxmox Konfig auf http(s) API vor dem Upgrade schon moeglich, siehe https://pve.proxmox.com/wiki/External_Metric_Server.		\| Promox VMs ({proxmox,beehive}.intern.k4cg) \|\| "various stats about your hosts, virtual guests and storages" \|\| proxmox \|\| proxmox (?) \|\| InfluxDB 1.x ueber UDP \|\| --- \|\| 2.x hat nur noch eine http(s) API. Umstellung der Proxmox Konfig auf http(s) API vor dem Upgrade schon moeglich, siehe https://pve.proxmox.com/wiki/External_Metric_Server
	\| -		\|-
	\| sensor-fetcher (rumpl.k4cg.org) \|\| status.json (http://k4cgrouter.duckdns.org:59468/status.json) \|\| sensors \|\| sensorfetcher \|\| Package influxdb 5.2.2 (/usr/local/sensor-fetcher/.venv) \|\| Scheinbar Authentifizierung mit Username und Passwort (in /usr/local/sensor-fetcher/fetch.py hinterlegt). \|\| Package influxdb ist deprecated (https://github.com/influxdata/influxdb-python). Nachfolger fuer InfluxDB 2.x: https://github.com/influxdata/influxdb-client-python.		\| sensor-fetcher (rumpl.k4cg.org) \|\| status.json (http://k4cgrouter.duckdns.org:59468/status.json) \|\| sensors \|\| sensorfetcher \|\| Package influxdb 5.2.2 (/usr/local/sensor-fetcher/.venv) \|\| Scheinbar Authentifizierung mit Username und Passwort (in /usr/local/sensor-fetcher/fetch.py hinterlegt). \|\| Package influxdb ist deprecated (https://github.com/influxdata/influxdb-python). Nachfolger fuer InfluxDB 2.x: https://github.com/influxdata/influxdb-client-python
			\|-
			\| Donnerstats (rumpl.k4cg.org) \|\| Anzahl User im Formular \|\| sensors \|\| donnerstats \|\| HTTP Request (POST http://localhost:8086/write?db=sensors&precision=s, GET http://localhost:8086/query?pretty=true) \|\| Scheinbar Authentifizierung mit Username und Passwort (in /var/www/k4cg.org/donnerstats.php hinterlegt). \|\| Authentifizierung muss umgestellt werden und die Requests muessen umgestellt werden (https://docs.influxdata.com/influxdb/v2.7/write-data/developer-tools/api/, https://docs.influxdata.com/influxdb/v2.7/query-data/execute-queries/influx-api/).
	\|}		\|}

F10: Add sensor-fetcher

2023-06-01T20:14:31Z

Add sensor-fetcher

← Nächstältere Version		Version vom 1. Juni 2023, 22:14 Uhr
Zeile 153:		Zeile 153:
	\|-		\|-
	\| Promox VMs ({proxmox,beehive}.intern.k4cg) \|\| "various stats about your hosts, virtual guests and storages" \|\| proxmox \|\| proxmox (?) \|\| InfluxDB 1.x ueber UDP \|\| --- \|\| 2.x hat nur noch eine http(s) API. Umstellung der Proxmox Konfig auf http(s) API vor dem Upgrade schon moeglich, siehe https://pve.proxmox.com/wiki/External_Metric_Server.		\| Promox VMs ({proxmox,beehive}.intern.k4cg) \|\| "various stats about your hosts, virtual guests and storages" \|\| proxmox \|\| proxmox (?) \|\| InfluxDB 1.x ueber UDP \|\| --- \|\| 2.x hat nur noch eine http(s) API. Umstellung der Proxmox Konfig auf http(s) API vor dem Upgrade schon moeglich, siehe https://pve.proxmox.com/wiki/External_Metric_Server.
			\| -
			\| sensor-fetcher (rumpl.k4cg.org) \|\| status.json (http://k4cgrouter.duckdns.org:59468/status.json) \|\| sensors \|\| sensorfetcher \|\| Package influxdb 5.2.2 (/usr/local/sensor-fetcher/.venv) \|\| Scheinbar Authentifizierung mit Username und Passwort (in /usr/local/sensor-fetcher/fetch.py hinterlegt). \|\| Package influxdb ist deprecated (https://github.com/influxdata/influxdb-python). Nachfolger fuer InfluxDB 2.x: https://github.com/influxdata/influxdb-client-python.
	\|}		\|}

F10 am 1. Juni 2023 um 20:00 Uhr

2023-06-01T20:00:00Z

← Nächstältere Version		Version vom 1. Juni 2023, 22:00 Uhr
Zeile 146:		Zeile 146:
	{\| class="wikitable"		{\| class="wikitable"
	\|-		\|-
	! Quelle !! Welche Daten !! ~~Zieltabelle~~ !! Nutzer !! Library/Version !! Bemerkung !! Hinweise zur Migration		! Quelle !! Welche Daten !! Zieldatenbank !! Nutzer !! Library/Version !! Bemerkung !! Hinweise zur Migration
	\|-		\|-
	\| Telegraf (mqtt.intern.k4cg.org) \|\| sensors/# \|\| wip \|\| mqtt_telegraf \|\| Telegraf 1.13.3, Output Plugin influxdb \|\| Scheinbar Authentifizierung mit Username und Passwort (in der Konfig hinterlegt). Momentan aber alles kaputt (Fehler im Input und im Output Plugin). \|\| https://docs.influxdata.com/influxdb/cloud/write-data/no-code/use-telegraf/manual-config/ (influxdb_v2 Output Plugin verwenden)		\| Telegraf (mqtt.intern.k4cg.org) \|\| sensors/# \|\| wip \|\| mqtt_telegraf \|\| Telegraf 1.13.3, Output Plugin influxdb \|\| Scheinbar Authentifizierung mit Username und Passwort (in der Konfig hinterlegt). Momentan aber alles kaputt (Fehler im Input und im Output Plugin). \|\| https://docs.influxdata.com/influxdb/cloud/write-data/no-code/use-telegraf/manual-config/ (influxdb_v2 Output Plugin verwenden)

F10: Erste Doku InfluxDB Clients fuer die Migration

2023-06-01T19:27:45Z

Erste Doku InfluxDB Clients fuer die Migration

← Nächstältere Version		Version vom 1. Juni 2023, 21:27 Uhr
Zeile 132:		Zeile 132:
	TODO.		TODO.
	Bisher bei noqqe melden		Bisher bei noqqe melden

			== InfluxDB 1.x auf 2.x Migration ==

			Hier gibt es ein schoenes Diagramm, welche Systeme auf die InfluxDB zugreifen: https://k4cg.github.io/homeassi/docs/homeassi/communication-diagrams/images/k4cg-internal-communication.drawio.svg

			InfluxDB 1.8.x does contain a forwards compatible API endpoint for this v2 API.

			Influx Konfig:

			http.auth-enabled = true
			continuous_queries.enabled = true

			{\| class="wikitable"
			\|-
			! Quelle !! Welche Daten !! Zieltabelle !! Nutzer !! Library/Version !! Bemerkung !! Hinweise zur Migration
			\|-
			\| Telegraf (mqtt.intern.k4cg.org) \|\| sensors/# \|\| wip \|\| mqtt_telegraf \|\| Telegraf 1.13.3, Output Plugin influxdb \|\| Scheinbar Authentifizierung mit Username und Passwort (in der Konfig hinterlegt). Momentan aber alles kaputt (Fehler im Input und im Output Plugin). \|\| https://docs.influxdata.com/influxdb/cloud/write-data/no-code/use-telegraf/manual-config/ (influxdb_v2 Output Plugin verwenden)
			\|-
			\| Homeassistant \|\| Alle konfigurierten Sensoren, momentan nichts explizit ausgeschlossen \|\| home_assistant \|\| homeassi \|\| Momentan noch Konfiguration fuer InfluxDB 1.x. \|\| --- \|\| Doku: https://www.home-assistant.io/integrations/influxdb/
			\|-
			\| Promox VMs ({proxmox,beehive}.intern.k4cg) \|\| "various stats about your hosts, virtual guests and storages" \|\| proxmox \|\| proxmox (?) \|\| InfluxDB 1.x ueber UDP \|\| --- \|\| 2.x hat nur noch eine http(s) API. Umstellung der Proxmox Konfig auf http(s) API vor dem Upgrade schon moeglich, siehe https://pve.proxmox.com/wiki/External_Metric_Server.
			\|}