 |
|
Vorheriges Thema anzeigen :: Nächstes Thema anzeigen |
Autor |
Nachricht |
Realarms
Anmeldedatum: 22.03.2017 Beiträge: 246
|
Verfasst am: 10.05.2019, 19:01 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Oktaeder hat Folgendes geschrieben: | Ich habe mir Webhooks mal angesehn, ohne selber was zu implementieren.
Also Verkäuse sind ca. 5 Minuten verzögert (habe selbst ein paar reingestellt), cancel und buy scheint schneller zu gehen.
Gibt es irgendwo ein Tutorial, wie man das mit php umsetzt oder was habt ihr benutzt? |
Nein, die Dokumentation von Bondora* war ja komplett unbrauchbar, inzwischen ist sie "nur" noch massiv unvollständig um "ins Blaue" was bauen zu können.
Allerdings würde ich mich jetzt schon daran machen, da was zu programmieren. Sobald die Cooldown Geschichte mit 3600 scharf ist, war es dass dann mit zügigem Entwickeln - weil jeder "falsche" GET Request kostet ja 1 Stunde bis man die korrigierte Variante validieren kann...
(Ich hatte gefragt, ob sie da die neue API nicht als Sandbox public freigeben können, um jetzt schon die Bots dagegen zu programmieren... Sieht nicht so toll aus...)
Ich hab glücklicherweise eine pseudo-statische public IP, und mein Bot läuft in Python. Da kann man schnell mal mit Flask was auf die Beine stellen (und wirklich performen muß das ja nicht, d.h. der Built-In Webserver ("Werkzeug") funktioniert da ausreichend - und besser, als Bondoras nichtexistente persistent HTTP infrastruktur, oder wenn man den Server auf PFS Crypto festbindet, dass dann deren Clients TLS abbricht...
Nachdem Bondora* aber offenbar für eine halbgare - ein paar Stunden stabile WebHooks - Lösung für jeden PUSH eine neue Session aufbauen will, um dort nicht in Fehler zu laufen, ist wohl HTTP die Methode der Wahl, und alles im Klartext übertragen (dann kann man noch nicht mal mehr lokales Certificate pinning machen, weils eh schon egal ist).
Das bringt immerhin zwischen 60 und 180 Millisekunden pro Push (alle die HTTPS nutzen haben das nachsehen - mit persistent sessions sollte es da keinen so eklatanten Zeitunterschied geben.
Aber deine Messung von 5 Min versatz zw. Verkauf bis zum PUSH sagt ja eh schon alles - mit GET secondarymarket war das bislang ja praktisch instantan (<5 Sek) zwischen Verkaufsorder und das es im Suchfilter auftaucht... Ich verschiebe regelmäßig ausgefallene rote in meine virtual accounts auf diese Art... |
|
Nach oben |
|
 |
Zedandi
Anmeldedatum: 02.11.2016 Beiträge: 1486
|
Verfasst am: 12.05.2019, 01:06 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Realarms hat Folgendes geschrieben: | Wenn du einen Bot hast, der nur exakt ein einziges mal eine GET Abfrage pro Stunde macht - gut für dich.
Aber realistisch macht wohl jeder Bot pro Durchlauf mehrere GETs
(zB zuerst mal prüfen, wie hoch die Balance ist, dann einen (gefilterten) GET der aktuellen Auktionen, oder einen (gefilterten) GET der aktuellen Angebote auf dem Sekundärmarkt. Findet er dort was interessantes, dann eine Abfrage nach den Details dieses Kreditanteils (Zahlungshistorie, Eintreibungsstatus etc). |
Moment, ist der Cooldown pro GET Abfrage und nicht pro API-Endpunkt? Ich dachte immer Letzteres. Also bei pro Endpunkt würde mir einmal Angebote mit "api/v1/secondarymarket" holen und dann über "api/v1/loanpart/list" Zahlungshistorie prüfen schon reichen. Würde das nur mit einer Stunde Verzögerung zwischen den beiden Abfragen gehen, wäre das natürlich Essig...andernfalls müsste ich in meinem Bot nur anstatt einer for-Schleife (in der ich die einzelnen Loanparts abfrage, was mich schon immer angekotzt hat) einen anderen Endpunkt verwenden ("api/v1/loanpart/list") und darauf achten, dass das Script nicht öfters als einmal pro Stunde ausgeführt wird.
Realarms hat Folgendes geschrieben: | Nächster Schritt (aufgrund der schlechen API Nutzung dann) wird die Abschaffung der API sein... |
Ich denke nicht, dass sie erst mit entsprechendem Aufwand Webhooks einführen, nur um dann die API ganz einzustampfen. Vielmehr spricht die "Weiterentwicklung" der API für mich dafür, dass man noch große Pläne hat und die API fit für viel mehr Volumen (evt. aus dem Institutionellen Bereich) machen will.
Allerdings, hätte man anstatt den Webhooks einfach nur "api/v1/loanpart/list" eingeführt und den Cooldown auf 30 Sekunden gesetzt, wäre das ganze System wahrscheinlich genauso entlastet worden... |
|
Nach oben |
|
 |
Oktaeder P2P Legende

Anmeldedatum: 13.07.2010 Beiträge: 10739 Wohnort: Bei Karlsruhe
|
Verfasst am: 12.05.2019, 08:06 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Sehe ich das richtig, dass die einzige Authentifizierung die Absende-IP bei den webhooks ist? Der anrichtbare Schaden ist ja beträchtlich. _________________ Mein Blog rund um p2p Kredite
Bondora/XIRR ca. 12%/ Investiere per API.
Stand 9/2023
Weitere Anlagen bei Swaper*,peerberry,afranga,lendermarket und estateguru |
|
Nach oben |
|
 |
Realarms
Anmeldedatum: 22.03.2017 Beiträge: 246
|
Verfasst am: 12.05.2019, 09:38 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Oktaeder hat Folgendes geschrieben: | Sehe ich das richtig, dass die einzige Authentifizierung die Absende-IP bei den webhooks ist? Der anrichtbare Schaden ist ja beträchtlich. |
Source IP zu spoofen ist nicht wirklich kompliziert. Du kannst TLS einsetzen - was auch kein Problem wäre bzgl Overhead in Latenz und CPU, *WENN* Bondora* persistent sessions unterstützen würde...
Das machen Sie nominell zwar, aber der Server schickt die PUSH auch über die persistente Session, zählt dabei aber trotzdem Fehler hoch, weil er gleichzeitig eine weitere Session aufbaut, über die der PUSH nicht geht, und das wohl für deren Infrastruktur einen Fehler darstellt. Ist nicht jede PUSH Meldung (möglicherweise jeder Batch, wobei trotzdem jeder LoanPart in einem Batch eine individuelle PUSH Nachricht ist - anstatt einer Liste für alle...
Jedenfalls kannst du mit Verwendung von TLS auch das Zertifikat des Servers prüfen (bzw passiert das in der TLS Layer automatisch)...
Genau das ist ja der Grund, warum ich mich dafür mal interessiert habe, und all den Aufwand getrieben habe um das mal testen zu können.
BTW: Angeblich werden die Webhook Sessions mit Fehlern einmal pro Tag automatisiert zurückgesetzt laut API Dokumentation. Das kann ich auch nicht bestätigen: Am 9.5.2019 gegen 08:28:36 (UTC+2) fielen alle meine Webhook sessions *gleichzeitig* aus. Eine davon mit "SSL broken pipe" (d.h. vom Server kam dann innerhalb vom Timeout noch nicht mal mehr der vollständige TLS Handshake), der andere bekam einfach nix mehr - ohne Fehlermeldung oder ähnliches.
Auf dem WebUI war aber bei Bondora* "25 Fehler" (sind alle auf non-persistent Sessions gelaufen, wegen den Problemen die Bondora* da hat), und wie gesagt, von einem automatisierten Recovery war nix zu sehen.
Was das nächste Problem ist, da man nicht via API den Status der Webhooks prüfen, bzw reaktivieren kann, sondern nur vie WebUI...
Professionell ist das alles nicht wirklich IMHO. |
|
Nach oben |
|
 |
Realarms
Anmeldedatum: 22.03.2017 Beiträge: 246
|
Verfasst am: 12.05.2019, 09:53 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Zedandi hat Folgendes geschrieben: |
Moment, ist der Cooldown pro GET Abfrage und nicht pro API-Endpunkt? Ich dachte immer Letzteres. Also bei pro Endpunkt würde mir einmal Angebote mit "api/v1/secondarymarket" holen und dann über "api/v1/loanpart/list" Zahlungshistorie prüfen schon reichen.
|
Ich habe explizit dies nachgefragt bei Bondora*, mit der Antwort wollen sie sich aber noch ein paar Tage Zeit lassen (bis zum 20.? )
Momentan gibts ein paar Endpunkte, die ein 1 sec cooldown haben, und ein paar ohne cooldown. Als ich das bei der Einführung der Cooldown Phase getestet hatte, schien mir es nicht so, das hier zwischen den Endpoints mit Cooldown individuelle Timer laufen würden... Vielleicht haben sie das in der Zwischenzeit ohne Verlautbarung eingeführt?
Zitat: |
Würde das nur mit einer Stunde Verzögerung zwischen den beiden Abfragen gehen, wäre das natürlich Essig...andernfalls müsste ich in meinem Bot nur anstatt einer for-Schleife (in der ich die einzelnen Loanparts abfrage, was mich schon immer angekotzt hat) einen anderen Endpunkt verwenden ("api/v1/loanpart/list") und darauf achten, dass das Script nicht öfters als einmal pro Stunde ausgeführt wird.
|
Woher hast du die Liste der LoanPartId Hashes, die du für die Abfrage von "api/v1/loanpart/list" brauchst?
Hast du die Hashingmethode von Bondora* reverse-engineered?
Bleibt also nur die Hoffnung, dass sie tatsächlich pro Endpoint einen individuellen cooldown timer implementieren...
Zitat: |
Ich denke nicht, dass sie erst mit entsprechendem Aufwand Webhooks einführen, nur um dann die API ganz einzustampfen. Vielmehr spricht die "Weiterentwicklung" der API für mich dafür, dass man noch große Pläne hat und die API fit für viel mehr Volumen (evt. aus dem Institutionellen Bereich) machen will.
Allerdings, hätte man anstatt den Webhooks einfach nur "api/v1/loanpart/list" eingeführt und den Cooldown auf 30 Sekunden gesetzt, wäre das ganze System wahrscheinlich genauso entlastet worden... |
Ich glaube nicht, das irgendwer bereits Webhooks "produktiv" einsetzt (auch das war eine der unbeantworteten Fragen, in welchem Verhältnis PUSH vs GET API Nutzung aktuell liegt).
Einfach weil diese Webhooks
- viel zu zeitverzögert
- auf einem anderen (Win201x) Server laufen, als die SQL / API Frontend Server
- unvollständig
- nicht konsistent
- instabil
- nur über WebUI administrierbar
- unauthentifiziert
- pro LoanPart jeweils eine PUSH (inkl. HTTPS Handshake)
implementiert sind. |
|
Nach oben |
|
 |
Zedandi
Anmeldedatum: 02.11.2016 Beiträge: 1486
|
Verfasst am: 12.05.2019, 12:43 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Realarms hat Folgendes geschrieben: | Ich habe explizit dies nachgefragt bei Bondora*, mit der Antwort wollen sie sich aber noch ein paar Tage Zeit lassen (bis zum 20.? )
Momentan gibts ein paar Endpunkte, die ein 1 sec cooldown haben, und ein paar ohne cooldown. Als ich das bei der Einführung der Cooldown Phase getestet hatte, schien mir es nicht so, das hier zwischen den Endpoints mit Cooldown individuelle Timer laufen würden... Vielleicht haben sie das in der Zwischenzeit ohne Verlautbarung eingeführt? |
Interessant. Ich bin bisher immer davon ausgegangen, dass es pro Endpunkt einen eigenen Timer gibt, habe das aber nie wirklich getestet.
Realarms hat Folgendes geschrieben: | Woher hast du die Liste der LoanPartId Hashes, die du für die Abfrage von "api/v1/loanpart/list" brauchst?
Hast du die Hashingmethode von Bondora* reverse-engineered? |
Mein Bot werkelt jetzt schon ewig ohne mein Zutun, inzwischen habe ich die Details schon wieder fast vergessen aber bekommt man die LoanPartId nicht aus der Antwort von „api/v1/secondarymarket/list“?
Realarms hat Folgendes geschrieben: | Ich glaube nicht, das irgendwer bereits Webhooks "produktiv" einsetzt (auch das war eine der unbeantworteten Fragen, in welchem Verhältnis PUSH vs GET API Nutzung aktuell liegt).
|
Jetzt noch nicht aber ich denke selbst Bondora* wird nicht bei der derzeitigen Pfusch-Lösung bleiben. Wenn die Webhooks erstmal sauber aufgesetzt sind und dann auch funktionieren werden die Nutzer schon kommen. |
|
Nach oben |
|
 |
Oktaeder P2P Legende

Anmeldedatum: 13.07.2010 Beiträge: 10739 Wohnort: Bei Karlsruhe
|
Verfasst am: 12.05.2019, 20:13 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Ich habe mir die webhooks mal angesehen. Und per php-Skript nix anderes gemacht, als die Ereignisse in ein Log zu schreiben.
Nach etwa 20min bin ich jedes Mal rausgeflogen. Im Log standen zwischen 50 und 1000 "Meldungen".
Unbrauchbar. _________________ Mein Blog rund um p2p Kredite
Bondora/XIRR ca. 12%/ Investiere per API.
Stand 9/2023
Weitere Anlagen bei Swaper*,peerberry,afranga,lendermarket und estateguru |
|
Nach oben |
|
 |
Realarms
Anmeldedatum: 22.03.2017 Beiträge: 246
|
Verfasst am: 12.05.2019, 22:22 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Oktaeder hat Folgendes geschrieben: | Ich habe mir die webhooks mal angesehen. Und per php-Skript nix anderes gemacht, als die Ereignisse in ein Log zu schreiben.
Nach etwa 20min bin ich jedes Mal rausgeflogen. Im Log standen zwischen 50 und 1000 "Meldungen".
Unbrauchbar. |
Klingt so, als würdest du persistente http(s) sessions nutzen - so wie man das sauber machen sollte, heutzutage für relativ häufige (und potentiell zeitkritische) PUSH Messages. Währenddessen zählt im WebUI auf der webhook seite langsam der fehlercounter hoch....
Und vom server sollten parallel weitere sessions (ohne PUSH) aufgebaut werden - die Daten kommen über die 1. session. Kannst du ja mal per tcpdump / wireshark checken, aber das verhalten klingt danach.
Versuch mal deinem Server nur http 1.0 machen zu lassen, oder keep-alive auszuschalten, dann sollte das stabiler (aber mit höherem CPU overhead und latency) etwas stabiler laufen... Vielleicht so 1-2 Tage am Stück, bis es bei Bondora* ein anderes Hickup gibt. |
|
Nach oben |
|
 |
Oktaeder P2P Legende

Anmeldedatum: 13.07.2010 Beiträge: 10739 Wohnort: Bei Karlsruhe
|
Verfasst am: 13.05.2019, 06:54 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Übersteigt meine Kompetenz. Ist ein externer Webserver der auf default läuft. Meine Firewall mag ich dafür ned öffnen.
Zitat: |
HTTP/1.1 200 OK
Date: Mon, 13 May 2019 05:03:44 GMT
Server: Apache
X-Powered-By: PHP/7.3.5
Vary: Accept-Encoding
Content-Type: text/html; charset=UTF-8
X-Varnish: 344144075
Age: 0
Via: 1.1 varnish (Varnish/6.2)
Accept-Ranges: bytes
Content-Length: 2
Connection: keep-alive
|
Du scheinst also recht zu haben. _________________ Mein Blog rund um p2p Kredite
Bondora/XIRR ca. 12%/ Investiere per API.
Stand 9/2023
Weitere Anlagen bei Swaper*,peerberry,afranga,lendermarket und estateguru |
|
Nach oben |
|
 |
Oktaeder P2P Legende

Anmeldedatum: 13.07.2010 Beiträge: 10739 Wohnort: Bei Karlsruhe
|
Verfasst am: 13.05.2019, 14:00 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
BTW: ich habe den webhook-client mal testweise kaufen lassen (vorsichtshalber nur <1€-Anteile). Erfolgsquote: 0% bei Versuchen in höherer zweistelliger Zahl. Das wird nix. Und nein, es war nicht auf Kredite mit Abschlag und grün eingestellt. _________________ Mein Blog rund um p2p Kredite
Bondora/XIRR ca. 12%/ Investiere per API.
Stand 9/2023
Weitere Anlagen bei Swaper*,peerberry,afranga,lendermarket und estateguru |
|
Nach oben |
|
 |
Oktaeder P2P Legende

Anmeldedatum: 13.07.2010 Beiträge: 10739 Wohnort: Bei Karlsruhe
|
Verfasst am: 17.05.2019, 10:34 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Die ziehen das wirklich durch. Meine Fragen wurden komplett ignoriert. Gerade kam ein reminder. _________________ Mein Blog rund um p2p Kredite
Bondora/XIRR ca. 12%/ Investiere per API.
Stand 9/2023
Weitere Anlagen bei Swaper*,peerberry,afranga,lendermarket und estateguru |
|
Nach oben |
|
 |
fundamentalist

Anmeldedatum: 16.04.2014 Beiträge: 1504
|
Verfasst am: 17.05.2019, 14:44 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Oktaeder hat Folgendes geschrieben: | BTW: ich habe den webhook-client mal testweise kaufen lassen (vorsichtshalber nur <1€-Anteile). Erfolgsquote: 0% bei Versuchen in höherer zweistelliger Zahl. Das wird nix. Und nein, es war nicht auf Kredite mit Abschlag und grün eingestellt. |
Estnische grüne Es zu Pari? _________________ Dashboardwerte
10.10.2021
erh. rendite Fundingcircle: -2.91 %
Lendico Ihre jährliche Nettorendite: 4,5 %
okt 21
Auxmoney Renditeindex: 4,77%
Bondorra Net return 22,58% |
|
Nach oben |
|
 |
Oktaeder P2P Legende

Anmeldedatum: 13.07.2010 Beiträge: 10739 Wohnort: Bei Karlsruhe
|
Verfasst am: 17.05.2019, 14:54 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Davon gibt es sicher 50-100 Stück am Tag. So begehrt sind die nicht. _________________ Mein Blog rund um p2p Kredite
Bondora/XIRR ca. 12%/ Investiere per API.
Stand 9/2023
Weitere Anlagen bei Swaper*,peerberry,afranga,lendermarket und estateguru |
|
Nach oben |
|
 |
Realarms
Anmeldedatum: 22.03.2017 Beiträge: 246
|
Verfasst am: 18.05.2019, 09:04 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Wie schon mal gesagt - das investieren mit regulärem Bot wird dann am Montag de fakto unmöglich werden (GET /secondarymarket einmal pro Stunde...), und wenn die WebHooks wie versprochen tun würden, wäre da ja eine Chancengleichheit hergestellt zwischen allen, die sich das antun können.
Da aber WH *nicht* wie deklariert funktionieren (mehrere Millisekunden differenz zwischen zwei Clients, wann bzw ob überhaupt die Benachrichtung eintrifft), bleibt es ein Glücksspiel - mit (signifikant) weniger Teilnehmnern.
Na mal sehen...
G&G gibts ja noch als alternative  |
|
Nach oben |
|
 |
fundamentalist

Anmeldedatum: 16.04.2014 Beiträge: 1504
|
Verfasst am: 18.05.2019, 10:24 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Realarms hat Folgendes geschrieben: | Wie schon mal gesagt - das investieren mit regulärem Bot wird dann am Montag de fakto unmöglich werden (GET /secondarymarket einmal pro Stunde...), und wenn die WebHooks wie versprochen tun würden, wäre da ja eine Chancengleichheit hergestellt zwischen allen, die sich das antun können.
Da aber WH *nicht* wie deklariert funktionieren (mehrere Millisekunden differenz zwischen zwei Clients, wann bzw ob überhaupt die Benachrichtung eintrifft), bleibt es ein Glücksspiel - mit (signifikant) weniger Teilnehmnern.
Na mal sehen...
G&G gibts ja noch als alternative  |
Ich verstehe euer Problem noch nicht so richtig.
Welcher Vorteil hatte denn bisher ein Bot gegenüber dem manuellen investieren?
Guck ich mir die Bondora* 2nd Market Statistiken an, wird im Monat
ein Volumen von 22.000 Euro an discounted Grünen gehandelt.
Wenn ich jetzt so berücksichtige, dass 90% der discounted Grünen, die ich so bei meinem manuellen Investieren gefunden habe einen schweren Haken hatten,
dann bleibt da für die besten Bots, die diese Haken erkennen, ja nur noch ein Potential von rund 2.000 Euro Volumen im Monat übrig.
Wenn sich da noch 10 Bots drum streiten und man berücksichtigt das die Rendite ein Bruchteil des Volumens
und die Überrendite durch Bots ein Bruchteil der Rendite ist,
dann frag ich mich manchmal, ob der erhöhte Stromaufwand, den der Bot verursacht da noch einen Vorteil bringt. _________________ Dashboardwerte
10.10.2021
erh. rendite Fundingcircle: -2.91 %
Lendico Ihre jährliche Nettorendite: 4,5 %
okt 21
Auxmoney Renditeindex: 4,77%
Bondorra Net return 22,58% |
|
Nach oben |
|
 |
|
|
Du kannst keine Beiträge in dieses Forum schreiben. Du kannst auf Beiträge in diesem Forum nicht antworten. Du kannst deine Beiträge in diesem Forum nicht bearbeiten. Du kannst deine Beiträge in diesem Forum nicht löschen. Du kannst an Umfragen in diesem Forum nicht mitmachen.
|
phpBB SEO URLs V2
*Anzeige / Affiliate Link
Powered by phpBB © 2001, 2005 phpBB Group Deutsche Übersetzung von phpBB.de
 Vereitelte Spamregistrierungen: 200848
Impressum & Datenschutz
|