 |
|
Vorheriges Thema anzeigen :: Nächstes Thema anzeigen |
Autor |
Nachricht |
scrats
Anmeldedatum: 03.12.2017 Beiträge: 38
|
Verfasst am: 03.05.2019, 11:49 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Kann man irgendwo die EMail nachlesen? Finde nichts in meinem Postfach und auf der Bondoraseite wurde ich noch nicht fündig... |
|
Nach oben |
|
 |
Realarms
Anmeldedatum: 22.03.2017 Beiträge: 246
|
Verfasst am: 03.05.2019, 12:19 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Ok, hab da was basteln können (letsencrypt, freier DNS subdomain hoster; automatische certificate updates muß ich da aber manuell machen, da dafür ein standalone websever in betrieb gesetzt, und dann portweiterleitung und firewall regeln aufgemacht werden müssen, und abschliessend alles wieder abgedichtet werden muss...
Mit TLS 1.2 (TLS_RSA_WITH_AES_256_GCM_SHA384) - also ohne Perfect Forward Secrecy (mal sehen ob ich hier noch die Cyphersuites festnageln kann) steigt damit die Latency für jeden POST auf ca. 90 ms, und die ausgetauschten Daten im 3WHS (TCP) + 5WHS (TLS1.2) steigen etwa um den Faktor 3...
Weiß jemand, welche Cyphersuite möglichst CPU intensiv ist? Und natürlich mit PFS in jedem Fall....  |
|
Nach oben |
|
 |
Realarms
Anmeldedatum: 22.03.2017 Beiträge: 246
|
Verfasst am: 03.05.2019, 15:14 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Hab noch einen: Wenn man den Webserver neu startet, in dem die Webhooks dann ankommen sollen, dann gibt es einen undefinierten Zeitraum (sekunden bis Minuten) bevor der dann tatsächlich aktiv wird - auch wenn man die Test-Pings erfolgreich durchführen kann...
Mit meinem Virtual Account habe ich da einen Webhook prozess laufen lassen, während ich auf dem anderen entwickle (prozess als regelmäßig stoppen und neu laden/starten, dauert nur wenige Sekunden).
Anscheinend kann es passieren, wenn man den Prozess während einer Lastspitze gestoppt hat, das man in einen 24hr cooldown (!) kommt...
Irgendwie hat das alles weder Hand noch Fuß...  |
|
Nach oben |
|
 |
Realarms
Anmeldedatum: 22.03.2017 Beiträge: 246
|
Verfasst am: 03.05.2019, 18:34 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Und noch eine Merkwürdigkeit:
Ich lasse jetzt mal diese Webhooks, bei denen ja "nominell" jedes Mal wenn jemand was auf dem Sekundärmarkt einstellt, parallel zu meinem bisherigen Polling laufen...
Interessanterweise finde ich dabei, dass er im Polling wiederholt interessante Kredite findet, die er über diese Webhooks nicht gesendet bekommt...
Wobei - möglicherweise sind das Kredite, die eingestellt worden sind, und jetzt erst eine Teilzahlung einlagt, die diese dann für meinen Filter attraktiv macht... Allerdings habe ich eignetlich sowohl SecondMarket_Published als auch SecondMarket_Updated aktiviert... |
|
Nach oben |
|
 |
Oktaeder P2P Legende

Anmeldedatum: 13.07.2010 Beiträge: 10739 Wohnort: Bei Karlsruhe
|
Verfasst am: 03.05.2019, 20:32 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Sorry, ist mir alles deutlich zu hoch.
D.h. ohne eigenen Server geht gar nix mehr? node.js ist raus? _________________ Mein Blog rund um p2p Kredite
Bondora/XIRR ca. 12%/ Investiere per API.
Stand 9/2023
Weitere Anlagen bei Swaper*,peerberry,afranga,lendermarket und estateguru |
|
Nach oben |
|
 |
face
Anmeldedatum: 01.12.2018 Beiträge: 11
|
Verfasst am: 03.05.2019, 21:05 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
mit Erschrecken habe ich gerade festgestellt, dass ich nicht mehr an meinem Bot rumbasteln kann. Bondora* zerstört mir mein Hobby
Bei dem Fachgesimpel steige ich leider aus, deshalb wird es für mich wohl zu Ende gehen.
Ein Thema ist mir aufgefallen in der Mail von Bondora. Sie schreiben:
"LoanPart/{id} and Secondmarket/{id} are the main functionalities affected by the 1 hour cooldown"
Viel spannender fand ich bisher immer den Endpoint: api/v1/secondarymarket -> ist der dann auch betroffen?! Vermutlich ist der dann mit dem zitierten Satz auch gemeint... |
|
Nach oben |
|
 |
bigbear
Anmeldedatum: 14.06.2013 Beiträge: 873 Wohnort: Baden-Württemberg
|
Verfasst am: 03.05.2019, 23:12 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
also - auf die Gefahr hin, dass hier der Neid ein wenig durchklingt ( obwohl ich es euch immer gegönnt und akzeptiert habe, dass hier einfach diejenigen mit den besseren Kenntnissen und den besseren Möglichkeiten im Vorteil sind )- heißt das womöglich, dass in Zukunft auch wieder weniger IT-affine User eine Chance haben könnten, einen interessanten Kredit zu ergattern? Für mich war das der Grund, dass ich mich aus Bondora* zurückgezogen habe - musste einfach einsehen, dass ich da keine Chance habe. Ich schreibe das jetzt nur, um die Überlegung einzubringen, ob es womöglich vielen Nutzern so ging und sich das irgendwie ausgewirkt hat, so dass Bondora* es für sinnvoll gehalten hat, hier die Weichen wieder anders zu stellen....aber vielleicht lieg ich auch mal wieder total daneben.....) : |
|
Nach oben |
|
 |
Zedandi
Anmeldedatum: 02.11.2016 Beiträge: 1486
|
Verfasst am: 03.05.2019, 23:46 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
bigbear hat Folgendes geschrieben: | ...heißt das womöglich, dass in Zukunft auch wieder weniger IT-affine User eine Chance haben könnten, einen interessanten Kredit zu ergattern? Für mich war das der Grund, dass ich mich aus Bondora* zurückgezogen habe - musste einfach einsehen, dass ich da keine Chance habe. |
Ich denke, dass ein einzelner Bot schon reicht um alle offensichtlichen No-Brainer (bspw. Grüne mit Abschlag) so schnell wegzuschnappen, dass man von Hand immer noch keine Chance hat. Allerdings würde ich daraus nicht schlussfolgern, dass man ohne Bot auf Bondora* nicht erfolgreich investieren kann. Gerade bei Krediten, die keine No-Brainer sind (da trauen sich Bots idR nicht ran weil man so auch sehr schnell sehr viel Geld verlieren kann) oder auch manchmal bei Portfolien (da ist aber 99% Schrott), konnte man immer von Hand noch gute Deals machen ohne, dass da ein Bot in die Quere kam. |
|
Nach oben |
|
 |
Munde Gast
|
Verfasst am: 04.05.2019, 00:32 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Ich habe jedenfalls schon seit einigen Wochen den Eindruck, dass viele der Kredite, die ich vorher manuell auf dem Zweitmarkt gekauft habe, jetzt von Bots abgegriffen werden. Ab und zu findet man noch lohnende Kredite, aber viel seltener als früher. Und die richtig lohnenswerten Schnäppchen werden einem dann meist noch vor der Nase weggeschnappt. Entsprechend sind auch meine Umsätze auf dem Zweitmarkt im letzten Monat stark zurückgegangen und die Gesamtrendite ist um 2-3 % gesunken. Von daher sehe ich das auch positiv, wenn die API-Funktionalität eingeschränkt wird.
Abgesehen davon sind Kauf und Verkauf auf dem Zweitmarkt seit einiger Zeit auch noch extrem langsam geworden. Dauert mehrere Sekunden, bis der Bestätigungsbutton erscheint. Keine Ahnung, ob das was mit gestiegener Bot-Tätigkeit zu tun hat. |
|
Nach oben |
|
 |
Realarms
Anmeldedatum: 22.03.2017 Beiträge: 246
|
Verfasst am: 04.05.2019, 06:06 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
bigbear hat Folgendes geschrieben: | also - auf die Gefahr hin, dass hier der Neid ein wenig durchklingt ( obwohl ich es euch immer gegönnt und akzeptiert habe, dass hier einfach diejenigen mit den besseren Kenntnissen und den besseren Möglichkeiten im Vorteil sind )- heißt das womöglich, dass in Zukunft auch wieder weniger IT-affine User eine Chance haben könnten, einen interessanten Kredit zu ergattern? Für mich war das der Grund, dass ich mich aus Bondora* zurückgezogen habe - musste einfach einsehen, dass ich da keine Chance habe. Ich schreibe das jetzt nur, um die Überlegung einzubringen, ob es womöglich vielen Nutzern so ging und sich das irgendwie ausgewirkt hat, so dass Bondora* es für sinnvoll gehalten hat, hier die Weichen wieder anders zu stellen....aber vielleicht lieg ich auch mal wieder total daneben.....) : |
Die Einstiegshürden um erfolgreiche Bots zu schreiben sind damit sicherlich gestiegen.
Andererseits, ich habe gestern abend noch eine Modifikation gemacht, die wie ich jetzt erst bemerkt habe, erfolgreich war - Solange sich der Bondora* Webhook server nicht aufhängt, kann man mit persistent HTTPS Sessions rund 60 bis 90 millisekunden einsparen (man bekommt die Notification früher, wenn da nicht jedes mal TCP 3WHS und TLS 5WHS gemacht werden muss - TLS1.3 supported der Bondora* Server offenbar noch nicht; und ich konnte das eigentliche Ziel, Ephemeral Diffie-Hellmann (Perfect Forward Secrecy) nicht erreichen .
Mit anderen Worten: Der erste, der Webhooks einsetzt, wenn die von Bondora* aus brauchbar implementiert sind, hat gegenüber bestehenden Bots sicher einen deutlichen Zeitvorteil von einigen 10 bis 100 millisekunden...
Aber
- nicht alle Einträge aus dem Sekundärmarkt tauchen in den Webhooks auf
- mit persistent HTTPS verhaspelt sich der Bondora* Server ab und zu, möglicherweise wenn ein Packet Drop zum falschen Zeitpunkt passiert. Da kommen dann plötzlich gar keine Notifications mehr, und der WebHook geht wohl auf 24hr cooldown... Wenn das passiert, scheint man manuell eingreifen zu müssen. |
|
Nach oben |
|
 |
Realarms
Anmeldedatum: 22.03.2017 Beiträge: 246
|
Verfasst am: 04.05.2019, 06:17 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
face hat Folgendes geschrieben: | mit Erschrecken habe ich gerade festgestellt, dass ich nicht mehr an meinem Bot rumbasteln kann. Bondora* zerstört mir mein Hobby
Bei dem Fachgesimpel steige ich leider aus, deshalb wird es für mich wohl zu Ende gehen.
Ein Thema ist mir aufgefallen in der Mail von Bondora. Sie schreiben:
"LoanPart/{id} and Secondmarket/{id} are the main functionalities affected by the 1 hour cooldown"
Viel spannender fand ich bisher immer den Endpoint: api/v1/secondarymarket -> ist der dann auch betroffen?! Vermutlich ist der dann mit dem zitierten Satz auch gemeint... |
Es war auch bisher schon so, das verschiedne API Endpoints unterschiedliche Cooldown Zeiten hatten (aktuell 1-5 sec).
(Was aber auch bedeutet, dass der Bondora* Server erst einmal einen Großteil der Arbeit erledigen muß, bevor er entscheiden kann, ob ein User einen Request zu dem Zeitpunkt stellen darf).
Wenn tatsächlich nun "nur" diese beiden API Endpunkte von 1hr Cooldown betroffen sind, dann bedeutet das für meinen Bot ersteinmal recht wenig, da er beim Polling "nur" gefilterte api/v1/secondarymarket macht.
Nur beim Verkauf nutze ich exzessiv api/v1/loanpart/{id}, um die Zahlungshistorie und DebtManagementStatus Verlauf auszuwerten - und da auch schon mit Caching (ich checke nur 1 LoanPart, wenn ich mehrere des selben Kredits habe), aber individuell...
Hier das ganze umzudrehen, und erst eine Liste von 1000 Loanparts zu machen, die dann mit einer gemeinsamen Abfrage durchgeführt werden, sollte dann nicht allzuschwierig sein. Heißt aber auch, dass dann mein Bot nur noch rund 1000 Anteile pro Stunde auf den Markt wirft (einige von den 1000 wird er nicht verkaufen, dafür bei anderen Kreditnehmern dann auch mal mehrerere)...
Aber es würde mich nicht wundern, wenn andere API Endpunkte auch eine längere Cooldown Phase bekommen... Wenn jetzt schon auf diese Webhooks hingewiesen wird.
Andererseits, sobald das brauchbar funktioniert (da muß Bondora* IMHO nachbessern), hat man mit Webhooks einen zeitvorteil gegenüber polling... |
|
Nach oben |
|
 |
Realarms
Anmeldedatum: 22.03.2017 Beiträge: 246
|
Verfasst am: 04.05.2019, 07:46 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Oktaeder hat Folgendes geschrieben: | Sorry, ist mir alles deutlich zu hoch.
D.h. ohne eigenen Server geht gar nix mehr? node.js ist raus? |
Nein, wenn du keinen der API Endpunkte mit der exzessiven Cooldown Phase verwendest, sollte dein Bot ganz normal weiterfunktionieren.
Die Abfrage von Detailinfos (loanpart/{id} und secondarymarket/{id} ) wird offensichtlich deutlich langsamer gemacht, wobei man zumindest beim ersten ja nun bis zu 1000 details gleichzeitig abfragen darf (endlich!)
Sofern der Bot also die Kauf / Verkaufentscheidung von Detailinfos aus der Zahlungs- oder Eintreibehistorie abhängig machen will, wird das schwierig.
Wenn du WebHooks ohne TLS (HTTPS) verwenden willst, und die IP Adresse daheim einigermaßen stabil ist, sollte das wohl prinzipiell auch in Javascript möglich sein: https://www.w3schools.com/nodejs/nodejs_http.asp
-> Vielleicht kann man Bondora* dazu motivieren, die Metainfos die man bislang via Webinterface einstellen muß, auch via API editierbar zu machen. Dann könnte man beim Start des Bots die Webhooks auf die aktuelle lokale IP mappen, und beim Beenden des Bots den Webhook wieder entfernen.
Kompliziert wird es, wenn man das ganze mit TLS machen will, da die gratis Certificate Authority "Letsencrypt" der EFF nur FQDN signiert, und keine public IP Adressen. Aber es gibt auch freie Services, wo man sich für seine public IP eine Subdomain gratis ziehen kann (mit TTL 3600sec, d.h. wenn man DSL mit DHCP hat, wo häufig die IP gewechselt wird, hat man von dieser Seite her einen "cooldown" von 1h, bevor ein Änderung der IP bei Bondoras WebHook Server ankommen kann...
Unabhängig von TLS oder nicht, die HTTP POSTs enthalten keinerlei Verifikationsmaterial - und man weiß ja auch nicht, ob nicht die IP Adressen von Bondora* einmal umziehen. Ohne firewall regel, die nur Bondora* zulässt, lasse ich sicher kein lokalen Webservice laufen
Aber in Summe überzeugen mich diese PUSH notifications nicht wirklich. Habe hier zwei parallel laufen, einmal persistent session, einmal ephemerial session. Obwohl sich die persisten regelmäßig aufhängt "Blocked: 5/4/2019
TooManyFailingRequests" - während die Session aktiv ist (!), kommen einige PUSH Nachrichten nur auf der, und andere nur auf der ephemerial (auch während die persistent Session ordentlich läuft)... Dann dauert es meist mehrere Minuten, bis so eine Session aktiv wird. Und manchmal werden nicht alle Nachrichtentypten aktiviert, sondern nur ein Subset der 8 verschiedenen Typen... Und abschliessend, jede Notification ist ein eigens JSON Objekt, auch wenn da eigentlich alle Verkäufe, die jemand gemeinsam zeichnet, auch als Lists übertragen werden könnte... |
|
Nach oben |
|
 |
Zedandi
Anmeldedatum: 02.11.2016 Beiträge: 1486
|
Verfasst am: 04.05.2019, 15:01 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Realarms hat Folgendes geschrieben: | Kompliziert wird es, wenn man das ganze mit TLS machen will, da die gratis Certificate Authority "Letsencrypt" der EFF nur FQDN signiert, und keine public IP Adressen. Aber es gibt auch freie Services, wo man sich für seine public IP eine Subdomain gratis ziehen kann (mit TTL 3600sec, d.h. wenn man DSL mit DHCP hat, wo häufig die IP gewechselt wird, hat man von dieser Seite her einen "cooldown" von 1h, bevor ein Änderung der IP bei Bondoras WebHook Server ankommen kann... |
Daran hatte ich auch schon gedacht, für einen Test-Bot wäre das zumindest eine relativ schlanke Lösung. Kannst du einen freien Subdomain-Service empfehlen?
Zitat: | Unabhängig von TLS oder nicht, die HTTP POSTs enthalten keinerlei Verifikationsmaterial - und man weiß ja auch nicht, ob nicht die IP Adressen von Bondora* einmal umziehen. Ohne firewall regel, die nur Bondora* zulässt, lasse ich sicher kein lokalen Webservice laufen  |
Selbst mit Verifikation wäre mir das etwas heikel. Aber man kann ja einfach mal schauen ob Bondora* nicht vielleicht doch relativ statisch ist (wäre für so ein Dienst ja von Vorteil aber es ist Bondora* und da muss man mit allem rechnen...). |
|
Nach oben |
|
 |
Realarms
Anmeldedatum: 22.03.2017 Beiträge: 246
|
Verfasst am: 04.05.2019, 19:10 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Zedandi hat Folgendes geschrieben: |
Daran hatte ich auch schon gedacht, für einen Test-Bot wäre das zumindest eine relativ schlanke Lösung. Kannst du einen freien Subdomain-Service empfehlen?
|
Ich hab über google schnell FreeDNS.afraid.org gefunden und genommen - mehr als email und IP wollten die nicht, solange man mit einer von den gratis-domains zufrieden ist:
Code: |
FreeDNS.afraid.org has been received.
Please take a moment to understand what FreeDNS enables you to
do, in hopes this will answer your initial questions ...:
All free accounts come with:
- Unlimited DNS query traffic
- 5 free subdomains from domains in the shared system
- 20 free subdomains per domain of your own
FreeDNS lets you:
- Instant update access, all changes to your domains/subdomains
go live immediately.
- Create free subdomains out of the shared domain base.
- Host/manage your own domain's DNS without cost.
- Redirect your hostname(s) to any URL on the internet.
- Support for CNAME, A, AAAA, MX, NS, TXT, LOC, RP, HINFO, SRV records.
- Support for Round Robin DNS.
- Support for IPv6 Reverse DNS.
- Support for Dynamic DNS / free Dynamic DNS clients available
to ensure your IP is always up-to-date.
- Great way to learn about DNS for novices
|
Seinen eigenen Resolver kann man damit aber nicht betreiben - (IP tunnel over DNS), und was da oben auch fehlt, die TTL steht auf 3600 sec phne update-push...
Zitat: | Selbst mit Verifikation wäre mir das etwas heikel. Aber man kann ja einfach mal schauen ob Bondora* nicht vielleicht doch relativ statisch ist (wäre für so ein Dienst ja von Vorteil aber es ist Bondora* und da muss man mit allem rechnen...). |
Wenn du TLS machst, und das mit einem vernünftigen Framework, solltest du deren Zertifikat überprüfen können; Auf der anderen Seite, der Client authorisiert sich selbst ja auch nicht, und Bondora* scheint das ganze auf einem gehosteten Windows Server ausgerollt zu haben (vermutlich Windows Server 2016 - Senden per default ECN mit ECT0 im SYN gesetzt (ECN+ bzw DCTCP signatur). Und DCTCP ist per default in WinServer 2016 aktiviert, wenn man es nicht explizit deaktiviert...
In der Firewall hab ich bei mir erst einmal auch nur diese eine IP freigegeben, von der aus aktuell die Webhooks kommen - später könnte man ja diese Signatur (SYN mit ECN, und ECT0 gesetzt) verwenden - vermutlich kommen sehr wenige Probes von WInServer2016 mit diesen defaults
Hab mir das nochmal mit den persistenten Sessions angeguckt - anscheinend funktioniert das insofern, als das alle PUSH notifications über die 1. Session kommen, aber das Framework, das von Bondora* genutzt wird, trotzdem alle paar Sekunden eine zusätzliche Session aufbaut - über die dann von deren Server aber nix kommt (weil der PUSH ja schon über die persistente Session kam), und irgendwann ist deren Fehlercounter auf 25, und der persistente Webhook (also der, der minimal CPU overhead auf beiden Seiten verursacht) wird blockiert... Da TCP keepalives auch aktiviert sind, werden aber die zu dem Zeitpunkt des Blockens noch aktive sessions nicht beendet, und er kann das dann auch nicht mehr recovern, wenn man auf "Test session" clickt - man muß den WebHook löschen und neu anlegen (da schliesst der Bondora* Server dann auch noch alle offenen Sessions, und liefert ausständige Daten auch noch ab...)
*thumbsup* |
|
Nach oben |
|
 |
Zedandi
Anmeldedatum: 02.11.2016 Beiträge: 1486
|
Verfasst am: 05.05.2019, 01:25 Titel: Re: Bondora zieht den API-Stecker (Bondora) |
|
|
Realarms hat Folgendes geschrieben: | Ich hab über google schnell FreeDNS.afraid.org gefunden und genommen - mehr als email und IP wollten die nicht |
Danke für die Info, FreeDNS hatte ich auch schon ein paar mal in Foren gelesen, werde ich auch mal ausprobieren. |
|
Nach oben |
|
 |
|
|
Du kannst keine Beiträge in dieses Forum schreiben. Du kannst auf Beiträge in diesem Forum nicht antworten. Du kannst deine Beiträge in diesem Forum nicht bearbeiten. Du kannst deine Beiträge in diesem Forum nicht löschen. Du kannst an Umfragen in diesem Forum nicht mitmachen.
|
phpBB SEO URLs V2
*Anzeige / Affiliate Link
Powered by phpBB © 2001, 2005 phpBB Group Deutsche Übersetzung von phpBB.de
 Vereitelte Spamregistrierungen: 200848
Impressum & Datenschutz
|