How to insert pre-chunked data into a vector store

I have an external web service that processes PDF files and generates chunks using langchain, returning these chunks as JSON.

{
  "document": "This is a simple PDF file. Fun fun fun.nLorem ipsum dolor sit amet,  consectetuer adipiscing elit. Phasellus facilisis odio sed mi. Curabitur suscipit. Nullam vel nisi. Etiam semper ipsum ut lectus. Proin aliquam, erat eget pharetra  commodo,  eros  mi  condimentum quam,  sed  commodo  justo  quam  ut  velit. Integer  a  erat. Cras  laoreet  ligula  cursus  enim. Aenean  scelerisque  velit  et  tellus. Vestibulum dictum aliquet sem.  Nulla facilisi.  Vestibulum accumsan  ante  vitae  elit.  Nulla erat  dolor,  blandit  in,  rutrum  quis,  semper  pulvinar,  enim.  Nullam varius  congue  risus. Vivamus  sollicitudin,  metus  ut  interdum  eleifend,  nisi  tellus  pellentesque  elit,  tristique accumsan  eros  quam et  risus.  Suspendisse  libero  odio,  mattis  sit  amet,  aliquet  eget, hendrerit vel,  nulla. Sed vitae augue. Aliquam erat volutpat. Aliquam feugiat vulputate nisl. Suspendisse quis nulla pretium ante pretium mollis. Proin velit ligula, sagittis at, egestas a, pulvinar quis, nisl.",
  "metadata": {
    "source": "sample.pdf",
    "chunk_index": 0,
    "chunk_type": null,
    "chunk_text": "Lorem ipsum dolor sit amet,  consectetuer adipiscing elit. Phasellus facilisis odio sed mi. Curabitur suscipit. Nullam vel nisi. Etiam semper ipsum ut lectus. Proin aliquam, erat eget pharetra  commodo,  eros  mi  condimentum quam,  sed  commodo  justo  quam  ut  velit. Integer  a  erat. Cras  laoreet  ligula  cursus  enim. Aenean  scelerisque  velit  et  tellus. Vestibulum dictum aliquet sem.  Nulla facilisi.  Vestibulum accumsan  ante  vitae  elit.  Nulla erat  dolor,  blandit  in,  rutrum  quis,  semper  pulvinar,  enim.  Nullam varius  congue  risus. Vivamus  sollicitudin,  metus  ut  interdum  eleifend,  nisi  tellus  pellentesque  elit,  tristique accumsan  eros  quam et  risus.  Suspendisse  libero  odio,  mattis  sit  amet,  aliquet  eget, hendrerit vel,  nulla. Sed vitae augue. Aliquam erat volutpat. Aliquam feugiat vulputate nisl. Suspendisse quis nulla pretium ante pretium mollis. Proin velit ligula, sagittis at, egestas a, pulvinar quis, nisl.",
    "content_type": "application/pdf",
    "size": 18810
  },
  "chunks": [
    {
      "text": "This is a simple PDF file. Fun fun fun.nPellentesque  sit  amet  lectus.  Praesent  pulvinar,  nunc  quis  iaculis  sagittis,  justo  quam lobortis tortor,  sed  vestibulum dui metus venenatis est.  Nunc  cursus ligula. Nulla facilisi. Phasellus ullamcorper consectetuer ante. Duis tincidunt, urna id condimentum luctus, nibh ante  vulputate  sapien,  id  sagittis  massa orci  ut  enim.  Pellentesque  vestibulum convallis sem. Nulla consequat quam ut nisl.  Nullam est.  Curabitur tincidunt dapibus lorem.  Proin velit  turpis,  scelerisque  sit  amet,  iaculis  nec,  rhoncus  ac,  ipsum.  Phasellus  lorem arcu, feugiat  eu,  gravida  eu,  consequat  molestie,  ipsum.  Nullam  vel  est  ut  ipsum  volutpat feugiat. Aenean pellentesque.",
      "metadata": {
        "source": "sample.pdf",
        "chunk_index": 0,
        "chunk_type": null,
        "chunk_text": "P

I am using an HTTP Request node to receive the JSON string. I need to find a way to inject these chunks into a vector store within callin.io. The vector store nodes in callin.io require a data loader and a splitter, which are already configured.

Is it possible to utilize my pre-chunked data?

Information on your callin.io setup

• callin.io version: 1.79.2
• Running callin.io via (Docker, npm, callin.io cloud, desktop app): docker
• Operating system: MacOS